作者：宋鹏,范锦宏,等
出版社：电子工业出版社
格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT
信息论与编码原理试读：
前言
信息论是通信的数学理论，它是一门应用概率论与随机过程等方法研究信息传输、存储、处理、控制和利用一般规律的科学。它主要研究如何提高通信系统的可靠性、有效性和保密性，以使通信系统最优化。近年来信息与通信技术的应用越来越广泛、越来越深入。特别是移动通信、卫星通信、深空远程通信、通信网的应用，涉及信息论与编码理论的一些深层次的、新的理论，这就需要我们在进行深入研究的同时，更加重视基础理论的教学，使本科学生在大学期间学好这门课。“信息论与编码”是电子信息类专业的必修课程，该课程理论性较强，学生学习起来感觉比较难，这就更需要加强理论基础教学，在此基础上培养学生的实践能力，为学生未来的发展奠定坚实的基石。
本书是编者根据“信息论与编码”课程的特点和本科生的知识基础，总结多年来为本科生讲授信息论课程的教学经验，在使用多年的教学讲义的基础上编写而成的。信息论涉及的内容非常抽象，本书强调基本概念和基本方法的讲解，对于难以理解的抽象概念用具体例子说明。在不影响内容完整性的前提下，省略了一部分烦琐的定理证明，以适合本科教学使用，可读性强。信息论内容抽象，阅读对象是电子、通信领域的学生或科研技术人员，因此在介绍理论时，注重与通信技术、电子系统的联系，让学生对理论与工程应用有一个具体的了解，即强调信息理论与通信技术的结合。本书采用Matlab作为虚拟实验室，给出了解决教材中涉及的有关方面问题的分析思路、方法、Matlab代码文件和处理结果示例，还给出了许多可供学生自学和研讨的Matlab习题。
全书共11章，系统地介绍了信息论与编码理论的基本内容。第1～4章为香农信息论基础理论，主要内容包括：信息测度、信道容量、信息率失真函数以及与这3个概念相对应的香农三大定理、即无失真信源编码定理、信道编码定理、保真度准则下的信源编码定理。第5章简要介绍了网络信息理论的一些基本内容。第6～10章为编码理论的基本内容，第6章介绍了信源编码的基本理论和方法，具体讨论了6种常用的信源编码方法。第7～10章是信道编码的内容，主要讨论了线性分组码、循环码和卷积码的编码理论与方法。第11章简要介绍了TCM与Turbo码的基本概念和方法。部分章节后面提供了相应内容的Matlab仿真源程序，可依据教学需要选择使用，既可作为课后作业，有可作为单独的实验题目。
本书可作为高等院校电子信息工程、通信工程等专业本科生的教材，也可供从事相关专业的科研和工程技术人员参考。使用本书作为教材时，授课教师可依据实际情况对书中内容进行取舍。
本书第1章、第6～9章由宋鹏编写，第2～5章由范锦宏编写，第11章及Matlab仿真源程序由肖珂编写，第10章由齐建中编写。全书由宋鹏统稿。
本书提供免费的电子课件、Matlab仿真程序，读者可登录华信教育资源网www.hxedu.com.cn，注册后免费下载。
感谢北方工业大学信息工程学院、教务处对本书编写的支持。
由于编者水平所限，书中难免有漏误不当之处，敬请广大读者批评指正。
编 者
2010年12月第1章 概论1.1 信息的概念及其分类
当今社会，“信息”一词广泛应用于各种场合，人们在各种生产实践、科学研究和社会活动中，无处不涉及信息的交换和利用。可以说在我们周围充满了信息，我们正处于信息社会中。物质、能源和信息构成了现代社会生存、发展的三大基本支柱，可见信息的重要性。
信息的重要性不言而喻，那么究竟信息是什么呢?
信息的概念非常广泛，不同的定义有百种以上。数学家认为“信息是使概率分布发生改变的东西”，哲学家认为“信息是物质成分的意识成分按完全特殊的方式融合起来的产物”，美国数学家香农认为“信息就是一种消息”，美国数学家、控制论的主要奠基人维纳认为“信息既不是物质又不是能量，信息就是信息”……
在信息论和通信理论中经常会遇到信息、消息和信号这3个既有联系又有区别的名词。在学习信息论与编码技术之前，先介绍这几个基本概念。
信息：是系统传输、交换、存储和处理的对象，信息载荷在语言、文字、数据和图像等消息之中。人们在对周围世界的观察中获得信息，信息是抽象的意识或知识，它是看不见、摸不着的。而且信息仅仅与随机事件的发生相关，非随机事件的发生不包含任何信息。从这一点上我们可以得知，信息量的大小与随机事件发生的概率有直接的关系，概率越小的随机事件一旦发生，它所包含的信息量就越大，而出现概率大的随机事件一旦发生，它所包含的信息量就比较小。
消息：是信息的载体。例如：包含有信息的语言、文字和图像等。在世界各地的人要想知道其他地方发生事情的内容，只能从各种各样的消息中得到，这些消息可以是广播中的语言、报纸上的文字、电视中的图像或互联网上的文字与图像等。可见，消息是具体的，它载荷信息，但它不是物理性的。信息只与随机事件的发生有关。每时每刻在世界上的每个地方，都会有各种事件发生，这些事件的发生绝大多数是随机的，即这些随机事件的消息中含有信息；如果事件的发生不是随机而是确定的，那么该消息中就不含信息，该消息的传输也就失去了意义。
信号：把消息变换成适合信道传输的物理量，这种物理量称为信号（如电信号、光信号、声音信号等）。为了在信道上传输消息，就必须把消息加载（调制）到具有某种物理特征的信号上去。以人类的语言为例，当人们说话时，发出声信号，这种声信号经过麦克风的转换变成了电信号。这里的声信号和电信号都是我们所指的信号，在本书中涉及的信号主要是指电信号。
按照信息论的观点，信息不等于消息。在日常生活中，人们往往对消息和信息不加区别，认为得到了消息，就是获得了信息。例如，当人们收到一封电报，接到一个电话，收听了广播或看了电视等以后，就认为获得了“信息”。的确，人们从接收到的电报、电话、广播和电视的消息中能获得各种信息，信息与消息有着密切的联系。但是，信息与消息并不等同。人们收到消息后，如果消息告诉了我们很多原来不知道的新内容，我们会感到获得了很多的信息，而如果消息是我们基本已经知道的内容，我们得到的信息就不多。所以信息应该是可以测度的。在电报、电话、广播、电视（也包括雷达、导航、遥测）等通信系统中传输的是各种各样的消息，这些被传送的消息有着各种不同的形式，如文字、数据、语言、图像等。所有这些不同形式的消息都是能被人们的感觉器官所感知的，人们通过通信，接收到消息后，得到的是关于描述某事物状态的具体内容。例如，电视中转播亚运会，人们从电视图像中看到了亚运会进展情况，而电视的活动图像则是对亚运会运动状态的描述。当然，消息也可用来表达人们头脑里的思维活动。例如，朋友给您打电话说：“我想上大学”，您从这条消息得知了您的朋友的想法，该语言消息反映了人的主观世界——大脑物质的思维运动所表现出来的思维状态。因此，用文字、符号、数据、语言、音符、图像等能够被人们的感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。所以，消息中包含信息，是信息的载体，得到消息，进而获得信息。同一则信息可用不同的消息形式来载荷，如前所述的亚运会进展情况可用电视图像、广播语言、报纸文字等不同消息来表述。而一则消息也可载荷不同的信息，它可能包含非常丰富的信息，也可能只包含很少的信息。因此，信息与消息是既有区别又有联系的。
在各种实际通信系统中，为了克服时间或空间的限制而进行通信，必须对消息进行加工处理。把消息变换成适合于信道传输的信号。信号携带着消息，它是消息的运载工具。如前例中，携带亚运会进展情况的电视图像转换成电信号，电信号经过调制变成高频调制电信号，才能在信道中传输；在通信系统的接收端，通过解调还原出原始电信号，在电视屏幕中呈现给观众，从而使观众获得信息。同样，同一消息可用不同的信号来表示，同一信号也可表示不同的消息。例如，红、绿灯信号：若在十字路口，红、绿灯信号表示能否通行的信息；而在电子仪器面板上，红绿灯信号却表示仪器是否正常工作或者表示高低电压等信息。所以，信息、消息和信号是既有区别又有联系的3个不同的概念。从以上的讨论中可以看到，信息、消息和信号之间有着密切的关系。信息是一切通信系统所要传递的内容，而消息作为信息的载体可能是一种“高级”载体；信号作为消息的物理体现，是信息的一种“低级”载体。作为系统设计人员，我们所接触的只是信号，而信号最终要变成消息的形式才能被大众接受。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。因此，我们说，信息、消息和信号是紧密相联的3个不同的概念，它们之间的关系如图1-1所示。图1-1 信息、消息与信号之间的关系示意图
对信息的定义虽然各不相同，实质内容并无太大的差异，主要差异在于侧面不同、详略不同、抽象的程度不同和概括的层次高低不同。根据不同的条件，区分不同的层次，可以给信息下不同的定义。最高的层次是最普遍的层次，也是无约束条件的层次，定义事物的信息是该事物运动的状态和状态改变的方式。我们把它叫做“本体论”层次。在这个层次上定义的信息是最广义的信息，使用范围也最广。每引入一个约束条件，定义的层次就降低一点，使用的范围就变窄一点。例如，引入一个最有实际意义的约束条件，即认识主体，站在认识主体的立场上定义信息，这时本体论层次的信息定义就转化为认识论层次的信息定义，即信息是认识主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。其中认识主体所感知的东西是外部世界向认识主体输入的信息，而认识主体所表述的东西则是其向外部世界输出的信息。
虽然认识论比本体论的层次要低一些，所定义信息的使用范围也要窄一些，但是信息概念的内涵比本体论层次要丰富得多。因为认识主体具有感觉能力、理解能力和目的性，能够感觉到事物运动状态及其变化方式的外在形式和内在含义，并能够判断其效用价值。对认识主体来说，这三者之间是相互依存、不可分割的关系：因此，在认认论层次上研究信息的时候，“事物的运动状态及其变化方式”就不再像本体论层次上那样简单了，它必须同时考虑到形式、含义和效用3个方面的因素。事实上，认识主体只有在感知了事物运动状态及其变化的形式、理解了它的含义、判明了它的效用之后，才算真正掌握了这个事物的认识论层次信息，才能做出正确的决策。把同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息称为“全信息”，而把仅仅考虑其中形式因素的部分称为“语法信息”，把考虑其中含义因素的部分称为“语义信息”，把考虑其中效用因素的部分称为“语用信息”。换句话说，认识论层次的信息是同时考虑语法信息、语义信息和语用信息的全信息。
香农信息论仅考虑了事物运动状态及其变化方式的外在形式，实际上研究的是语法信息。从这个角度出发，可以对信息下这样的定义：信息是对事物运动状态和变化方式的表征，它存在于任何事物之中，可以被认识主体（生物或机器）获取和利用。从数学观点出发研究香农信息论，可以认为信息是对消息统计特性的一种定量描述。
信息存在于自然界，也存在于人类社会，其本质是运动和变化。可以说哪里有事物的运动和变化，哪里就会产生信息。信息必须依附于一定的物质形式存在，这种运载信息的物质，称为信息载体。人类交换信息的形式丰富多彩，使用的信息载体非常广泛。概括起来，有语言、文字和电磁波。语言是信息的最早载体；文字和图像使信息保存得更持久，传播范围更大；电磁波则使载荷信息的容量和速度大为提高。信息本身既看不见，又摸不着，没有气味，没有颜色，没有形状，没有大小，没有重量……总之，它是非常抽象的东西。但信息又处处存在，它既区别于物质和能量，又与物质和能量有相互依赖的关系。
综合起来，信息具有以下特征：（1）信息是可以识别的：我们知道信息离不开物理载体，人们可以通过对这些物理载体的识别来获得信息。有些可以用人的感官直接识别信息，例如承载于语言、文字中的信息可以直接用耳、目接收进而识别；而有些则需借助于各种传感器间接识别信息，例如在遥感测量中要利用对电磁波敏感的传感器来间接进行。（2）信息是可以存储、传输与携带的：信息可以用多种方式存储起来，在需要的时候把存储的信息调取出来。相同的信息可以用文字的形式记录在书刊笔记中，也可以用录音、录像的方式存储在磁性介质中，或者利用计算机存储设备存储起来。信息可以通过多种途径进行传递，人与人之间的信息传递，既可以通过语言、文字，也可以通过体态、动作或表情；社会规模的信息传递，常通过报纸、杂志、电话、广播、电视和网络等。从原则上来说，各种物质的运动形式都可以用于信息的传递。信息依附于信息载体而存在，而任何物质都可以成为信息的载体，既然物质可以存储、传输和携带，所以信息可通过信息载体以多种形式存储、传输和携带。（3）信息是可以量度的：信息量有大小的差别，出现概率越大的随机事件一旦发生，它所包含的信息量就越小；出现概率越小的随机事件一旦发生，它所包含的信息量就越大。（4）信息是可以加工的：人们在收到各种原始信息之后，经过各种方式的加工可以产生新的信息，如研究人员通过收集资料或实验获得的原始信息，经过加工处理可能提出新的见解；计算机通过对输入的信息加工处理，可为人们提供更有意义的结果。（5）信息的可替代性：信息能替代劳动力、资本、物质材料甚至时间，正确、及时、有效地利用信息，可创造更多的物质财富，开发或节约更多的能量，节省更多的时间，收到巨大的经济效益。（6）信息是可以共享的：信息可以像实物一样作为商品出售，但信息的知识特性使其交易又不同于一般的实物交易，信息交易后，信息出售者与信息购买者共同享有信息。（7）信息的载体是可以转换的：同样内容的信息，可以有不同的形态，可以被包含在不同的物体变化之中，可以从一种形态转换到另一种形态。如我们用感官识别出来的声音、味道、颜色等信息可以转换成语言、文字等形式。在这种转换中，信息的物理载体发生了变化，但信息的内容可以保持完好无损。信息的这个特性，为人们借助于仪器间接地识别信息提供了基础，也为信息的传递、存储和处理带来了方便。
由前述可知，信息是一种十分复杂的研究对象。要找到一种通用的方法来描述各种各样的信息以及用统一的方法来恰如其分地描述信息的方方面面，显然是非常困难的。要清楚、具体地认识信息，必须对信息进行分类。
信息分类有许多不同的准则和方法。按照性质，信息可以分成语法信息、语义信息和语用信息；按照携带信息的信号性质，信息还可以分成连续信息、离散信息和半连续信息；还可以按照地位、作用、应用部门等方式分类。我们研究信息的目的，是要准确地把握信息的本质和特点，以便更有效地利用信息。因此，在众多的分类原则和方法中，最重要的就是按照信息性质的分类。
按照性质的不同可以把信息划分成语法信息、语义信息和语用信息3个基本类型。其中最基本也最抽象的类型是语法信息，它是迄今为止在理论上研究得最多的类型。
语法信息考虑的是事物运动状态和变化方式的外在形式。香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。
试读结束[说明：试读内容隐藏了图片]