信息论与编码1-绪论.ppt

《信息论与编码1-绪论.ppt》由会员分享，可在线阅读，更多相关《信息论与编码1-绪论.ppt（40页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、信息理论与编码 武汉理工大学理学院胡国政1课程计划1、总学时48，其中讲课40学时，实验8学时2、交作业和实验报告3、总成绩由两部分组成，平时成绩占30，考试成绩占704、计划讲授教材的一至七章2教材和参考书：教材和参考书：参考书：参考书：1信息论与编码，曹雪虹张宗橙编，北京邮电大学出版社，20012信息论基础理论与应用，傅祖芸编著，电子工业出版社，20013信息理论与编码，姜丹钱玉美编著4信息论与编码，吴伯修归绍升祝宗泰俞槐铨编著，1987教材教材：信息理论与编码，吕锋等编，人民邮电出版社3课程概述n当今的时代是一个信息的时代，信息处理技术的不断进步极大的影响了我们的生活，使我们的生活质量得

2、到很大提高。本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为基础理论和编码理论两部分组成4学习方法本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。5第一章绪论1信息的概念2信息论研究的对象、目的和内容3信息论的发展简史与现状61信息的概念从哲学的角度上讲，信息是构成物质世界的三大支

3、柱之一，其他两个是物质和能量。可以说我们生活在信息的海洋之中，没有信息就没有世界，当然也就没有我们人类社会。人类利用信息利用信息的历史非常悠久，而且随着人类社会的发展而发展。到了现代，信息的利用已经非常重要，以至于我们当今生活的社会被称作信息社会。可见信息的重要。但是有史以来，人们都没有对信息下过一个确切的定义。就像对于物质和能量一样。7n 信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。广泛性n客观世界充满着信息n人类离不开信息n知识、书本是有用信息的积累抽象性n三大要素是：物质、能量与信息。三要素中物质是基础，是实体。能量是物质运动的形式，E=mc2，物质可转换成能量，而能量又

4、是改造客观世界的主要动力。8n信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。n 就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。9n信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。如电信号、光信号等。n消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象

5、。10n信息：信息：信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候就是一种信息。信息是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。11信息的主要特征n信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在；n信息来源于精神世界，但又不局限于精神领域；n信息与能量息息相关，但又与能量有本质的区别；n信息具有知识的本性，但又比知识的内涵更广泛；n信息可以被

6、主体获取和利用。12信息论基础的重要性v信息论是信息科学和技术的基本理论,信息科学大厦的地基;v没有信息论的基础，从事通信与信息领域的研究和创新是不可能的事情;v总之,信息论是高层次信息技术人才必不可少的基础知识。132信息论研究对象、目的和内容通信系统模型信源信道信宿编码器译码器噪声源14信源信源编码器信道编码器调制器信道干扰源解调器信道译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器信道译码器通信系统模型进一步细分通信系统模型进一步细分15信息论从诞生到今天，已有五十多年历史，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐

7、步形成的。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。16电的通信系统(电信系统)已有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展，其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等，一切都离不开消息传递和信息流动。17例如，当法拉第(MFaraday)于1820年-1830年期间发现电磁感应的基本规律后，不

8、久莫尔斯(FBMorse)就建立起电报系统(18321835)。1876年，贝尔(AGBELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(HHertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(ACooB)就发明了无线电通信。18本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波进行放大的电子管。之后很快出现了远距离无线电通信系统。大功率超高频电子管发明以后，电视系统就建立起来了(19251927)。电子在电磁场运动过程中能量相互交换的规律被人们认识后，就出现了微波电

9、子管(最初是磁控管，后来是速调管、行波管)，接着，在三十年代末和四十年代初的二次世界大战初期，微波通信系统、微波雷达系统等就迅速发展起来。五十年代后期发明了量子放大器，六十年代初发明的激光技术，使人类进入了光纤通信的时代。19n随着工程技术的发展，有关理论问题的研究也逐步深入。n1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的。1885年凯尔文(L.Kelvin)曾经研究过一条电缆的极限传信率问题。1922年卡逊(JRCarson)对调幅信号的频谱结构进行了研究，并建立了信号频谱概念。1924年奈奎斯特(HNyquist)指出，如果以一个确定的速度来传输电报信号，就需要一

10、定的带宽。他把信息率与带宽联系起来了。1928年哈特莱(RVHartley)发展了奈奎斯特的工作，并提出把消息考虑为代码或单语的序列。他的工作对后来香农的思想是有影响的。20n1936年阿姆斯特朗()认识到在传输过程中增加带宽的办法对抑制噪声干扰肯定有好处。根据这一思想他提出了宽偏移的频率调制方法，该方法是有划时代意义的。n信息论作为一门严密的科学分支，主要归功于贝尔实验室的香农。他在1948年发表的论文通信的数学理论奠定了信息论的基础。控制论的创始人维纳也对信息论有不可忽视的贡献。香农和维纳的基本思想都是把通信作为统计过程来处理。他们采用的术语、方法也主要依靠统计理论。21n研究通信系统的目

11、的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。所谓可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。而所谓有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。22以后会看到，提高可靠性和提高有效性常常会发生矛盾，这就需要统筹兼顾。所谓保密性就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。所谓认证性是指接收者能正确判断所接收的消息的正确性和完整性，而不是伪造的和被篡改的。23信息论研究的对象、目的和内容n信源：消息的来源n编码

12、器：把消息变换成信号n信道：传递信号的媒介n译码器：把信道输出的信号反变换n信宿：信息的接受端n噪声：信道中的干扰24信息论所要解决的问题n可靠性n有效性n保密性n认证性25信息论的理解n狭义信息论（香农信息论）信息的测度、信道容量、信源和信道编码理论n一般信息论噪声、滤波与预测、估计、保密等n广义信息论所有与信息相关的邻域26狭义信息论体系结构狭义信息论体系结构Shannon信息论压缩理论有失真编码无失真编码等长编码定理Shannon1948McMillan1953变长编码定理Shannon1948McMillan1956Huffman码(1952)、Fano码算术码(1976,1982)L

13、Z码(1977,1978)率失真理论ShannonGallagerBerger压缩编码JPEGMPEG传输理论信道编码定理网络信息理论纠错码编码调制理论网络最佳码27信息论的发展历史n1924年，Nyquist提出信息传输理论；n1928年，Hartly提出信息量关系；n1946年，柯切尼柯夫提出信号检测理论；n1948年，Shannon提出信息论，“通信中的数学理论28电磁理论和电子学理论对通信理论技术发展起重要的促进作用l18201830年，法拉第发现电磁感应l莫尔斯18321835建立电报系统。1876年Bell发明电话l1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论l1895

14、年马可尼发明了无线电通信l微波电子管导致微波通信系统，微波雷达系统l激光技术使通信进入光通信时代291948年shannon信息论奠基1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明1957，Wolfowitz，1961Fano，1968Gallager给出信道编码定理的简介证明并描述了码率，码长和错误概率的关系，1972年Arimoto和Blahut发明了信道容量的迭代算法1956McMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976Rissanen算术编码，1977，78Ziv和Lempel的LZ算法301950年汉明码，1

15、960年卷积码的概率译码，Viterbi译码，1982年Ungerboeck编码调制技术，1993年Turbo编译码技术1959年，Shannon提出率失真函数和率失真信源编码定理1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。311832年莫尔斯电码对shannon编码理论的启发1885年凯尔文研究了一条电缆的极限传信速率1922年卡逊对调幅信号的频谱结构进行研究1924年奈奎斯特证明了信号传输速率和带宽成正比1928年Hartley提出信息量定义为可能消息量的对数1939年Dudley发明声码器1940维纳将随机过程和数理统计引入通信与控制系统

16、323信息论的形成和发展n1948年，香农在通信的数学理论的论文中，用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。香农理论的核心是：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。33“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。34n从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找最佳通信系统提供了重要的理论

17、依据。35n对于确定概率分布的信源编码1948年，香农在论文中提出并给出了简单的编码方法(香农编码)，1952年,费诺(Fano)提出了一种费诺码，同年霍夫曼(DAHuffman)构造了一种霍夫曼编码方法，并证明了它是最佳码。36n算术码就是一种非块码，它是从整个序列的概率的匹配来进行编码的。其实此概念也是香农首先提出的，后经许多学者改进，已进入实用阶段。1968年前后，埃利斯(PElias)发展了香农费诺码，提出了算术编码的初步思路。而里斯桑内(JRissanen)在1976年给出和发展了算术编码，1982年他和兰登(GGLangdon)一起将算术编码系统化，并省去了乘法运算，使其更为简化、

18、易于实现。37n在研究信源编码的同时，另外一部分科学家从事信道编码(纠错码)的研究工作。这一工作已取得了很大的进展，并已经形成一门独立的分支纠错码理论。1950年汉明(RWHamming)发表的论文检错码与纠错码是开拓编码理论研究的第一篇论文。这篇论文主要考虑在大型计算机中如何纠正所出现的单个错误。38n密码编码学是信息安全技术的核心，密码编码学的主要任务是寻求产生安全性高的有效密码算法和协议，以满足对消息进行加密或认证的要求。n密码分析学的主要任务是破译密码或伪造认证信息，实现窃取机密信息或进行诈骗破坏活动。n这两个分支既相互对立又相互依存，正是由于这种对立统一关系，才推动了密码学自身的发展。n香农在1949年发表的保密通信的信息理论论文中，首先用信息论的观点对信息保密问题作了全面的论述。39n由于保密问题的特殊性，直至1976年迪弗(Diffe)和海尔曼(Hellman)发表了密码学的新方向一文，提出了公开密钥密码体制后，保密通信问题才得到广泛研究。n尤其当今，信息的安全和保密问题更加突出和重要。人们把线性代数、初等数论、矩阵等引入保密问题的研究，已形成了独树一帜的分支密码学理论。40