信息论的形成和发展优秀PPT.ppt

《信息论的形成和发展优秀PPT.ppt》由会员分享，可在线阅读，更多相关《信息论的形成和发展优秀PPT.ppt（35页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、信息论的形成和发展第1页，本讲稿共35页 总学时：总学时：48 理论课：理论课：40 习题测试：习题测试：8 周学时：周学时：6 8周课周课第2页，本讲稿共35页教材：教材：信息论与编码信息论与编码 主编主编 曹雪虹曹雪虹 参考书参考书 ：1 1、信息论与编码信息论与编码 作者：付祖云作者：付祖云 编著编著 电子工业出版社电子工业出版社2 2、信息论与编码信息论与编码作者：陈运作者：陈运 周亮周亮 陈新陈新 电子工业出版社电子工业出版社3 3、应用信息论基础应用信息论基础 作者：朱雪龙作者：朱雪龙 编著清编著清华大学出版社华大学出版社4 4、信息论理论基础信息论理论基础 作者：贾世楼作者：贾世

2、楼 编著编著 哈尔滨工业大学出版社哈尔滨工业大学出版社第3页，本讲稿共35页 本课主要介绍信息的基本概念，信息本课主要介绍信息的基本概念，信息论研究的对象、目的和内容，信息论发论研究的对象、目的和内容，信息论发展简史及现状。展简史及现状。介绍了信息论三个基本概念，信源熵、介绍了信息论三个基本概念，信源熵、信道容量和信息论失真函数，以及相关信道容量和信息论失真函数，以及相关的编码定理，信源编码、信道编码、安的编码定理，信源编码、信道编码、安全编码。全编码。第4页，本讲稿共35页目录目录第一章第一章 绪论绪论第二章第二章 信源和信息熵信源和信息熵第三章第三章 无失真信源编码无失真信源编码第四章第四

3、章 限失真信源编码限失真信源编码第五章第五章 信道编码信道编码第六章第六章 密码学密码学第5页，本讲稿共35页第一章第一章绪论绪论1.1 信息论的形成和发展信息论的形成和发展第6页，本讲稿共35页一、什么是信息一、什么是信息C.E.ShannonC.E.Shannon：信息就是一种消息：信息就是一种消息N.WienerN.Wiener：信息是人与外界相互作用的过程信息是人与外界相互作用的过程 中所交换的内容的名称中所交换的内容的名称钟义信：钟义信：信息就是事物运动的状态和方式，就是信息就是事物运动的状态和方式，就是 关于事物运动的千差万别的状态和方式知识。关于事物运动的千差万别的状态和方式知识

4、。第7页，本讲稿共35页2020世纪通信技术的发展推动了信息理论的研究世纪通信技术的发展推动了信息理论的研究.美美国国科科学学家家H.Nyquist H.Nyquist 于于19241924年年解解释释了了信信号号带带宽宽和和信息速率之间的关系信息速率之间的关系.美美国国科科学学家家L.V.R.Hartley L.V.R.Hartley 于于19281928年年开开始始研研究究通通信系统传输信息的能力，给出了信息的度量方法信系统传输信息的能力，给出了信息的度量方法.美美国国科科学学家家C.E.Shannon C.E.Shannon 于于19481948年年发发表表的的著著名名论论文文通信的数学

5、理论通信的数学理论A A Mathematical Mathematical Theory Theory of of CommunicationCommunication奠奠定定了了信息论的理论基础信息论的理论基础.二、信息论的形成和发展二、信息论的形成和发展第8页，本讲稿共35页 C.E.ShannonC.E.Shannon针对人类的通信活动提出以下论点：针对人类的通信活动提出以下论点：（1 1）形形式式化化假假说说：通通信信的的基基本本问问题题是是消消息息的的接接收收端端精精确确地地或或近近似似地地复复制制发发送送端端所所挑挑选选的的消消息息。通通常常消消息息是是有有意意义义的的，但通信的

6、语义方面的问题与工程问题是无关的但通信的语义方面的问题与工程问题是无关的。（2 2）非非决决定定论论：实实际际的的消消息息总总是是可可能能发发生生的的消消息息集集合合中中挑挑选选出出来来的的，因因此此通通信信系系统统必必须须设设计计得得对对每每一一种种选选择择都都能能工工作作，因因为为各各种种消消息息的的选选择择是是随随机机的的，设设计计者者事事先先无无法法知知道道什么时候会选择什么消息来传送。什么时候会选择什么消息来传送。（3 3）不不确确定定性性：两两种种情情况况下下有有通通信信的的需需要要，一一是是自自己己有有某某种种的的消消息息要要告告知知对对方方，而而估估计计对对方方“不不知知道道”

7、该该消消息息；二二是是自自己己有有某某种种“疑疑问问”要要询询问问对对方方，估估计计对对方方能能作作出出一定的解答。一定的解答。第9页，本讲稿共35页 1)1)狭狭义义信信息息论论：主主要要研研究究信信息息的的测测度度、信信道道容容量量（信信道道的的传传输输能能力力）、信信源源及及信信道道的的编编码码问问题题。这这部部分分理理论论是是ShannonShannon信息论，也称基础信息论。信息论，也称基础信息论。2)2)一一般般信信息息论论：也也称称为为通通信信理理论论，主主要要研研究究信信息息传传输输的基本理论和通信的基本问题。的基本理论和通信的基本问题。3)3)广广义义信信息息论论：除除上上述

8、述两两方方面面的的内内容容外外，还还包包括括所所有有与与信信息息论论有有关关的的其其它它领领域域，如如生生物物、遗遗传传工工程程、经经济、社会等领域。济、社会等领域。三、信息科学的研究范畴三、信息科学的研究范畴有三个层次有三个层次第10页，本讲稿共35页1)通信的统计理论：通信的统计理论：信息的度量：信息的度量：确定信息的测度。确定信息的测度。信源熵和信息速率：研究信源特性及其统计信源熵和信息速率：研究信源特性及其统计平均信息量平均信息量,信源的信息速率。信源的信息速率。信道容量：研究信道传输能力信道容量：研究信道传输能力四、信息工程的研究范畴四、信息工程的研究范畴两个方面：信息理论和信息技术

9、1 1、信息理论信息理论第11页，本讲稿共35页 2)2)各种信源的统计特性各种信源的统计特性文字的统计特性：文字的冗余度及可压缩性文字的统计特性：文字的冗余度及可压缩性;语言的统计特性：语音的统计特性及可压缩性语言的统计特性：语音的统计特性及可压缩性;图象的统计特性：图象的处理图象的统计特性：图象的处理,图象的压缩格式图象的压缩格式;二元信源的统计特性：二元信息的压缩算法。二元信源的统计特性：二元信息的压缩算法。第12页，本讲稿共35页有效性编码：压缩信源的冗余有效性编码：压缩信源的冗余,从而提高信息从而提高信息 的传输效率的传输效率,主要是针对信源的主要是针对信源的 统计性进行编码统计性进

10、行编码,故也称为信源故也称为信源 编码。编码。2 2、编码理论与技术编码理论与技术抗干扰编码：一般增加信源的冗余抗干扰编码：一般增加信源的冗余,有以提高信有以提高信 息传输的可靠性息传输的可靠性,主要是针对信道主要是针对信道 的统计性进行编码的统计性进行编码,故也称为信道编码故也称为信道编码;安全性编码：将信源的明文编码成密文，提高通安全性编码：将信源的明文编码成密文，提高通 信的安全性。信的安全性。第13页，本讲稿共35页 另另:3 3、信息的传输效率和利用率，扩频、频带压缩、信息的传输效率和利用率，扩频、频带压缩、码分复用、宽带高速信道；码分复用、宽带高速信道；4 4、抗干扰理论及相关技术

11、调幅、调频；、抗干扰理论及相关技术调幅、调频；5 5、噪声中信号检测理论及技术；、噪声中信号检测理论及技术；6 6、生物感官特性，听觉特性，视觉特性、生物感官特性，听觉特性，视觉特性 脑思维特性的研究；脑思维特性的研究；7 7、与其它学科有关的，研究生物医学的关、与其它学科有关的，研究生物医学的关 系、光学的关系等。系、光学的关系等。第14页，本讲稿共35页 五、五、信息、消息、信号、数据及其区别信息、消息、信号、数据及其区别1 1）信息：信息：（香农）信息是事物运动状态或存在方式（香农）信息是事物运动状态或存在方式 的不确定性的描述。的不确定性的描述。2 2）消息消息：用文字、符号、数据、语

12、言、音符、图片、图象：用文字、符号、数据、语言、音符、图片、图象等能够被人们感觉器官所感知的形式，把客观物质运动等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。消息是信和主观思维活动的状态表达出来就成为消息。消息是信息的载体息的载体 。但不是物理的。但不是物理的。第15页，本讲稿共35页3 3）信号：）信号：把消息换成适合信道传输的物理量（如：电把消息换成适合信道传输的物理量（如：电信号，光信号，声信号，生物信号信号，光信号，声信号，生物信号 等）。这种物理量称为信号。是消息的载等）。这种物理量称为信号。是消息的载 体。体。4 4）数据：载有信息的可观测

13、、可传输、可存储、）数据：载有信息的可观测、可传输、可存储、可处理的信号。可处理的信号。第16页，本讲稿共35页六、信息的特征六、信息的特征1 1、它的内容是不知道的；、它的内容是不知道的；2 2、信息是能使认识主体对某一事物的未知性或、信息是能使认识主体对某一事物的未知性或 不确定性减少的有用知识；不确定性减少的有用知识；3 3、信息可以产生，也可以消失；同时信息也可以、信息可以产生，也可以消失；同时信息也可以 被携带，储存及处理；被携带，储存及处理；4 4、信息可以度量。、信息可以度量。第17页，本讲稿共35页按信息的性质分类：按信息的性质分类：语法信息，语义信息和语语法信息，语义信息和语

14、 用信息用信息;七、信息的分类七、信息的分类按观察过程分类：按观察过程分类：实在信息，先验信息和实得信息实在信息，先验信息和实得信息按信息的地位分类：按信息的地位分类：客观信息（效果信息、环客观信息（效果信息、环 境境 信息）和主观信息（决策信信息）和主观信息（决策信 息，指令、控制和目标信息）息，指令、控制和目标信息）按信息的作用分类：按信息的作用分类：有用信息、无用信息和干扰信息；有用信息、无用信息和干扰信息；按信息的逻辑意义分类：按信息的逻辑意义分类：真实信息、虚假信息和不定真实信息、虚假信息和不定信息；信息；第18页，本讲稿共35页按信息的传递方向分类：按信息的传递方向分类：前馈信息和

15、反馈信息；前馈信息和反馈信息；按信息的生成领域分类：按信息的生成领域分类：宇宙信息、自然信息、宇宙信息、自然信息、思维信息和社会信息；思维信息和社会信息；按信息的信息源性质分类按信息的信息源性质分类:语言信息、图像信息、数语言信息、图像信息、数 据信息、计算信息和文字信息；据信息、计算信息和文字信息；按信息的信号形成分类：按信息的信号形成分类：连续信息、离散信息和半连连续信息、离散信息和半连续信息。续信息。还可以按按信息的应用部门、载体性质等分类。还可以按按信息的应用部门、载体性质等分类。第19页，本讲稿共35页1.21.2通信系统的模型通信系统的模型 1）基本的通信系统模型通信系统模型信源信

16、源信道信道信宿信宿1.11.1信息论的形成和发展信息论的形成和发展第20页，本讲稿共35页2 2）一般的通信系统模型）一般的通信系统模型第21页，本讲稿共35页通信系统各部分的作用通信系统各部分的作用 信源：信源是产生消息的源，消息是信息的载体；信源：信源是产生消息的源，消息是信息的载体；信源输出的消息要多于一种，何时输出何种信源输出的消息要多于一种，何时输出何种 消息是不确定的、随机的，但却是有规律消息是不确定的、随机的，但却是有规律 的。的。信宿：信宿是消息传送的对象。信宿：信宿是消息传送的对象。信道：信道是信号从信源传送到信宿的通路。信道：信道是信号从信源传送到信宿的通路。干扰源：整个通

17、信系统中各种干扰的集中反映干扰源：整个通信系统中各种干扰的集中反映 （理想化的干扰源）。（理想化的干扰源）。第22页，本讲稿共35页信源编码：将信源的原始信息按一定的理论或工程要信源编码：将信源的原始信息按一定的理论或工程要 求编成另一种消息形态（代码）。其作用是压缩求编成另一种消息形态（代码）。其作用是压缩 冗余度，提高通信系统传输消息的效率。冗余度，提高通信系统传输消息的效率。信道编码：在信源的代码上有目的地增加一些监督码信道编码：在信源的代码上有目的地增加一些监督码 元，以达到检查或纠正信息传输过程中产生的错元，以达到检查或纠正信息传输过程中产生的错 误，提高信息传输的可靠性。误，提高信

18、息传输的可靠性。加密编码：并将信源的明文编码成密文，提高通信的加密编码：并将信源的明文编码成密文，提高通信的 安全性。安全性。解码（译码）：是编码的逆过程，译码有信源译码、解码（译码）：是编码的逆过程，译码有信源译码、信道译码、解密译码。信道译码、解密译码。第23页，本讲稿共35页3)3)信息论与编码与其他学科的关系：信息论与编码与其他学科的关系：信息论和编码所须的基础知识信息论和编码所须的基础知识:概概率率论论、数数理理统统计计、随随机机过过程程、矩矩阵阵论论、近近世世代代数数、数数论、电子、计算机论、电子、计算机基础知识.需要信息论和编码知识的课程需要信息论和编码知识的课程 通信原理、数数

19、字字移移动动通通信信、计计算算机机技技术术、计计算算机机网网络通信、数字图像处理络通信、数字图像处理第24页，本讲稿共35页第二章第二章 信信 源源 及及 信信 源源 熵熵第二章信源及信源熵2.12.1信源的描述和分类信源的描述和分类一、信源的描述一、信源的描述信源：是发出消息的源，是信息的来源。信源：是发出消息的源，是信息的来源。第25页，本讲稿共35页1 1、连续信源连续信源指发出在时间和幅度上都是连续分指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源。布的连续消息（模拟消息）的信源。二、信源的分类二、信源的分类如：语言、图像、视频等。如：语言、图像、视频等。第二章信源及信源熵

20、按信源发出的消息在时间上和幅度上的分布情况分为两大类：第26页，本讲稿共35页其又分为其又分为离散无记忆信源离散无记忆信源,离散有记忆信源离散有记忆信源离散无记忆信源：离散无记忆信源：发出单个符号的无记忆信发出单个符号的无记忆信 源（只发出一个符号代表一个消息）源（只发出一个符号代表一个消息）发出符号序列的无记忆信源发出符号序列的无记忆信源 （每次发出一组含量个以上的符（每次发出一组含量个以上的符 号序列代表一个消息）号序列代表一个消息）2 2、离散信源、离散信源指发出在时间和幅度上都是指发出在时间和幅度上都是 离散分布的离散消息的信源。离散分布的离散消息的信源。如：文字、数字、数据、字母等。

21、如：文字、数字、数据、字母等。离散有记忆信源离散有记忆信源：发出单个符号的有记忆信源发出单个符号的有记忆信源 发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源第二章信源及信源熵无记忆：无记忆：发出的各个符号是相互独立的；各符发出的各个符号是相互独立的；各符 号序列中的各个符号之间是没有统计号序列中的各个符号之间是没有统计 关联的关系。各个符号的出现概率是关联的关系。各个符号的出现概率是 它自身的先验概率。它自身的先验概率。有记忆：有记忆：发出的各个符号是相关联的。表述起发出的各个符号是相关联的。表述起 来很困难。来很困难。第27页，本讲稿共35页 当记忆长度为当记忆长度为m+1m+1时称这

22、种记忆信源为时称这种记忆信源为m m阶马尔可阶马尔可夫信源，即信源每次发出的符号与前夫信源，即信源每次发出的符号与前m m个符号有关，个符号有关，与更前面的符号无关。假设与更前面的符号无关。假设m m阶马尔可夫信源输出的阶马尔可夫信源输出的随机序列为随机序列为X=XX=X1 1 X X2 2X Xi-1i-1X Xi i X XN N。在这序列中某。在这序列中某i i时时刻的随机变量刻的随机变量X X取什么符号只与前取什么符号只与前m m个随机变量个随机变量X Xi-1 i-1 X Xi-2i-2 X Xi-mi-m取什么符号有关，与其更前面的随机变取什么符号有关，与其更前面的随机变量以及后面

23、的随机变量取什么符号都无关。这样量以及后面的随机变量取什么符号都无关。这样就可以用马尔可夫链来描述此信源。就可以用马尔可夫链来描述此信源。第二章信源及信源熵第28页，本讲稿共35页定义一个离散无记忆信源是由定义一个离散无记忆信源是由n n个符号消息组成的集合个符号消息组成的集合:X=x1，x2 xn，从概率的角度看，可以将符号消息从概率的角度看，可以将符号消息x xi i 看一个看一个随机事随机事件件。因此。因此x xi i 具有具有不确定性不确定性。这这n n个符号消息的概率分布是：个符号消息的概率分布是：称为符号称为符号x xi i 的的先验概率先验概率散信源数学模型表示为：散信源数学模型

24、表示为：三、信源的数学模型三、信源的数学模型第29页，本讲稿共35页例：掷一颗质地均匀的色子研究其下落后朝上一例：掷一颗质地均匀的色子研究其下落后朝上一面的点数，每次实验结果必然是面的点数，每次实验结果必然是1 1，2 2，6 6点中的点中的某一个面朝上。这种信源输出的消息是某一个面朝上。这种信源输出的消息是“朝上面是朝上面是一点一点”，“朝上面是两点朝上面是两点”，“朝上面是六点朝上面是六点”，六个不同的消息。每次实验只能出现一种消息，出现，六个不同的消息。每次实验只能出现一种消息，出现哪一种是随机的，但必是六种情况中的一种。用符号表哪一种是随机的，但必是六种情况中的一种。用符号表示为示为a

25、 ai i,i=1,i=1,6,6来表示这些消息，得到这信源的样本来表示这些消息，得到这信源的样本空间为符号集空间为符号集A=A=a a1 1,a,a2 2,a,a3,3,a a4 4,a,a5 5,a,a6 6.第二章信源及信源熵第30页，本讲稿共35页 实验证明各消息都是等概率出现的，都等于实验证明各消息都是等概率出现的，都等于1/61/6，因此可用一个离散型随机变量，因此可用一个离散型随机变量X X来描述这个信来描述这个信源的输出的消息。这个随机量源的输出的消息。这个随机量X X的样本空间就是的样本空间就是符号集符号集A A，而，而X X的概率分布就是各消息出现的先的概率分布就是各消息出

26、现的先验概率为：验概率为：p(ap(a1 1)=p(a)=p(a2 2)=p(a)=p(a3 3)=p(a)=p(a4 4)=p(a)=p(a5 5)=p(a)=p(a6 6)=1/6,)=1/6,信源的数学模型为：信源的数学模型为：第31页，本讲稿共35页并满足：并满足：=1=1上式表示信源的概率空间必定是一个完备集。信上式表示信源的概率空间必定是一个完备集。信源输出的消息只可能是符号集源输出的消息只可能是符号集A=A=a a1 1,a,a2 2,a,a3 3,a,a4 4,a,a5 5,a,a6 6中的任何一个，且每次必中的任何一个，且每次必定选取其中一个。我们称由信源空间定选取其中一个。

27、我们称由信源空间A,P(a)A,P(a)描述的信源描述的信源A A为离散无记忆信源，此信源为离散无记忆信源，此信源在不同时刻发出的符号之间是无依赖的，彼此统在不同时刻发出的符号之间是无依赖的，彼此统计独立计独立。第32页，本讲稿共35页三、信息的定义三、信息的定义一、信息论的形成和发展一、信息论的形成和发展二、研究信息的目的二、研究信息的目的四、信息工程的研究范畴四、信息工程的研究范畴五、五、信息、消息、信号、数据及其区别信息、消息、信号、数据及其区别六、信息的特征六、信息的特征七、信息的分类七、信息的分类第一章第一章绪论绪论1.1 信息论的形成和发展信息论的形成和发展本次课程内容回顾本次课程内容回顾第33页，本讲稿共35页1.21.2通信系统的模型通信系统的模型 1）基本的通信系统模型通信系统模型2）一般的通信系统模型）一般的通信系统模型3)信息论和编码与其他学科的关系：第34页，本讲稿共35页第二章第二章 信信 源源 及及 信信 源源 熵熵二、信源的分类二、信源的分类三、信源的数学模型三、信源的数学模型2.1信源的描述和分类信源的描述和分类一、信源的描述一、信源的描述第35页，本讲稿共35页