第七章-限失真信源编码..ppt

《第七章-限失真信源编码..ppt》由会员分享，可在线阅读，更多相关《第七章-限失真信源编码..ppt（46页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第七章第七章 限失真信源编码限失真信源编码7.1 7.1 失真测度失真测度7.2 7.2 信息率失真函数信息率失真函数 7.3 7.3 信息率失真函数的计算信息率失真函数的计算 7.4 7.4 限失真信源编码定理限失真信源编码定理7.1.1 7.1.1 失真函数失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度l对于每一对 ，指定一个非负的函数失真矩阵7.1.1 7.1.1 失真函数失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度常用的失真函数有：（1）汉明失真（2）平方误差失真函数失真函数是根据人们

2、的实际需要和失真引起的损失、风险大小等人为规定的。7.1.1 7.1.1 失真函数失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度例7.1.1设信道输入，输出，规定失真函数d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5，求D。解：7.1.1 7.1.1 失真函数失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度符号序列的失真函数7.1.1 7.1.1 失真函数失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真

3、测度例7.1.2假设信源输出序列，其中每个随机变量均取值于。经信道传输(编码编码）后的输出为，其中每个随机变量均取值于。定义失真函数 d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，求失真矩阵D(N）。7.1.1 7.1.1 失真函数失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度7.1.1 7.1.1 失真函数失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度7.1.2 7.1.2 平均失真平均失真 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真

4、测度7.1.2 7.1.2 平均失真平均失真 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度例：7.1.2 7.1.2 平均失真平均失真 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度例：7.2.1D 允许信道 保真度准则 D失真允许信道 7.2 7.2 信息率失真函数信息率失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数信息率失真函数7.2.2信息率失真函数的定义当信源为离散无记忆平稳信源、信道为离散无记忆平稳信道时7.2 7.2 信息率失真函数信息率失真函数第七

5、章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数信息率失真函数是在信道固定前提下，选择一种信源概率分布使信息传输率最大（求极大值）。它反映了信道传输信息的能力，是信道可靠传输的最大信息传输率。信道容量与信源无关，是反映信道特性的参量，不同的信道其信道容量不同。7.2 7.2 信息率失真函数信息率失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数信息率失真函数是在信源固定，满足保真度准则的条件下的信息传输率的最小值。反映了满足一定失真度的条件下信源可以压缩的程度，也就是满足失真要求而再现信源消息所必须获得的最少平均信息

6、量。是信源特性的参量，一旦求到就与求极值过程中选择的试验信道无关，不同的信源率失真函数不同。7.2 7.2 信息率失真函数信息率失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数信息率失真函数 这两个概念适用范围是不一样。研究信道容量C 是为了解决在已知信道中尽可能多地传送信息的问题，是为了充分利用已给定的信道，使传输的信息量最大而错误概率任意小，以提高通信的可靠性，这是信道编码的问题。7.2 7.2 信息率失真函数信息率失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数信息率失真函数研究信息率失真函数是为

7、了解决在已知信源和允许失真度条件下，使信源输出的信息率尽可能小，也就是在允许一定失真度D 的条件下，使信源必须传送给信宿的信息量最少，尽可能用最少的码符号来传送信源信息，使信源的信息可以尽快地传送出去，以提高通信的有效性，这是信源编码问题。1.1.的定义域的定义域 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质例7.3：删除信道，求1.1.的定义域的定义域 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质解：l只只有有当当失失真真矩矩阵阵每每一一行行至至少少有有一一

8、个个零零元元素素时时,信信源源的的平平均均失真度才能达到下限值失真度才能达到下限值0,0,l否则否则D Dmin 0.min 0.例：求1.1.的定义域的定义域 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质解：1.1.的定义域的定义域 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质例7.4 设信源 ,，求1.1.的定义域的定义域 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质解：1.1.的定义域的

9、定义域 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质1.1.的定义域的定义域 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质例：二元信源,计算。1.1.的定义域的定义域 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质解：对于任意和有2.2.是关于是关于D D的下凸函数的下凸函数 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质3.3.

10、在定义域内是严格递减函数在定义域内是严格递减函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质一、一、R(D)的性质的性质 1.下凸性下凸性(有最小值有最小值)；2.连续性；连续性；3.单调递减性单调递减性二、二、R(D)的定义域的定义域0,Dmax 1.Dmin=0(对应无失真情形对应无失真情形)一般地一般地,仅当失真矩阵每行均有零元素时仅当失真矩阵每行均有零元素时,Dmin=0 2.Dmax (1)Dmax对应于对应于R(D)的零点的零点 (2)由于由于p(ai,bj)(PD)的不同，的不同，使使R(D)|min=0的的D值

11、可能有多个，值可能有多个，此时应取最小一个此时应取最小一个4.4.小结小结0D*DmaxDR(D)H(X)R(D*)例7.9二元信源的信息率失真函数信源输出符号集为（0，1），失真函数定义为汉明失真，求。7.3.2 二元信源和离散等概信源的第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的计算信息率失真函数的计算解：且满足该最小失真的试验信道是一个无噪无损信道。第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的计算信息率失真函数的计算7.3.2 二元信源和离散等概信源的当时，第七章：限失真编码第七章：限失真编码第七章：

12、限失真编码第七章：限失真编码信息率失真函数的计算信息率失真函数的计算7.3.2 二元信源和离散等概信源的选取一信道使l根根据据R(D)R(D)的的定定义义,满满足足保保真真度度的的试试验验信信道道的的I(X;Y)I(X;Y)的的最最小小值值就就是是R(D).R(D).为为了了证证实实这这一一点点,必必须须找找到到一一个个试试 验验信信道道.使使其其平平均均失失真真度度DD,DD,而而I(X;Y)I(X;Y)达达到到这这个个最最小小值值,即即I(X;Y)=R(D)=H(p)-H(D).I(X;Y)=R(D)=H(p)-H(D).第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真

13、编码信息率失真函数的计算信息率失真函数的计算7.3.2 二元信源和离散等概信源的l已已知知信信源源的的概概率率分分布布P(ai)和和失失真真函函数数d(ai,bj)，就就可可求求得得信信源源的的R(D)函函数数。原原则则上上它它与与信信道道容容量量一一样样，即即在在有有约约束束条条件件下下求求极小值的问题。极小值的问题。也就是适当选取试验信道也就是适当选取试验信道P(v/u)使平均互信息最小化，使平均互信息最小化，l其约束条件为其约束条件为:l对于等概、对称失真的信源，存在一个与失真矩阵具有同样对称性的转移概率分布达到率失真R(D)。l解：由l l 例例 有一个二元等概平稳无记忆信源有一个二元

14、等概平稳无记忆信源，接收接收符号符号集为集为且失真矩阵为且失真矩阵为：求率失真函数R(D)。由于信源等概分布，失真函数具有对称性，因此，存在着与失真矩阵具有同样对称性的转移概率分布达到率失真函数R(D)，该转移概率矩阵可写为：由于，因此对于任何有限平均失真，必须。于是转移概率矩阵变为：对应此转移概率矩阵的平均失真：因此可求出此时的互信息为：l相应的率失真函数R(D)如图所示。例例例例 有一个有一个有一个有一个n n元等概率、平稳无记忆信源元等概率、平稳无记忆信源元等概率、平稳无记忆信源元等概率、平稳无记忆信源 ，接收符号集为接收符号集为接收符号集为接收符号集为 ，且规定失真矩阵为，且规定失真矩

15、阵为，且规定失真矩阵为，且规定失真矩阵为求率失真函数求率失真函数求率失真函数求率失真函数R(D)R(D)。解：首先求得解：首先求得解：首先求得解：首先求得D D的定义域：的定义域：的定义域：的定义域：由于信源等概分布，失真函数具有对称性，因此，存在由于信源等概分布，失真函数具有对称性，因此，存在着与失真矩阵具有同样对称性的转移概率分布达到率失着与失真矩阵具有同样对称性的转移概率分布达到率失真真R(D)。该转移概率矩阵可写为。该转移概率矩阵可写为对应此转移概率矩阵的平均失真对应此转移概率矩阵的平均失真因此因此A=1-(n-1)D。由此不难求出此时的互信。由此不难求出此时的互信息为息为在允许一定失

16、真的情况下,信源输出信息率最少可减少到信息率失真函数R(D),有可能是多个信源符号(符号序列)对应一个码字(码字序列).限失真信源编码定理就是关于信息率和失真关系的一个极限定理,也称香农第三定理,保真度准则下的离散信源编码定理.7.4 7.4 限失真信源编码定理限失真信源编码定理第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码限失真信源编码定理限失真信源编码定理定理7.1设是离散无记忆信源的信息率失真函数。对于任意的允许失真度和任意小的正数，当码长N 足够长时，一定存在一种编码其码字个数而编码后的平均失真度。如果用二元编码，则M可写成 7.4 7.4 限失真信源编码定理

17、限失真信源编码定理第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码限失真信源编码定理限失真信源编码定理 7.4 7.4 限失真信源编码定理限失真信源编码定理第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码限失真信源编码定理限失真信源编码定理l此定理又称为香农第三定理，定理告诉我们：对于任何失真度 ，只要码长N足够长，总可以找到一种编码C，使编码后每个信源符号的信息传输率即而码的平均失真度定理7.2否则，如果则编码后的平均失真度。7.4 7.4 限失真信源编码定理限失真信源编码定理第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码限失真信源编码定理限失真信源编码定理