信息率失真函数精选PPT.ppt

《信息率失真函数精选PPT.ppt》由会员分享，可在线阅读，更多相关《信息率失真函数精选PPT.ppt（112页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、关于信息率失真函数第1页，讲稿共112张，创作于星期日9.1 概概 述述v 对于有失真信源编码，总希望在不大于一定编码速率（即传送每信源符号所需的平均的二进数字数）的条件下，使平均失真最小；或者在平均失真不大于某个值的条件下，使编码速率最小。v仙农提出的信息率失真理论是有损数据压缩的理论基础，该理论的核心是在保真度准则下的信源编码定理，也称仙农第三定理v定理指出信源编码的码率大于R(D)是存在平均失真不大于D的信源编码的充分与必要条件。对有损压缩编码系统，确定失真测度是首要的工作，不同的失真测度会得到不同R(D)函数。2第2页，讲稿共112张，创作于星期日9.1.1 系统模型v一个有损压缩系统

2、对信源发出的消息X进行有失真信源编码，经理想无噪声信道传输，到达信源译码器，输出为Y。由于编码有失真，所以Y不是X的精确复现。限失真编码通信系统模型 3第3页，讲稿共112张，创作于星期日9.1.2 失真测度 1单符号失真测度单符号失真测度 试试 验验 信信 道道 的的 输输 入入 x和和 输输 出出y之之 间间 的的 失失 真真 用用 表表 示示，其其 中中 。定义失真矩阵定义失真矩阵 其中，表示当试验信道的输入为ai时，输出为bj所产生的失真。4第4页，讲稿共112张，创作于星期日9.1.2 失真测度 如果规定 那么失真矩阵变为5第5页，讲稿共112张，创作于星期日9.1.2 失真测度2序

3、列失真测度序列失真测度 设序列 其中 取自符号集A；其中 取自符号集B；序列失真测度定义为：上式表明，序列的失真测度是所包含符号失真的算术平均。6第6页，讲稿共112张，创作于星期日9.1.2 失真测度3平均失真平均失真 单符号平均失真定义为：序列平均失真定义为：7第7页，讲稿共112张，创作于星期日9.2 离散信源信息率失真函数离散信源信息率失真函数 8第8页，讲稿共112张，创作于星期日9.2.1 信息率失真函数 定义信息率失真函数(rate-distortion function)为：或9第9页，讲稿共112张，创作于星期日9.2.2 R(D)函数的性质1、R(D)的定义域及关键点取值的

4、定义域及关键点取值：且10第10页，讲稿共112张，创作于星期日9.2.2 R(D)函数的性质 例9.2.1 设试验信道输入符号 ，概率分别为1/3，1/3，1/3，失真矩阵如下所示，求Dmin和Dmax和相应的试验信道的转移概率矩阵。11第11页，讲稿共112张，创作于星期日9.2.2 R(D)函数的性质解 =1 令对应最小 的 ，其它为0。可得对应Dmin 的转移概率矩阵为：12第12页，讲稿共112张，创作于星期日9.2.2 R(D)函数的性质=5/3 上式中第2项最小，所以令 。可得对应Dmax 的转移概率矩阵为：13第13页，讲稿共112张，创作于星期日9.2.2 R(D)函数的性质

5、2R(D)是关于是关于D的下凸函数的下凸函数(P194)设设D1,D2为任意两个平均失真，为任意两个平均失真，那，那么么14第14页，讲稿共112张，创作于星期日9.2.2 R(D)函数的性质3、R(D)是是(Dmin,Dmax)区间的连续和严格递减函区间的连续和严格递减函数数 证：R(D)在定义域内为凸函数，从而保证了连续性。下面证明在定义域内也是非增函数。由 ，在较大范围内求极小值一定不大于在所含小范围内求的极小值，所以 。由于在定义域内R(D)不是常数，而又是非增下凸函数，从而推出R(D)连续和严格递减函数15第15页，讲稿共112张，创作于星期日9.2.2 R(D)函数的性质4关于信息

6、率失真函数的几点解释关于信息率失真函数的几点解释：（1）通常总希望信息通过信道传输时输入与输出之间的互信息最大，是在信道给定情况下的要求。而这里是在信源给定而不是信道给定条件下的传输。信息率失真理论要解决的问题就是计算满足失真要求的传输所需要的最小信道容量或传输速率，以达到降低信道的复杂度和通信成本的目的。16第16页，讲稿共112张，创作于星期日9.2.2 R(D)函数的性质 （2）根据R(D)为单调减函数的性质，如果固定平均互信息，选择信道的转移概率使平均失真最小，可以得到同样的R(D)函数曲线，唯一的差别就是变量之间作用交换。这时就得 到“失 真 率 函 数”(distortion-ra

7、te function)。失真率函数定义为17第17页，讲稿共112张，创作于星期日9.3 限失真信源编码定理 本节包括限失真信源编码定理和限失真信源信道编码定理。限失真信源编码定理指出，当给定一个平均失真D时，对信源码率压缩的最低限度为R(D)，而限失真信源信道编码定理指出，当信道容量C大于R(D)时，信息能够通过信道以不大于D的平均失真传输。18第18页，讲稿共112张，创作于星期日9.3.1码率的压缩 设信源X发出长度为N的序列，而码字仅有M个，即仅对M个信源序列进行编码。设信源的熵为H，如果 ，那么当N足够长时就存在无失真信源编码。令 ，就有 。但如果 ，编码就会产生失真。这就是限失真

8、信源编码要解决的问题。由于压缩了码率，可以提高信息传输速率，从而减小了通信的成本。19第19页，讲稿共112张，创作于星期日9.3.1码率的压缩 图中，信源发出的N长符号序列u（符号集U）进入编码器，编码器按照最小失真的原则搜索到一个码字，设为ym（其中码字集合为Y）；设码字数为M，m为信源序列对应码字的序号；那么将ym的序号m发送到译码器，译码器根据接收的序号恢复原始码字，输出到用户。限失真信源编码系统 20第20页，讲稿共112张，创作于星期日9.3.1码率的压缩 例例9.3.1 设信源X，符号集为a1,a2,a2n，等概分布pi=1/2n，i=1,2n，给定失真测度为 ，设计一种单符号压

9、缩算法使得平均失真D=1/2并求压缩后的码率R.。21第21页，讲稿共112张，创作于星期日9.3.1码率的压缩 解：失真测度为汉明测度，实际上要求误码率为1/2。设Y为X的压缩编码，符号集为b1,b2,bn，下面为压缩算法和对应的试验信道转移概率矩阵：22第22页，讲稿共112张，创作于星期日9.3.1码率的压缩 平均失真 算法满足要求。的概率分布为：所以 ，23第23页，讲稿共112张，创作于星期日9.3.2 限失真信源编码定理v定理9.3.1 任意给定 ，总存在一种信源编码，使当 时，平均失真 ；反之，如果RR(D)，就不可能存在使平均失真 的编码。(香农第三定理)24第24页，讲稿共1

10、12张，创作于星期日9.3.3 限失真信源信道编码定理v定理9.3.2 设离散无记忆信源的信息率失真函数为R(D)(比特/秒)，离散无记忆信道的容量为C（比特/秒），若满足 则信源序列通过信道传输后的平均失真D；若 ，则信源序列通过信道传输后的平均失真大于D。（教材中的几点解释，P190）（例9.3，P194，习题集P188,习题9.15）25第25页，讲稿共112张，创作于星期日9.4 离散信源信息率失真函数的计算v本节研究离散信源信息率失真函数的计算问题，这归结到求有约束的极值问题。即使很简单的信源和简单的失真测度，求解的过程都比较复杂，而且只有特殊情况才有解析解，对于一般的计算需要借助于

11、迭代算法。26第26页，讲稿共112张，创作于星期日v设试验信道输入X，符号集A=a1,an，对应概率分布为p1,pn；信道输出 Y，符号集B=b1,bm，对应概率分布为q1,qm，失真矩阵为 （9.4.1）v试验信道转移概率矩阵为 （9.4.2）v信道输出概率分布 27第27页，讲稿共112张，创作于星期日9.4.1 R(D)参量表示法求解v对于给定信源X，符号概率分布为p1,pn的已知，给定（9.4.1）确定的失真矩阵，求解R(D)，实际上是通过（9.4.3）所描述的有约束极值，确定实验信道转移概率pij。（9.4.3）28第28页，讲稿共112张，创作于星期日9.4.1 R(D)参量表示

12、法求解v由于使R最小的pij总是在PD的边界上，所以在求极值时，平均失真约束条件的不等式取等号，即 （9.4.4）v从（9.4.3）式可知，约束条件有n+1个，其中1个为平均失真约束，n个条件概率归一化约束，未知数pij有mn个。下面用拉格朗日乘子法求有约束极值。29第29页，讲稿共112张，创作于星期日9.4.1 R(D)参量表示法求解v设s,(i=1,n)为常数，求下式极值（以e为底）：30第30页，讲稿共112张，创作于星期日9.4.1 R(D)参量表示法求解令 ，得其中 （9.4.5）31第31页，讲稿共112张，创作于星期日9.4.1 R(D)参量表示法求解所以当 时 （9.4.6）

13、（9.4.7）32第32页，讲稿共112张，创作于星期日9.4.1 R(D)参量表示法求解v结合（9.4.6）与（9.4.7）式，得v式中含m个方程，m个未知数qj(j=1,m)，而s为参量，一般能解。33第33页，讲稿共112张，创作于星期日9.4.1 R(D)参量表示法求解v将（9.4.5）代入（9.4.4）（9.4.3），分别得（9.4.10）（9.4.9）34第34页，讲稿共112张，创作于星期日9.4.2 R(D)求解过程归纳v现将R(D)求解的过程归纳如下：（1）根据（9.4.7）式求，；（2）根据（9.4.6）式求，j=1,m；（3）根据（9.4.9）式求D(s)；（4）根据（9

14、.4.10）式求R(s)。35第35页，讲稿共112张，创作于星期日9.4.2 R(D)求解过程归纳设为列矢量，由（9.4.7）得写成矩阵形式为（9.4.11）P19236第36页，讲稿共112张，创作于星期日9.4.2 R(D)求解过程归纳由（9.4.6），得写成矩阵形式为其中，（9.4.12）37第37页，讲稿共112张，创作于星期日9.4.2 R(D)求解过程归纳当m=n且A-1存在时，求解过程为：由 解得 由 解得 设矩阵为 ，有 38第38页，讲稿共112张，创作于星期日9.4.2 R(D)求解过程归纳（9.4.14）（9.4.13）其中，H(p)为信源的熵。39第39页，讲稿共11

15、2张，创作于星期日9.4.3 参量s的意义v现求R(D)对D的导数，由（9.4.10）得（9.4.15）40第40页，讲稿共112张，创作于星期日9.4.3 参量s的意义v在（9.4.7）式的两边，对s求导，得v两边都乘以 ，得 v根据（9.4.6），得 v将（9.4.16）的结果代入（9.4.15），得（9.4.16）（9.4.17）41第41页，讲稿共112张，创作于星期日9.4.3 参量s的意义v由此可得如下结论：(1)s是R(D)函数的斜率；(2)因为R(D)在0DDmax严格单调递减，所以s0。42第42页，讲稿共112张，创作于星期日9.4.3 参量s的意义v例9.4.1 一个二元

16、信源，符号集A=0,1，概率为p(0)=p1=p，p(1)=p2=1-p，其中p1/2；试验信道输出符号集B=0,1，失真测度函数为汉明失真，求R(D)函数。43第43页，讲稿共112张，创作于星期日9.4.3 参量s的意义v解 （1）设 ，所以 44第44页，讲稿共112张，创作于星期日9.4.3 参量s的意义（2）由 得（3）解得 45第45页，讲稿共112张，创作于星期日9.4.3 参量s的意义v（4）v v （9.4.18）v v （9.4.19）46第46页，讲稿共112张，创作于星期日9.4.3 参量s的意义v由（9.4.18）得，和 将这些结果代入（9.4.19），得 （9.4.

17、20）图9.4.1 为二元信源在不同概率p条件下的R(D)函数曲线。可以看出，对于给定的失真测度D，信源分布越接近等概率，R(D)越大，也就是说越难压缩，反之，信源分布越不均匀，R(D)越小，越容易压缩。47第47页，讲稿共112张，创作于星期日9.4.3 参量s的意义 v 图9.4.1 二元信源的R(D)函数曲线 48第48页，讲稿共112张，创作于星期日9.5 连续信源信息率失真函数v在前面学习离散信源R(D)函数的基础上，本节介绍离散时间连续信源的R(D)函数。首先介绍R(D)函数定义和性质，然后推导R(D)函数的计算，特别是差值失真测度的R(D)函数。与离散情况相比，R(D)函数定义和

18、性质有类似性，但也有不同；而R(D)函数的计算需要求有约束的泛函极值，因此过程更为复杂。49第49页，讲稿共112张，创作于星期日9.5.1 信息率失真函数与性质v设时间离散连续信源X，概率密度为p(x)，试验信道转移概率p(y|x)，输出为q(y)。定义平均失真为 （9.5.1）50第50页，讲稿共112张，创作于星期日9.5.1 信息率失真函数与性质v对所有试验信道集合PD，在满足失真度DD*时，信息率失真函数定义为：（9.5.2）v其中 。51第51页，讲稿共112张，创作于星期日9.5.1 信息率失真函数与性质v与离散信源类似，可以证明R(D)函数有以下性质：（1）非负性；（2）在区间

19、是单调递减函数；（3）在区间是下凸函数；其中，对应着X，Y独立时的最小平均失真，所以 （9.5.3）52第52页，讲稿共112张，创作于星期日9.5.1 信息率失真函数与性质v与离散情况不同的是，在D=0时，R(D)并不连续。在D0时，R(D)，趋近信源的绝对熵。对离散情况，H(X)是R(0)的上界；对连续情况，h(X)不是R(0)的上界，而且h(X)还可能为负。53第53页，讲稿共112张，创作于星期日9.5.2 R(D)函数的计算v在连续信源情况下用条件概率密度来描述试验信道，在满足（9.5.1）约束条件下，求（9.5.2）R(D)函数的极小值确定试验信道的条件概率密度，归结为求有约束泛函

20、极值的问题。即求 （9.5.4）54第54页，讲稿共112张，创作于星期日9.5.2 R(D)函数的计算v的极小值，满足约束为 （9.5.5）和 （9.5.6）求泛函极值，等价于使下式的一阶变分为0。(9.5.7）55第55页，讲稿共112张，创作于星期日9.5.2 R(D)函数的计算v令 ，有通过推导，得 (9.5.8）其中，与离散情况相似，可得 (9.5.9）56第56页，讲稿共112张，创作于星期日9.5.2 R(D)函数的计算v当时 ，有 (9.5.10）v平均失真为 (9.5.11）(9.5.12）57第57页，讲稿共112张，创作于星期日9.5.2 R(D)函数的计算v可以证明，s

21、是R(D)函数的斜率。58第58页，讲稿共112张，创作于星期日9.5.3 差值失真测度差值失真测度v 差值失真测度指的是平方误差测度 和绝对值误差测度 。在差值失真测度下，(9.5.10）式变为 (9.5.13）59第59页，讲稿共112张，创作于星期日9.5.3 差值失真测度差值失真测度v(9.5.13）式表示 与 的卷积为1，所以 的频谱与 的频谱乘积为冲激。而 在整个频率域，所以 的频谱为冲激，因此，（常数）(9.5.14）(9.5.15）(9.5.15）成立的条件是 。在差值失真测度下，(9.5.9）变为60第60页，讲稿共112张，创作于星期日9.5.3 差值失真测度差值失真测度v

22、 (9.5.16）由(9.5.14）、(9.5.16）和(9.5.15），得 (9.5.17）可见，p(x)为q(x)与的卷积，其中 (9.5.18）61第61页，讲稿共112张，创作于星期日9.5.3 差值失真测度差值失真测度v设表示随机变量 的概率密度，那么x=+y，或 =x-y，所以表示误差的概率密度。62第62页，讲稿共112张，创作于星期日9.6 高斯信源的R(D)函数 v本节就高斯信源和平方误差测度 的情况下研究R(D)函数。这里仅研究离散时间无记忆高斯信源和独立并联信源两种情况。63第63页，讲稿共112张，创作于星期日961 离散时间无记忆高斯信源v 由(9.5.15），对于平

23、方误差测度有 (9.6.1）v根据(9.5.18），得 (9.6.2）应注意，(9.6.2）的结果仅与失真测度的选取有关，而与信源分布无关。64第64页，讲稿共112张，创作于星期日961 离散时间无记忆高斯信源v设 ，这里表示傅氏变换关系。v对于均值为零、方差 为 的高斯信源X，概率密度为 ，那么 v ，同时还有 由 65第65页，讲稿共112张，创作于星期日961 离散时间无记忆高斯信源v得知y也为高斯分布，且 (9.6.3）平均失真为 （与q(y)无关）(9.6.4）66第66页，讲稿共112张，创作于星期日961 离散时间无记忆高斯信源v将(9.6.4）的结果代入(9.6.2），得 (

24、9.6.5）(9.6.5）表明达到R(D)时，误差是高斯分布，方差等于D。v将(9.6.4）的结果代入(9.6.3），得 (9.6.6）67第67页，讲稿共112张，创作于星期日961 离散时间无记忆高斯信源v(9.6.5）表明达到R(D)时，试验信道的输出也是高斯分布，方差等于 ，并且与误差独立。v率失真函数为将(9.6.4）和(9.6.1）代入，得 68第68页，讲稿共112张，创作于星期日961 离散时间无记忆高斯信源v对以上结果，我们归纳为下面的定理：v定理9.6.1 一个无记忆任意均值、方差为 的高斯信源，在平方误差准则下的信息率失真函数为：其中,且69第69页，讲稿共112张，创作

25、于星期日961 离散时间无记忆高斯信源v图961为高斯信源的R(D)函数曲线。下面为高斯信源R(D)函数的注释：70第70页，讲稿共112张，创作于星期日961 离散时间无记忆高斯信源v图961 高斯信源的R(D)函数71第71页，讲稿共112张，创作于星期日961 离散时间无记忆高斯信源v（1）此R(D)函数是在平方误差准则下推出的，不适用其他准则；v（2）R(D)函数是高斯信源实现平均失真小于等于D的有损编码可达到的最低速率。简单说明如下：v设一个有失真编码包含 个码字，每个信源序列的长度为n。所有信源序列都位于半径为 的大球内，且都应该位于以某个码字为中心，半径为 的小球内。72第72页

26、，讲稿共112张，创作于星期日961 离散时间无记忆高斯信源v因此为充满大球所需最少的小球数目也就是最少的码字数为 (9.6.8）因此，只要 ，就能使平均失真小于等于D。（3）称为有损压缩的信噪比；当信源功率给定，平均失真越大，信噪比越小，所需码率也越小。73第73页，讲稿共112张，创作于星期日961 离散时间无记忆高斯信源v（4）当D=0时，R(D)=；当D=时，R(D)=0。这说明，对于连续信源，当平均失真为0时，所需要的信息率为无限大v5）高斯信源失真率函数 (9.6.9）v上式通过求(9.6.7）的反函数得到，其中，R为编码器的码率，单位为比特/符号。D(R)表示，当高斯信源有损压缩

27、的码率为R时，可以达到的最小平均失真。所以对于任意码率为R的高斯信源有损编码器，其平均失真D，满足 (9.6.10）74第74页，讲稿共112张，创作于星期日961 离散时间无记忆高斯信源v例961 一个均值为零的离散时间高斯信源作为限失真信源编码器的输入，该编码器是一个量化器，输出256个量化电平，输出信噪比SNR用输入信号的均方值与均方误差的比来量度；（1）求编码器的码率；（2）SNR能否达到49dB？解 （1）编码器的码率：比特/信源符号；75第75页，讲稿共112张，创作于星期日961 离散时间无记忆高斯信源v（2）SNR不能达到49dB。解释如下：根据(9.6.10），有76第76页

28、，讲稿共112张，创作于星期日 962 独立并联高斯信源v一个多维离散时间高斯信源 ，其中，X1、X2、XN是N个独立零均值、方差为 的高斯随机变量，称这种信源为独立并联高斯信源，其中各Xi为子信源。v设每个的失真测度为均方失真，即 ，i=1，N；独立并联高斯信源 的失真测度为 (9.6.8）77第77页，讲稿共112张，创作于星期日962 独立并联高斯信源v设信源 的信息率失真函数为 ，各并联信源的信息率失真函数为 ，i=1，N；那么 (9.6.9）(9.6.10）78第78页，讲稿共112张，创作于星期日962 独立并联高斯信源v因为X1、X2、是独立的，所以，仅当各信道独立时等式成立，即

29、时等式成立，所以 v仅当 各信道独立时等式成立，即 时等式成立，所以 (9.6.11）79第79页，讲稿共112张，创作于星期日962 独立并联高斯信源v这样，相当于在 (9.6.9）的约束下，求 (9.6.11）的极小值，与求并联高斯信道容量类似，采用拉格朗日乘子法。由于各 的方差为 ，平均失真为 ，所以令 v 得 （常数），但由于对各子信源，最大的失真就是方差，所以当 时，；80第80页，讲稿共112张，创作于星期日962 独立并联高斯信源v综合起来，就有 (9.6.12）这是因为，对于每个 ，的最大值就是 。81第81页，讲稿共112张，创作于星期日962 独立并联高斯信源v图962为平

30、均失真分配示意图，与信道容量的注水解释类似，称为倒注水原理。假定水池中的总水量（图中的阴影部分）表示总平均失真，并联信源各子信源的方差表示倒置在水池中的容器底部的高度，达到R（D）时，底部高的未注满水，且各个未注满水部分的水面高度是相同的，B就是水面高度，也就是分配的平均失真；底部低的部分（相当于方差小于B）已注满水，水面高度与底部高度同，分配的平均失真就是方差。82第82页，讲稿共112张，创作于星期日962 独立并联高斯信源v从所需码率的角度看，方差小于B的Xi的为0，即所需的码率为零，发送端仅对方差不小于B的Xi进行编码并传送，就能达到平均失真的要求。根据倒注水原理，有 (9.6.13）

31、B可通过下式来确定 (9.6.14）83第83页，讲稿共112张，创作于星期日962 独立并联高斯信源v其中，K 为满足 的子信源的个数，满足此条件的称为被使用的子信源。v所求函数为 (9.6.15）84第84页，讲稿共112张，创作于星期日962 独立并联高斯信源v注：（1）如果对总失真有要求，那么重点处理功率大的信号；（2）如果总失真允许较大，功率小的信号可以不予处理；（3）只有满足 的子信源对R（D）有贡献。将每个子信源的方差按大小顺序排序，得 (9.6.16）85第85页，讲稿共112张，创作于星期日962 独立并联高斯信源v在平均失真从0逐渐增大的过程中，从对所有子信源的全部使用开始

32、，按(9.6.16）所表示的方差大小的顺序，逐个从被使用的子信源集合中排除，直至所有子信源都不被使用，此时对应最大的平均失真，为所有子信源方差的和，对应的R（D）=0。86第86页，讲稿共112张，创作于星期日962 独立并联高斯信源v图962 平均失真分配的倒注水原理。87第87页，讲稿共112张，创作于星期日962 独立并联高斯信源v例9.6.1 一个二维独立高斯信源（X1X2），其中X1、X2均值都为零，方差分别为2和4，采用均方失真测度，求该信源的R(D)函数。v如果 X1、X2都使用，根据(9.6.14）和(9.6.12），有 和 ，得 ，88第88页，讲稿共112张，创作于星期日9

33、62 独立并联高斯信源v如果仅使用X2，有 和 ，得，由 和所求 R(D)函数89第89页，讲稿共112张，创作于星期日 9.7 一般连续信源R(D)函数v对于一般的信源分布，难于得到简明的函数的表达式。下面的定理给出了一般连续信源的函数的界 90第90页，讲稿共112张，创作于星期日 9.7 一般连续信源R(D)函数v定理9.7.1 一均值为0，方差为 的连续信源X，熵为h(X)，定义失真函数为 ，则 (9.7.1）v仅当X为高斯信源时，等式成立。91第91页，讲稿共112张，创作于星期日9.7 一般连续信源R(D)函数v不等式的左边是均方失真准则下的仙农低界（Shannon lower b

34、ound）。定理的结果表明，在均方失真准则下，相同方差的信源要达到同样的均方失真，高斯信源有最大的值。从数据压缩的角度看，高斯信源是最难压缩的信源。92第92页，讲稿共112张，创作于星期日*9.8 有损数据压缩技术简介 虽然信息率失真理论是有损数据压缩的理论基础，但在相当长的时间内将这种理论应用于有损数据压缩实践的成效不大。原因是：v（1）这种理论需要研究信源的统计模型；v（2）对不同的信源，有效的失真测度难于确定；v（3）有效编码的复杂度较大。近十几年来，信息率失真理论的研究和应用得到很大发展，主要包括：开发达到R(D)速率的信源编码技术，寻找符合用户需要的有意义的失真测度，寻求对重要信源

35、的合理的统计模型。本节就有损编码的主要方式：量化，预测编码和变换编码做简单介绍。93第93页，讲稿共112张，创作于星期日9.8.1 量化v1标量量化 连续信源限失真编码的主要方法是量化，就是把连续的样值离散化成若干离散值。设离散值的个数为n，那么这n个实数可用n个数字来表示。量化后的信号成为数字信号。由于这种数字化必然引入失真，所以在量化时必须使失真限制到最小。对于一维连续信源输出的量化称为标量量化。最佳标量量化就是使量化后的平均失真最小。量化后的信息率为R=log n，也就是表示量化后每个样值所需的比特数。实际上，为使编译码简单可以采用均匀量化。在语音编码中，先对信号进行非线性压缩，再进行

36、均匀量化。标量量化主要分为：均匀标量量化和非均匀标量量化94第94页，讲稿共112张，创作于星期日9.8.1 量化v2矢量量化 矢量量化的基本原理就是将若干个标量数据构成一个矢量，然后在矢量空间中量化。为压缩比特率，当矢量被量化后，传送的是它的一个序号。这样，需要一个码书储存典型的数据矢量（码矢量）和对应的序号。当编码时，将输入数据矢量和每个码矢量比较，并将与输入矢量最相似的码矢量对应的序号作为输入数据的编码来发送。在接收端则利用与发送端相同的码书寻找与发送序号所对应的码矢量重建信源信号。矢量量化主要分为：均匀矢量量化和非均匀矢量量化。95第95页，讲稿共112张，创作于星期日9.8.2 预测

37、编码 v预测编码是基于时域波形信源压缩的技术，是语音编码中使用的重要方法并在图象编码中得到应用。预测编码的基本思想是：由于量化器输入为信号样值和预测值的差，与原信号相比动态范围减小，从而使码率减小；而且这个差值基本上不相关甚至独立，因此可以用对无记忆信源的方法实现信源编码。虽然上面所述的最佳预测函数可使均方误差最小，但为求预测函数必须知道r+1个随机变量的联合概率密度函数。在一般情况下，这是很困难的。对于联合高斯分布的随机变量，由条件期望所得的最佳预测函数就是线性函数，而对于其他分布，线性预测不是最佳预测。线性预测方法比求条件期望简单得多，所以常将线性预测用于所有的随机过程。96第96页，讲稿

38、共112张，创作于星期日9.8.2 预测编码v线性预测在语音编码得到广泛应用。在语音波形编码中，有调制、DPCM调制和 APC编码（自适应预测编码）。在参量编码中，有线性预测（LPC）声码器（利用线性预测技术对话音进行分析合成的系统）。在经典的LPC声码器中，发送端提取话音的线性预测系数、基音周期、清/浊音判决信息以及增益参数，然后进行量化编码；在接收端则利用线性预测语音产生模型来恢复原始话音。由于预测模型所采用的激励源不同，可分为三类不同的LPC声码器：经典LPC声码器、混合激励LPC声码器和残差激励线性预测（RELP）声码器。97第97页，讲稿共112张，创作于星期日9.8.2 预测编码v

39、近十几年来，参量编码与波形编码相结合的语音混合编码技术得到很大发展，这种技术的特点是v（1）编码器既利用声码器的特点（利用语音产生模型提取语音参数）又利用波形编码的特点（优化激励信号使其达到与输入语音波形的匹配）；v（2）利用感知加权最小均方误差准则使编码器成为一个闭环优化系统；v（3）在较低码率上获得较高的语音质量。98第98页，讲稿共112张，创作于星期日9.8.2 预测编码v这类编码器包括：多脉冲激励线性预测（MPLP或MPC）编码，正规脉冲激励（RPE）编码和码激励线性预测（CELP）编码CELP语音编码器是最具有吸引力的语音压缩编码方式之一，它的特点是：1）使用矢量量化的码书对激励序

40、列进行编码；2）采用包含感知加权滤波器和最小均方误差准则的闭环系统选择码矢量 当前使用CELP算法的语音编码标准有，低延迟码激励线性预测（LD-CELP）编码器（16kbps语音编码国际标准(G.728建议)），共轭结构代数码激励线性预测（CS-ACELP）编码器（8kbps语音编码国际标准(G.729建议)）等。99第99页，讲稿共112张，创作于星期日9.8.3 子带编码v子带编码的技术要点如下：（1）信源通过一个带通滤波器组，滤波器的输出搬移到低通并进行抽取；（2）每路时域信号用PCM，DPCM或其他时域压缩技术编码；（3）在接收机，每路信号被译码后，再搬移回到原来滤波前的频带，所有的信

41、号再进行内插；（4）然后所有分量相加得到总的重建信号；（5）采用正交镜象滤波器，以保证信号被滤波器组滤波后能够在恢复时频谱上不失真。v 子带编码技术首先应用于语音压缩然后用于图象压缩。在子带编码中，可以用不同的比特数对子带编码将失真孤立在单个频带以实现较好的感知编码性能。子带编码在12到24kbps速率范围，在性能和复杂度上很有竞争力。100第100页，讲稿共112张，创作于星期日9.8.4 变换编码v变换的目的就是使经变换后的信号能更有效地编码。变换编码器对M长的输入信源的样值进行M点的离散变换，是一种可逆变换。一个好的变换应该使变换后的系数是不相关的甚至是独立的而且还应该将能量集中在较少的

42、重要的分量上。这样可以去掉不太重要的分量而对剩下的分量按不同的精度编码，通过逆变换可以近似地恢复信源。如果通过变换使信号成为独立序列，那么就可以进行标量量化或采用对独立信源编码的方法，达到压缩信源码率的目的。应该注意：变换本身并不压缩信源，仅当变换后才开始编码，即对变换系数进行量化然后进行熵编码。编码器的主要问题是设计性能好的量化器和对变换系数编码的熵编码器。101第101页，讲稿共112张，创作于星期日9.8.4 变换编码v主要变换算法有：（1）K-L变换：是最佳的变换，使变换后的系数不相关，但是需要关 于信源统计特性的知识，而且需要复杂的计算；（2）离散余弦变换（DCT）：具有好的能量紧凑

43、性，并存在快速算法；（3）小波变换：具有很好的能量集中性和可变的时间标度。102第102页，讲稿共112张，创作于星期日9.8.4 变换编码v变换编码首先应用于图象压缩然后用于语音和声音压缩。大部分语音编码器使用离散余弦变换（DCT）。在16kbps基于变换的编码器容易达到高质量的语音，而且用感知编码和分析加综合的方法，降到4.8kbps仍能产生好的话音质量。在图象编码中，DCT是最广泛使用的，特别是对于二维信号，DCT算法应用于很多编码标准中，如电视电话/会议视频编码标准：H.261，H.263；静止图象编码标准：JPEG；活动图象编码标准：MPEG1，MPEG2，和MPEG4等。103第1

44、03页，讲稿共112张，创作于星期日9.8.4 变换编码v小波变换开始用于语音编码，而且在速率、质量和复杂度上都可与预测编码竞争，当前正变成很多信源编码和静止图象和视频编码标准的选择。在演进的标准，例如JPEG-2000和MPEG4中，小波变换已经取代或补充到DCT中。104第104页，讲稿共112张，创作于星期日本 章 小 结v1、R（D）函数定义：v2、R（D）函数的性质：（1）定义域：105第105页，讲稿共112张，创作于星期日本 章 小 结v（2）下凸性：R（D）是D的下凸函数v（3）连续严格递减函数：在（Dmin，Dmax）区间是D的严格递减函数106第106页，讲稿共112张，创

45、作于星期日本 章 小 结v3、重要的R（D）函数（1）对称二元信源（汉明失真）（2）高斯信源（均方失真）单符号信源 107第107页，讲稿共112张，创作于星期日本 章 小 结v独立并联信源108第108页，讲稿共112张，创作于星期日本 章 小 结v4限失真信源编码定理 限失真信源编码定理：存在平均失真 的信源编码v限失真信源信道编码定理：存在平均失真 的信源信道编码：109第109页，讲稿共112张，创作于星期日本 章 小 结v5 信息传输不等式110第110页，讲稿共112张，创作于星期日本 章 小 结 有损信源编码技术v量化v预测编码v子带编码v变换编码111第111页，讲稿共112张，创作于星期日感感谢谢大大家家观观看看10/17/2022第112页，讲稿共112张，创作于星期日