第四章多媒体数据压缩编码技术 (2)优秀PPT.ppt

《第四章多媒体数据压缩编码技术 (2)优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第四章多媒体数据压缩编码技术 (2)优秀PPT.ppt（57页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第四章多媒体数据压缩编码技术2022/12/61第一页，本课件共有57页考核要求：掌握：数据压缩编码的方法、常用的压缩编码和算法、JPEG的原理和实现技术。理解：量化的原理和量化器的设计、MPEG-1的原理和实现技术。了解：其它的国际标准等。2022/12/62第二页，本课件共有57页4.1 多媒体数据压缩编码的重要性和分类 你想通过可视通信系统与亲朋好友进行你想通过可视通信系统与亲朋好友进行“面对面面对面”的的通信吗？通信吗？你想通过利用多媒体教学手段在家上学吗？你想通过利用多媒体教学手段在家上学吗？你想在计算机上亲自体念你想在计算机上亲自体念“海湾战争海湾战争”吗？吗？你进入过国家图书馆的

2、你进入过国家图书馆的InternetInternet多媒体阅览室吗？多媒体阅览室吗？你有过在你有过在InternetInternet上看美国上看美国“9.119.11”事件的实时新闻报事件的实时新闻报道吗？道吗？你有利用多媒体计算机来控制家中的所有电器的计你有利用多媒体计算机来控制家中的所有电器的计划吗？划吗？无论你是否有这些想法、或经历，它们赖以实现的技无论你是否有这些想法、或经历，它们赖以实现的技术基础是术基础是多媒体数据的压缩技术多媒体数据的压缩技术多媒体数据的压缩技术多媒体数据的压缩技术。2022/12/63第三页，本课件共有57页一多媒体数据压缩编码的重要性一多媒体数据压缩编码的重要

3、性 压缩的必要性压缩的必要性压缩的必要性压缩的必要性海量数据的存储与传输的必然要求海量数据的存储与传输的必然要求存储量存储量存储量存储量(Byte)(Byte)=(=(采样频率采样频率采样精度采样精度声道数声道数时间时间)8 8 如未经压缩的如未经压缩的1 1分钟立体分钟立体CDCD音乐所需的存储量为：音乐所需的存储量为：(44.1(44.1 1000 1000 16)16)2 2 60/8=10584000(B)10.1(M)60/8=10584000(B)10.1(M)在多媒体系统中图像和动态视频信息数据量非常之巨大，所在多媒体系统中图像和动态视频信息数据量非常之巨大，所需要的存储空间是十

4、分巨大和惊人的。如需要的存储空间是十分巨大和惊人的。如1 1GB GB GB GB 1 1分钟的彩色电视分钟的彩色电视信号数据。信号数据。另外在通信网络上，大多数远程通信网络的速率都在几兆位每秒另外在通信网络上，大多数远程通信网络的速率都在几兆位每秒以下，显然，这样大的数据量不仅超出了计算机的存储和处理能力，以下，显然，这样大的数据量不仅超出了计算机的存储和处理能力，更是当前通信信道的传输速率所不及的。更是当前通信信道的传输速率所不及的。因此，为了存储、处理和传输这些数据，为了使多媒体达到因此，为了存储、处理和传输这些数据，为了使多媒体达到实实实实用水平用水平用水平用水平，除采用新技术手段增加

5、存储空间和通信宽带外，对数据，除采用新技术手段增加存储空间和通信宽带外，对数据进行有效压缩将是多媒体发展中必须要解决的最关键的技术之一进行有效压缩将是多媒体发展中必须要解决的最关键的技术之一。2022/12/64第四页，本课件共有57页 多媒体信息传送面临的最大难题是海量数据存储与传送电视信号数字化后的数据量问题，数据压缩是解决问题的重要途径。数据的压缩一般由两个过程:一是编码过程（原始数据经过编码进行压缩，存储与传输）;二是解码过程（还原成可用原始数据）2022/12/65第五页，本课件共有57页二多媒体数据压缩的可能性1.空间冗余；2.时间冗余；3.信息熵冗余：（1）信息量：指从N个相等的

6、可能事件中选出一个事件所需要的信息度量和含量。（2）信息熵：指一团数据所带的信息量，平均信息量就是信息熵（entropy）。2022/12/66第六页，本课件共有57页4.结构冗余图象有非常强的纹理结构。5.知识冗余图像的理解与某些基础知识有关。6.视觉冗余视觉冗余是非均匀、非线性的。视觉冗余是非均匀、非线性的。2022/12/67第七页，本课件共有57页三 多媒体数据压缩方法的分类1按压缩方法分:(1)有失真压缩（压缩和解压过程中允许一定的信息损失）(2)无失真压缩 2022/12/68第八页，本课件共有57页2.按编码算法原理分:（1）预测编码：PCM、DPCM、ADPCM等（2）变换编码

7、：傅里叶（DFT）、离散余弦（DCT）、离散正弦（DST）等（3）统计编码：哈夫曼、算术、香农等（4）静图像编码：方块、逐渐浮现等(5)电视编码：幀内预测、幀间编码等(6)其他编码：矢量量化、子带编码等2022/12/69第九页，本课件共有57页4.2 量化量化是指模拟信号到数字信号的映射。量化操作实际上是用有限的离散量代替无限的模拟量的多对一的映射操作。2022/12/610第十页，本课件共有57页一量化原理 量化处理是使数据比特率下降的一个强有力的措施。数据压缩编码中的量化处理，不是指A/D变换后的量化，而是指以PCM码作为输入，经正交变换、差分、或预测处理后，熵编码之前，对正交变换系数、

8、差值或预测误差的量化处理。量化输入值的动态范围很大，需要以多的比特数表示一个数值，量化输出只能取有限个整数，称作量化级，希望量化后的数值用较少的比特数便可表示。每个量化输入被强行归一到与其接近的某个输出，即量化到某个级。量化处理总是把一批输入，量化到一个输出级上，所以量化处理是一个多对一的处理过程，是个不可逆过程，量化处理中有信息丢失，或者说，会引起量化误差（量化噪声）。2022/12/611第十一页，本课件共有57页二标量量化器的设计1量化器的设计要求给定量化分层级数，满足量化误差最小。限定量化误差，确定分层级数，满足以尽量小的平均比特数，表示量化输出。2 2量化方法：量化方法：标量量化：对

9、于PCM数据，一个数一个数地进行量化叫标量量化。分为：均匀量化、非均匀量化和自适应量化。分为：均匀量化、非均匀量化和自适应量化。2022/12/612第十二页，本课件共有57页三矢量量化1 1矢量量化概念：矢量量化概念：对PCM数据分组，每组K个数构成一个K维矢量，然后以矢量为单元，逐个矢量进行量化，称矢量量化。2.矢量量化编码方法：有失真编码方法。2022/12/613第十三页，本课件共有57页4.3 统计编码一统计编码原理信息量和信息熵基本概念:（1）信息:是用不确定性的量度定义的。（2）信息量:从N个相等可能事件中选出一个事件所需要的信息度量或含量。（3）熵:如果将信源所有可能事件信息量

10、进行平均就得到信息的熵(熵就是平均信息量)。（4）信源均含有的平均信息量(熵),就是进行无失真编码的理论极限。（5）信源中或多或少的含有自然冗余。（6）信息源X的熵为 H（X）:式（4.2）2022/12/614第十四页，本课件共有57页二哈夫曼编码(Huffman)1变字长编码定理:最佳编码定理 在变字长编码中，对于出现概率大的信息符号，编以短字长的码,对于出现概率小的信息符号编以长字长的码，如果码字长度严格按照符号概率的大小的相反顺序排列，则平均码字长一定小于按任何其他符号顺序排列方式得到的码字长度。证明:（P123）2022/12/615第十五页，本课件共有57页2Huffman编码方法

11、用变字长最佳编码定理 (1)把信源符号按概率大小顺序排列，设法按逆次序分配码字的长度。(2)在分配码字长度时，将出现概率最小的两个符号的概率相加合成一个概率。(3)把这个合成概率看成是一个新组合符号地概率，重复上述做法直到最后只剩下 两个符号概率为止。(4)完成以上概率顺序排列后，再反过来逐步向前进行编码，每一次有三个分支各赋予 一个二进制码，对概率大的赋为零，概率小的赋为1。2022/12/616第十六页，本课件共有57页3.Huffman 编码步骤（1）信源符号按概率大小顺序排列，按逆次序分配码字的长度。(2）出现概率最小的两个符号概率相加合成一个新概率。(3）将合成概率看成一个新组合符号

12、概率，重复上述做法，直到最后只剩下两个符号概率为止。(4)反过来逐步向前编码，每层有两个分支，分别赋予0和1，构成Huffman码字。2022/12/617第十七页，本课件共有57页总结：Huffman Huffman 编码构造出的码不唯一；编码构造出的码不唯一；Huffman 编码字长参差不齐；Huffman编码在信源编码概率分布不均匀时效率高，效率比较均匀时，效率低，不用Huffman编码；对出现频率较高的码分配短码字；对出现频率较低的码分配长码字。2022/12/618第十八页，本课件共有57页三算术编码1原理：算术编码方法是将被编码的信息表示成实数0和1之间的一个间隔。（图4.9）信息

13、越长编码表示它的间隙就越小，表示这一间隙所须二进位就越多，大概率符号出现的概率越大对应于区间愈宽，可用长度较短的码字表示；小概率符号出现的概率越小对应于层间愈窄，需要长度较长的码字表示。信息源中连续的符号根据某一模式生成概率信息源中连续的符号根据某一模式生成概率的大小来减少间隔。可能出现的符号要比不的大小来减少间隔。可能出现的符号要比不太可能出现的符号减少范围少，因此只增加太可能出现的符号减少范围少，因此只增加了较少的比特位了较少的比特位。2022/12/619第十九页，本课件共有57页2.自适应二进制算术编码（1）编码算法举例 设编码初始化子区间为0，1 设 大概率MPS，Pe 小概率LPS

14、 Qe Pe=1-Qe编码时，设置两个专用寄存器（C，A）初始时：令 C 寄存器的值为子区域的起始位置 A 寄存器的值为子区域的宽度 (该宽度恰好是已输入符号串的概率)初始化时：C=0 A=1 随着被编码数据源输入，C和A的内容按以下规律修正：当低概率符号LPS到来时：C=C A=AQe 当高概率符号MPS到来时：C=C+AQe A=APe=A（1-Qe）（算术编码图4.11）2022/12/620第二十页，本课件共有57页（2）解码算法举例解码：解码：按按按按 Qe PeQe Pe分成两个子区间，判断被解码的分成两个子区间，判断被解码的码字落在哪个区间，并赋予对应符号：码字落在哪个区间，并赋

15、予对应符号：设设设设 c c c c=（0.01010.0101）b b 是被解码的值是被解码的值初始值：初始值：A=1 Qe=0.001A=1 Qe=0.001A=1 Qe=0.001A=1 Qe=0.001当当当当c c落在落在0-QeA0-QeA之间，解码符号为之间，解码符号为 D=0D=0；C C=C=C=C=C A=QeA A=QeA；当当c c c c 落在落在落在落在Qe A-AQe A-A之间，解码符号为之间，解码符号为D=1D=1D=1D=1；C C=C=C-QeA-QeA；A=AA=AA=AA=A（1-Qe1-Qe）(算术解码原理图算术解码原理图算术解码原理图算术解码原理图

16、4.12)4.12)2022/12/621第二十一页，本课件共有57页算术编码的特点：(1)不需要码表；(2)当信源概率比较接近时，建议使用算术编码。(3)JPEG成员对多幅图进行算术编码效率可以提高5%。JPEG扩展系统用算术编码代替Huffman。2022/12/622第二十二页，本课件共有57页4.4 预测编码一预测编码的基本概念 预测编码是统计冗余数据压缩理论的三个重要分支之一，用预测编码减少数据时间和空间的相关性。1.预测编码基本原理2.预测编码方法分类 2022/12/623第二十三页，本课件共有57页线性预测编码(DPCM)非线性预测编码非线性预测编码1 DPCM 差分脉冲编码调

17、制法差分脉冲编码调制法 DPCM 编、解码原理图编、解码原理图 图图4.132.ADPCM自适应预测编码自适应预测编码 这种编码方法中，量化器的步长和预测器的参数均能根据图象的局部特征作自适应的调整。ADPCMADPCM分成两类1）线性自适应预测器线性自适应预测器 2）非线性自适应预测器非线性自适应预测器 引进几个和临近象素有关的值，入引进几个和临近象素有关的值，入i i和di非线性改变预测的数。所以，叫非线性的自适应预测。采用四点预测 2022/12/624第二十四页，本课件共有57页二帧间预测编码 对于序列图象，把几帧的图象存起来(大规模集成电路技术的发展)使用帧间相关性进一步消除图象信号

18、的冗余度，提高压缩比。帧间压缩方法：条件补充法条件次取样法。运动补偿帧间预测2022/12/625第二十五页，本课件共有57页 1.1.条件补充法条件补充法 条件象素补充法规定：条件象素补充法规定：若帧间各对应象素的亮度差超过阈值，则把这些象素存到缓存若帧间各对应象素的亮度差超过阈值，则把这些象素存到缓存区中，区中，并以恒定传输速度传输，而阈值以下的象素则不传送，在接并以恒定传输速度传输，而阈值以下的象素则不传送，在接收端中用上一帧相应的象素代替。收端中用上一帧相应的象素代替。在可视电话中用条件补充法传送的象素只占全部象素的在可视电话中用条件补充法传送的象素只占全部象素的6%6%左右。左右。2

19、.2.条件次取样法条件次取样法 条件补充法和内插法相结合叫条件次取样法。条件补充法和内插法相结合叫条件次取样法。具体做法：在时间轴采用次取样具体做法：在时间轴采用次取样(两个取一两个取一 个就是次取样个就是次取样)对于未取样的当前场的对于未取样的当前场的 某点可以采用隔场的四邻点亮度的均值，作为该点亮度的预某点可以采用隔场的四邻点亮度的均值，作为该点亮度的预测值。测值。条件补充：条件补充：S0=1/4(SA+SB+SC+SD)S0=1/4(SA+SB+SC+SD)内内 插预测值与实际值之差小于阈值后就不传。插预测值与实际值之差小于阈值后就不传。插预测值与实际值之差小于阈值后就不传。插预测值与实

20、际值之差小于阈值后就不传。2022/12/626第二十六页，本课件共有57页 3.运动补偿运动估计有下述三种方法：运动估计有下述三种方法：(1)块匹配法:以象素块为准进行运动估计。将图象分成M*N个矩形块。在（在（M+2WxM+2Wx）*（N+2WyN+2WyN+2WyN+2Wy）范围内进行搜索以求）范围内进行搜索以求得最优匹配，从而求得运动矢量估值（得最优匹配，从而求得运动矢量估值（dxdxdxdx，dydy）(2)象素递归法:以象素为准进行递归的运动以象素为准进行递归的运动估计。估计。(3)傅立叶变换法块匹配法2022/12/627第二十七页，本课件共有57页A.匹配算法归一化相关函数 N

21、CCF均方误差 MSE帧间绝对差 MADB.搜索方法：穷尽搜索法二维对数法(TDL)三步搜索法(TTS)交叉搜索法（CSA）2022/12/628第二十八页，本课件共有57页4.4.帧间预测，采用帧间预测，采用 DPCMDPCM(Ymn)N(Ymn)N和和(Ymn)N-1 (Ymn)N-1 变化很小。变化很小。统计结果表明：广播电视节目只有统计结果表明：广播电视节目只有10%10%以内的以内的象素有变化。象素有变化。Y Y有有2%2%的变化；的变化；UVUV有千分之十以内的变化。有千分之十以内的变化。Xmn-Xmn=emn Xmn-Xmn=emn 只传差值只传差值2022/12/629第二十九

22、页，本课件共有57页4.5 变换编码一.变换编码的特点 利用预测编码可以去除图象数据的时间和空间的冗余。它的优点是直观、简捷、易于实现，特别是用于硬件实现。但压缩能力有限，DPCM一般只能压缩到24bit/像素。变换编码是进行一种函数变换，映射变换从信号域变换到另一个信号域。例：有两个相邻采样值X1和X2，每一采样值用3bit编码，因此有8个幅度等级，两个为：8*8=64种。变换编码的系统构成：2022/12/630第三十页，本课件共有57页 二变换种类K-L变换、离散傅立叶变换、离余弦变换、WALSH变换、Har 4.5.2 K-L变换它是以统计特性为基础的，也称为特征向量变换。最优的正交变

23、换：特征向量矩阵向量指向数据变化最大的方向。缺点：计算过程复杂，变换速度慢。缺点：计算过程复杂，变换速度慢。2022/12/631第三十一页，本课件共有57页一.协方差矩阵协方差矩阵（P145）二.离散离散K-LK-L变换表达式（P140）特征值和特征向量定义：设A是n阶方矩，如果有数入和n维非零向量x，使得：AX=AX=入x 则称：入为则称：入为A A的特征值；的特征值；x为A A对应于特征值入的特征向量。结论：Y向量的平均向量为向量的平均向量为0 0，直流分量为0。Y的协方差矩阵：协方差等于0 方差对角线按减序排列 2022/12/632第三十二页，本课件共有57页4.5.3 4.5.3

24、离散余弦变换离散余弦变换(DCT(DCT变换变换)一维离散余弦变换（一维离散余弦变换（P147P147）二维快速离散余弦变换二维快速离散余弦变换 式（式（4.564.56）式（式（4.574.57）4.6 多媒体数据压缩编码的国际标准视频图像压缩编码的国际标准：JPEGJPEG标准标准H.261H.261标准标准MPEGMPEG标准标准 2022/12/633第三十三页，本课件共有57页1.19861.1986年成立了联合图片专家组。年成立了联合图片专家组。JPEGJPEGJoint Photographic Joint Photographic Experts GroupExperts Gr

25、oup 主要制定静态图像帧内压缩编码主要制定静态图像帧内压缩编码2.CCITT 2.CCITT 第第XVXV研究所研究所 19841984年成立了可视电话编码专家组。年成立了可视电话编码专家组。19881988年，提出了年，提出了H.261H.261标准视频编码标准视频编码器的建议。器的建议。满足满足ISDNISDN日益增长的需要可适用于日益增长的需要可适用于可视电视和视频电话会议。可视电视和视频电话会议。3.19883.1988年成立了年成立了 MPEG-MOVING PICTURE MPEG-MOVING PICTURE EXPERT GROUPEXPERT GROUP 。2022/12/

26、634第三十四页，本课件共有57页4.6.1 JPEG标准压缩编码算法及其实现技术JPEG 标准定义了两种基本压缩算法：(1)基于DCT变换有失真的压缩算法。(2)基于空间预测编码DPCM的无失真压缩算法。一.无失真的预测编码 无失真编码器(1).预测器(2).熵编码器 2022/12/635第三十五页，本课件共有57页二.基于基于DCT 的有失真压缩编码两种不同性能的层次基本系统增强系统增强系统1.离散余弦变换(DCT)JPEG采用的是8*8大小的子块的二维离散余弦变换DCT。8*8 FDCT 和 IDCT表达式如下:P152（4.584.58）、（4.59）2022/12/636第三十六页

27、，本课件共有57页2 2量化：量化：均衡量化器均衡量化器 其量化间隔是等长其量化间隔是等长的的非均衡量化器非均衡量化器 其量化间隔是不等长其量化间隔是不等长的的自适应量化器自适应量化器 其量化间隔是随传送其量化间隔是随传送数据而变数据而变为了达到压缩的目的，对为了达到压缩的目的，对DCTDCT系数进行量系数进行量化处理，化处理，JPEGJPEG利用线性均匀量化器利用线性均匀量化器,多到多到一的映射产生误差。一的映射产生误差。2022/12/637第三十七页，本课件共有57页 FQ(u,v)=Integer Round(F(u,v)/Q(u,v)Q(u,v)是量化器步长，随位量和彩色分量不同。F

28、Q(u,v)=FQ(u,v)*Q(u,v)量化特性P137-4.27量度量化表色度量化表2022/12/638第三十八页，本课件共有57页3熵编码对于DC和AC行程码，再作基于统计特性的熵编码。分两步进行：1）把DC码和AC行程码转换成中间符号序列。2）对这些符号序列赋以变长的码字。(1)中间格式由两个符号组成：符号1，行程，尺寸(分组)符号2，幅值(2)(2)可变长熵变码可变长熵变码 6363个个ACAC系数表示符号系数表示符号1 1 符号符号2 2 零行程长度超过零行程长度超过1515，有多个符号，有多个符号1 1 块结束块结束 EOB EOB 只有符号只有符号1 1 （0000）P155

29、-表4.52022/12/639第三十九页，本课件共有57页 4.6.2 MPEG4.6.2 MPEG压缩编码标准一.引言1988-1992 提出标准化方案。提出标准化方案。1991年11月提出草案，1992年通过 ISO/SEC 11172JPEG 和MPEGMPEG同属于一个工作组。同属于一个工作组。1993年年11月通过 ISO/IEC 13818 1995年5月15日正式通过。1 1MPEG-1MPEG-1MPEG-1MPEG-1和和MPEG-2MPEG-2MPEG-2MPEG-2特点：特点：1 1）MPEG-1MPEG-1：三百多线三百多线X X三百多线，适合家庭或终端三百多线，适合

30、家庭或终端三百多线，适合家庭或终端三百多线，适合家庭或终端用，标准不太高，演播级。用，标准不太高，演播级。用，标准不太高，演播级。用，标准不太高，演播级。传输率传输率1.5M bit/s1.5M bit/s2022/12/640第四十页，本课件共有57页-5教学资源的应用与建设MPEG-2：最高两千多线*两千多线，可适合HDTV，共有15个标准，我国采用了四个。传输率1.5 M bit/s-100 M bit/s2MPEG标准包括四个部分：MPEG系统 MPEG视频 MPEG音频 MPEG测试（检测）2022/12/641第四十一页，本课件共有57页二二.MPEG.MPEG数据流结构数据流数据

31、流 视频流（运动序列）有：序列头、一组视频流（运动序列）有：序列头、一组或多组图像序列、序列尾。或多组图像序列、序列尾。1.序列头序列头码 32bit水平大小水平大小 12bit垂直大小 12bit像素的长宽比 4bit图像速率（传输率）4bit位码率 4bit结束码结束码 32bit32bit 2022/12/642第四十二页，本课件共有57页2.一组或多组图像序列图像组：由一系列图像组成图像组：由一系列图像组成,这些图像可以从运这些图像可以从运动序列中随机抽取。动序列中随机抽取。图像：一个图像图像：一个图像(静止图像静止图像静止图像静止图像)由三个部分组成由三个部分组成 一个亮度信号一个亮

32、度信号Y Y 两个色差信号两个色差信号UVUV图像切片：一个或多个宏块组成。切片中宏块的图像切片：一个或多个宏块组成。切片中宏块的图像切片：一个或多个宏块组成。切片中宏块的图像切片：一个或多个宏块组成。切片中宏块的 顺序由左到右，由上到下，如果有误差跳到下一个顺序由左到右，由上到下，如果有误差跳到下一个顺序由左到右，由上到下，如果有误差跳到下一个顺序由左到右，由上到下，如果有误差跳到下一个切片位置，使用越多的切片，误差的隐蔽性就越好。切片位置，使用越多的切片，误差的隐蔽性就越好。切片位置，使用越多的切片，误差的隐蔽性就越好。切片位置，使用越多的切片，误差的隐蔽性就越好。宏块：一个宏块由四个亮度

33、块，宏块：一个宏块由四个亮度块，两个色度块组两个色度块组成成 (U(U(U(U一个，一个，V V一个一个)。一个一个一个一个16*1616*1616*1616*16亮度信息，亮度信息，8*88*8色度信息。色度信息。色度信息。色度信息。块：块：8*88*8亮度，亮度，亮度，亮度，8*88*88*88*8色度色度 2022/12/643第四十三页，本课件共有57页MPEGMPEG视频位流分层图结构视频位流分层图结构P157P157图图4.374.37 2022/12/644第四十四页，本课件共有57页 三三.帧间编码技术帧间编码技术 MPEGMPEG将图像分成三种类型将图像分成三种类型:1 1

34、1 1I I I I 图像（图像（图像（图像（Intra PictureIntra PictureIntra PictureIntra Picture）I I I I图像（图像（图像（图像（I I I I帧）就是静态图像，用帧）就是静态图像，用帧）就是静态图像，用帧）就是静态图像，用JPEGJPEGJPEGJPEG帧内压缩的方法得到，压帧内压缩的方法得到，压帧内压缩的方法得到，压帧内压缩的方法得到，压缩比适度。缩比适度。缩比适度。缩比适度。P P P P 图像图像图像图像 （Predicted PicturePredicted PicturePredicted PicturePredicted

35、 Picture）预测图预测图预测图预测图 P P P P图像（图像（图像（图像（P P P P帧）由最近的帧）由最近的帧）由最近的帧）由最近的I I I I 帧或帧或帧或帧或P P P P帧经过预测编码得到。称为帧经过预测编码得到。称为帧经过预测编码得到。称为帧经过预测编码得到。称为前向预测，可以作为下一个前向预测，可以作为下一个前向预测，可以作为下一个前向预测，可以作为下一个B B B B或或或或P P P P 参照图像。参照图像。参照图像。参照图像。B B B B 图像图像图像图像 （Bidirectional PictureBidirectional PictureBidirectio

36、nal PictureBidirectional Picture）双向预测图双向预测图双向预测图双向预测图 B B B B图像（图像（图像（图像（B B B B帧）可以使用前一个和后一个图像作参考图像，也帧）可以使用前一个和后一个图像作参考图像，也帧）可以使用前一个和后一个图像作参考图像，也帧）可以使用前一个和后一个图像作参考图像，也可以使用前后可以使用前后可以使用前后可以使用前后 两个参考图像。（双向预测）两个参考图像。（双向预测）两个参考图像。（双向预测）两个参考图像。（双向预测）帧间编码帧间编码帧间编码帧间编码 前向编码前向编码前向编码前向编码 后向编码后向编码后向编码后向编码 双向预测

37、双向预测双向预测双向预测 帧帧帧帧.运动视频流的组成运动视频流的组成运动视频流的组成运动视频流的组成 2022/12/645第四十五页，本课件共有57页 B 图像 （Bidirectional Picture）双向预测图B图像（B帧）可以使用前一个和后一个图像作参考图像，也可以使用前后 两个参考图像。（双向预测）帧间编码前向编码后向编码双向预测帧.运动视频流的组成2022/12/646第四十六页，本课件共有57页 四.运动补偿技术 主要用于消除P.B图像在时间上的冗余，提高压缩效率是在宏块一级。1四种类型的宏块I 块 帧内宏块F 块 前向预测宏块B 块 后向预测宏块 A 块 平均宏块(内插宏块

38、、双向预测宏块2三种类型的图像：I图像B图像P图像2022/12/647第四十七页，本课件共有57页 3.求运动矢量要解决两个问题1)匹配算法：归一化函数（4.15）均方误差（4.16）帧间绝对差（4.17）2)搜索方法穷尽搜索法 MAD二维对数法 TDL 采用MSE均方误差三步搜索法 9个点/步 MSE均方误差采用绕参考点逐渐向外生长的方式:2022/12/648第四十八页，本课件共有57页 五.帧内编码技术帧内编码技术与JPEG相同。463 MPEG-2国际标准1MPEG-2与MPEG-1的区别：可支持多种采样格式:逐行,隔行。支持恒速率和变速率两种格式。支持对比特流的编辑。MPEG-2是

39、MPEG-1的扩展,丰富,完善。MPEG-2从1.5M100M分成了很多的Profile,具有可扩充性（Scalable）2022/12/649第四十九页，本课件共有57页 2.MPEG II 2.MPEG II 视频数据流视频数据流 采用分层编码技术采用分层编码技术:每个视频节目接不同的空间分辨率和帧速率；每个视频节目接不同的空间分辨率和帧速率；MPEGMPEG采用可扩采用可扩展性编码的办法展性编码的办法 逐步嵌入若干层结构，解码时可以得到不同时间、空间分辨率的视逐步嵌入若干层结构，解码时可以得到不同时间、空间分辨率的视频信号。频信号。3.MPEG23.MPEG2提供四种工具提供四种工具:1

40、)1)空间可扩展性空间可扩展性 金字塔编码技术金字塔编码技术 低通滤波器低通滤波器 基本层比特流基本层比特流 STVSTV 预测层预测层 HDTV HDTV 2)2)时间可扩充性时间可扩充性 可以跨过某些帧，形成基本图象与可以跨过某些帧，形成基本图象与MPEG-1MPEG-1兼容。兼容。隔行隔行 1515帧帧/秒秒 逐行逐行 6060帧帧/秒秒2022/12/650第五十页，本课件共有57页 3)3)信噪比可扩展性信噪比可扩展性 量化量化 第一次量化第一次量化 第二次量化第二次量化 4:2:0 4:2:24:2:0 4:2:2 4)4)数据划分数据划分 优先级不同的比特流优先级不同的比特流(1

41、).(1).头信息头信息,运动矢量，量化参数，低频运动矢量，量化参数，低频DCT DCT 系数放到高优先级系数放到高优先级(2).(2).将高频将高频DCTDCT级数转到低优先级级数转到低优先级 4.6.4 MPEG-44.6.4 MPEG-4标准介绍标准介绍 1 1MPEG-4MPEG-4主要特点：主要特点：（1 1）MPEG-4MPEG-4的编码是基于对象的，这样就便于操作和控制对象；的编码是基于对象的，这样就便于操作和控制对象；可以实现许多基于内容的交互性功能，主要用于基于内容的多媒体数据存取、可以实现许多基于内容的交互性功能，主要用于基于内容的多媒体数据存取、游戏或多媒体家庭编辑、网上

42、购物和电子商店、远程监控、医疗和教学等。游戏或多媒体家庭编辑、网上购物和电子商店、远程监控、医疗和教学等。2022/12/651第五十一页，本课件共有57页 （2）MPEG-4 在扩展性上具有很好的灵活性，可进行时域和空域的扩展（兼容MPEG-2 扩展功能）；主要用于互联网和无线网等窄带的视频通讯、多质量视频服务和多媒体数据库预览等服务。（3）MPEG-4的编码具有鲁棒性和纠错功能。主要用于在移动通信的易错通讯环境下实现安全的低码率编码和传输，采用再同步、数据恢复、错误隐藏等三种策略。2022/12/652第五十二页，本课件共有57页 2 2MPEG-4 MPEG-4 编码方法编码方法 1 1

43、）MPEG-4MPEG-4中的数据结构类中的数据结构类 有四个层次的数据结构，以类的形式定义：有四个层次的数据结构，以类的形式定义：VSVS（Video SessionVideo Session）：是包含其它三个类的一个类，）：是包含其它三个类的一个类，一个完整的视频序列可以由几个一个完整的视频序列可以由几个VSVS组成。组成。VOVO（Video ObjectVideo Object）：是场景中的某个物体，它是有）：是场景中的某个物体，它是有生命期的，由时间上连续的许多帧构成。生命期的，由时间上连续的许多帧构成。VOLVOL（Video Object LayerVideo Object La

44、yer）：）：VOVO的三种属性信息编的三种属性信息编码于这个类中，这个类的引入主要用来扩展码于这个类中，这个类的引入主要用来扩展VOVO的时域或的时域或空域分辨率。空域分辨率。VOPVOP（Video Object PlaneVideo Object Plane）：可以看作是）：可以看作是VOVO在某一时在某一时刻的表象，即某一帧刻的表象，即某一帧VOVO。2022/12/653第五十三页，本课件共有57页 以上四个类的关系可以用下图表示：MPEG-4中形状编码 P167图4.51VOP侦编码类型P167图4.52VM中的数据结构类分级图P168图4.542022/12/654第五十四页，本

45、课件共有57页3MPEG-4 在视频编码技术方面的改进（1）MPEG-4采用基于对象的编码、基于模型的编码等第二代编码技术，提高编码效率；（2）Sprite 编码技术应用；Sprite编码方法分为三种：1）静态Sprite编码(Off-line)Sprite在编码之前生成，解码时使用指定的运动参数直接将sprite变形(Warp)得到重构的VOP，原始VOP和重构的VOP之间的残差并不编码。2)Sprite编码(On-line)在编码过程中动态生成Sprite，对于利用Sprite参考后的残差进行编码。2022/12/655第五十五页，本课件共有57页 3)3)局运动补偿（局运动补偿（GMCG

46、MC）在编码过程中不生成在编码过程中不生成SpriteSprite，只是将前一帧当成，只是将前一帧当成Sprite,Sprite,对于利用对于利用SpriteSprite参考后的残差进行编码。参考后的残差进行编码。4.MPEG-4 4.MPEG-4 现状现状（1 1）MPEG-4MPEG-4标准从标准从19931993年开始制定；年开始制定；（2 2）MPEG-4MPEG-4标准标准1.01.0已于已于19991999年年1 1月正式公布，标准月正式公布，标准2.02.0版本的版本的FDISFDIS也在也在19991999年年1212月月MPEGMPEG大会通过；大会通过；（3 3）MPEG-4MPEG-4的某些领域的扩展工作仍在进行。的某些领域的扩展工作仍在进行。4.6.5 MPEG-74.6.5 MPEG-7标准介绍标准介绍 MPEG-7MPEG-7产生背景产生背景 MPEG-7MPEG-7目标目标 MPEG-7MPEG-7的应用领域的应用领域2022/12/656第五十六页，本课件共有57页谢 谢 大 家!2022/12/657第五十七页，本课件共有57页