信源编码_等长编码.pptx

《信源编码_等长编码.pptx》由会员分享，可在线阅读，更多相关《信源编码_等长编码.pptx（29页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、信源编码主讲人：张美玲联系方式：Source Coding Theoremn可以将扩展信源XN大致压缩为 NH(X)bitsn即N bits NH(X)bitsN bits NH(X)bits可压缩的根源在于：信源样本概率的不均匀分布，使得H(X)没有最大化。信源编码的目的：码字熵最大化。信源的熵率为了考察信源输出的长度为N的序列之间的关系，可以将该有限长度的序列看成一个随机矢量（扩展信源X X）。扩展信源的熵可用联合熵来表示平均每个符号的熵可表示为：特例：独立稳恒信源对于一般的稳恒信源，可以证明极限 存在n对离散对离散平稳平稳信源若信源若H(X1)，则有以下，则有以下性质性质：n(1)条件熵

2、条件熵H(XN/X1X2XN-1)随随N的增加是递减的；的增加是递减的；n(2)HN(X)H(XN/X1X2XN-1)；n(3)HN(X)也是随也是随N增加而递减的；增加而递减的；n(4)H 存在，并且存在，并且:n对于一般平稳信源，求对于一般平稳信源，求 H 相当困难。相当困难。但但N不很大不很大时有：时有：H HN(X)或或 H H(XN|X1X2XN-1)。信源的熵率（续）由于信源输出符号间的依赖关系也就是信源的相关性使信源的实际熵减小。信源输出符号间统计约束关系越长，信源的实际熵越小。当信源输出符号间彼此不存在依赖关系且为等概率分布时，信源的实际熵等于最大熵当信源的一维概率分布不均匀时

3、，即使信源为独立稳恒信源，也不能最大限度的携带信息 存在冗余冗余度冗余度:衡量信源输出信号携带信号的有效程度信源冗余度：信源冗余度：信源熵的相对率：信源熵的相对率：信源相对冗余度：信源相对冗余度：式中：式中：logK为熵的最大值，为熵的最大值，H 为熵的实际值为熵的实际值例：例：英语英语-字母表字母表 H0log 274.76（比特符号）（比特符号）H14.03 比特符号比特符号 H23.32 比特符号比特符号 H33.1 比特符号比特符号 H 1.4 比特符号比特符号熵的冗余度：熵的冗余度：熵的冗余度：熵的冗余度：3.363.36比特比特比特比特/符号符号符号符号信源相对冗余度：信源相对冗余

4、度：信源相对冗余度：信源相对冗余度：=0.71=0.71一个符号最大平均能有4.76bit的信息量但由于符号间的相关性，一个符号仅能带有平均1.4Bit的信息量。每一时刻发出的符号间无关联时有每个符号带4.03bit的信息量在英语中,一个单词所含的平均字母数是4.5,而法语、德语、西班牙语的一个单词所含的平均字母数分别为4.8、5.92 和4.96。这些数字说明,HN(X)的值在N=46 时平均每个字母的熵已有很大的减小。香农曾经统计过,当N=100 时,英语HN(X)的值仅为1bit 左右,这表明英语的相对冗余度至少可达到80%实际语言的熵由于信源中存在的这种冗余度，这就涉及到数据表示的有效

5、性 冗余度压缩冗余度压缩。冗余度压缩编码的意义：冗余度压缩编码的意义：不但具有理论上的意义，而且有极大的实际应用价值，如语音编码，图像编码等。究竟怎么样来进行信源编码可以使得信源编码器输出的等效信源码字分布是等概的或逼近等概的？1.定长编码原理2.变长编码原理；3.Shannon编码4.Huffman编码作业：给出了给出了“频率稳定性频率稳定性”的严格数学解释的严格数学解释.提供了通过试验来提供了通过试验来确定事件概率的方法确定事件概率的方法.是数理统计中参数估计是数理统计中参数估计的重要理论依据之一的重要理论依据之一.抛硬币试验的频率稳定性抛硬币试验的频率稳定性4048次的抛硬币实验一、定长

6、编码一、定长编码渐近均分分割渐进均分分割与典型序列渐进均分分割与典型序列这里假设信源是离散独立、同分布这里假设信源是离散独立、同分布意味着什么？意味着什么？“渐近均分渐近均分”等概分布等概分布典型序列典型序列特点：典型集中所有成员具有大致相等的概率典型序列典型序列典型序列的个数典型序列的个数T因为：定长编码译码时是否会出错？译码时是否会出错？如果是，出错的概率是？如果是，出错的概率是？能否想出一个方案实现无差错（无损）压缩？能否想出一个方案实现无差错（无损）压缩？码长分析理想值，理论上NH(X)bit的信息量，只需要需要NH(X)的bit位来表示实际值编码效率为信源熵和信息率之比熵分析为表示此符号，需要Log|X|bit位；所以(小于)1bit(信息量)/bit(位)