第三章信道和信道容量.ppt

《第三章信道和信道容量.ppt》由会员分享，可在线阅读，更多相关《第三章信道和信道容量.ppt（34页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、 第三章第三章 信道和信道容量信道和信道容量第三章第三章 信道和信道容量信道和信道容量 3.1 概述概述 3.2 信道容量的表示信道容量的表示 3.3 信道容量的计算信道容量的计算 3.4 串联信道和并联信道串联信道和并联信道3.5 连续信道容量连续信道容量 第三章第三章 信道和信道容量信道和信道容量3.1 概概 述述 信信道道：用用来来传传输输信信号号的的通通道道，它它承承担担了了信信息息传传输输和和信息存储任务。信息存储任务。对称电缆对称电缆 性能稳定性能稳定有线信道：有线信道：同轴电缆同轴电缆 受大气干扰影响小受大气干扰影响小 光缆光缆 传输质量好传输质量好 无线信道：无线信道：长波、中

2、波、短波长波、中波、短波 微波中继通信微波中继通信 超短波、微波超短波、微波 卫星通信等卫星通信等 第三章第三章 信道和信道容量信道和信道容量信道还可以分为：信道还可以分为：按信道用户分为：按信道用户分为：单用户信道，多用户信道单用户信道，多用户信道按输入、输出关联分为：按输入、输出关联分为：无反馈信道，反馈信道无反馈信道，反馈信道按信道参数分为：按信道参数分为：固定参数信道，时变参数信道固定参数信道，时变参数信道按传输信号的特点分为：按传输信号的特点分为：离散信道，连续信道，离散信道，连续信道，半离散（半连续）信道，波形信道半离散（半连续）信道，波形信道信信道道容容量量概概念念：信信道道中中

3、能能传传送送或或存存储储的的最最大大信信息息，是是信信道道传传输输信信息息能能力力的的量量度度，是是信信道道对对信信源源的的一一切可能的概率分布而言能够传送的最大熵速率。切可能的概率分布而言能够传送的最大熵速率。第三章第三章 信道和信道容量信道和信道容量通信系统一般模型：通信系统一般模型：各种物理信道中存在的干扰限制了通信的距离与速各种物理信道中存在的干扰限制了通信的距离与速率，为反映信道干扰对传输性能的影响，可用刻划率，为反映信道干扰对传输性能的影响，可用刻划各种干扰的模型来表示信道。各种干扰的模型来表示信道。如：发送为如：发送为xi（信道输入），（信道输入），接收为接收为yj（信道输出），

4、则信道特性为：（信道输出），则信道特性为：PjiP（yj/xi），用（条件）转移概率描述），用（条件）转移概率描述信源信源信宿信宿调制调制信道信道解调解调广广 义义 信信 道道 第三章第三章 信道和信道容量信道和信道容量信道中无干扰时：信道中无干扰时：Pji 1 ji 0 ji信道中干扰最严重时：信道中干扰最严重时：P（yj/xi）P（yj）一、二元对称信道一、二元对称信道二元信道中，二元信道中，0错成错成1和和1错成错成0的概率相等时，为二元对称信道；的概率相等时，为二元对称信道；且：且：p0时，信道无干扰；时，信道无干扰；P1/2时，信道干扰最为严重。时，信道干扰最为严重。第三章第三章 信

5、道和信道容量信道和信道容量 二、二元删除信道二、二元删除信道难以区分原发送信号时，不硬性难以区分原发送信号时，不硬性判断判断0或或1，而作删除处理。，而作删除处理。删除信道中，删除信道中，pq时，则为时，则为对称删除信道。对称删除信道。三、三、Z信道信道信道特性：信道特性：0错成错成1的概率为的概率为0，1错成错成0有一定可能。有一定可能。1p1p0101 第三章第三章 信道和信道容量信道和信道容量有记忆信道：有记忆信道：有突发干扰或码间干扰的信道。有突发干扰或码间干扰的信道。用联合转移概率表示：用联合转移概率表示：若信道的记忆很弱成为无记忆时，可表示成：若信道的记忆很弱成为无记忆时，可表示成

6、：无记忆信道：无记忆信道：只有独立干扰的信道。只有独立干扰的信道。第三章第三章 信道和信道容量信道和信道容量 小小 结结：信道是传输信号的通道，信号则载荷有一定信道是传输信号的通道，信号则载荷有一定的信息，通信的目的是将信息送至信宿，而的信息，通信的目的是将信息送至信宿，而波形有无失真常常无关紧要。为了研究输入波形有无失真常常无关紧要。为了研究输入信号和输出信号之间的关系（这是信道特性信号和输出信号之间的关系（这是信道特性的主要标志），并统一描述各种信道，往往的主要标志），并统一描述各种信道，往往采用条件概率来描述，以此表明信道特性。采用条件概率来描述，以此表明信道特性。第三章第三章 信道和信

7、道容量信道和信道容量3.2 信道容量的表示信道容量的表示互信息：互信息：I（X；Y）H（X）H（X/Y）H（Y）H（Y/X）H（X）：接收）：接收Y前，关于前，关于 X的不确定性；的不确定性；H（X/Y）：接收）：接收Y后，关于后，关于 X的不确定性；的不确定性；也称也称 信道疑义度，或称损失熵信道疑义度，或称损失熵H（Y/X）：在已知）：在已知X的条件下，对的条件下，对Y尚存在的不尚存在的不 确定性；确定性；也称噪声熵。也称噪声熵。第三章第三章 信道和信道容量信道和信道容量I（X；Y）：接收到）：接收到Y前、后关于的平均不确定性前、后关于的平均不确定性 的消除的消除；或发送；或发送X前、后关

8、于前、后关于Y的平的平 均不确定性的消除。均不确定性的消除。可见：可见：熵只是平均不确定性的描述，而不确定性熵只是平均不确定性的描述，而不确定性的消除（两熵之差）才等于接收端所获得的信息的消除（两熵之差）才等于接收端所获得的信息量。获得的信息量不能和不确定性混为一谈。量。获得的信息量不能和不确定性混为一谈。第三章第三章 信道和信道容量信道和信道容量关于信道容量：关于信道容量：研究：信道中平均每个符号所能传送的信息量，研究：信道中平均每个符号所能传送的信息量，即信息传输率即信息传输率R，也是平均互信息。，也是平均互信息。RI（X；Y）H（X）H（X/Y）比特）比特/符号符号若若平平均均传传输输一

9、一个个符符号号需需要要t秒秒，则则信信道道每每秒秒钟钟平平均传输的信息量为：均传输的信息量为：Rt（1/t）I（X；Y）bit/秒秒定义：最大的信息传输率为信道容量定义：最大的信息传输率为信道容量C，即：，即：CmaxI（X；Y）bit/符号符号P(x)第三章第三章 信道和信道容量信道和信道容量达到信道容量时，相应的输入概率分布称为达到信道容量时，相应的输入概率分布称为最佳最佳输入分布输入分布，若平均传输一个符号需要，若平均传输一个符号需要t秒，则：秒，则：信道单位时间内平均传输的最大信息量为：信道单位时间内平均传输的最大信息量为：Ct（1/t）maxI（X；Y）bit/秒秒注意：注意：信道容

10、量信道容量C与输入信源的概率分布无关，与输入信源的概率分布无关，它只是信道传输概率的函数，只与信道的统计特它只是信道传输概率的函数，只与信道的统计特性有关。信道容量是完全描述信道特性的参数，性有关。信道容量是完全描述信道特性的参数，是信道能够传输的最大信息量。是信道能够传输的最大信息量。P(x)第三章第三章 信道和信道容量信道和信道容量3.3 信道容量计算信道容量计算一、离散无干扰信道的信道容量一、离散无干扰信道的信道容量1、Y是是X的一一对应函数的一一对应函数P(y/x)=1 y=f(x)即：即：H(X/Y)=H(Y/X)=0 0 yf(x)I(X;Y)=H(X)=H(Y)X的不确定性在接收

11、端被完全解除，的不确定性在接收端被完全解除，是无损无是无损无噪信道，其信道容量是求最大熵问题：噪信道，其信道容量是求最大熵问题：CmaxH(X)maxH(Y)log n bit/符号符号P(X)P(X)第三章第三章 信道和信道容量信道和信道容量2、一个输入对应多个输出、一个输入对应多个输出Y值，且值，且Y值不重合值不重合接收到符号接收到符号Y后，对发送后，对发送X符号是完全确定符号是完全确定的，的，是有噪无损信道是有噪无损信道，即：，即：损失熵：损失熵：H(X/Y)0，噪声熵：，噪声熵：H(Y/X)0I(X;Y)H(X)H(Y)H(Y/X)H(Y)信道容量仍是最大熵问题（最大信道容量仍是最大熵

12、问题（最大H(X)）：）：Cmax H(X)log r bit/符号符号（设（设X有有r个符号）个符号）结论：信道的转移矩阵中，每列有一个也仅有一个结论：信道的转移矩阵中，每列有一个也仅有一个非零元素时，此信道一定是有噪无损信道。非零元素时，此信道一定是有噪无损信道。P(X)第三章第三章 信道和信道容量信道和信道容量如图信道示意，如图信道示意，信道矩阵：信道矩阵：第三章第三章 信道和信道容量信道和信道容量3、Y是是X的确定函数，且是多一对应的确定函数，且是多一对应收到收到Y后不能完全消除后不能完全消除对对X的不确定性，信息的不确定性，信息有损失，是有损失，是无噪有损信无噪有损信道，也称确定信道

13、道，也称确定信道，即：，即：损失熵：损失熵：H(X/Y)0；噪声熵：噪声熵：H(Y/X)0，I(X;Y)H(Y)H(X)H(X/Y)H(X)第三章第三章 信道和信道容量信道和信道容量信道容量仍是最大熵问题（最大信道容量仍是最大熵问题（最大H(Y)）：）：Cmax H(Y)log s bit/符号符号 （设（设Y有有s个符号）个符号）此种情况中，一定能找到一种输入概率分布此种情况中，一定能找到一种输入概率分布P(X)使输出使输出Y达到等概分布。达到等概分布。P(X)第三章第三章 信道和信道容量信道和信道容量二、对称离散信道的信道容量二、对称离散信道的信道容量 对称离散信道：信道矩阵中每一行是另一

14、行的对称离散信道：信道矩阵中每一行是另一行的置换，每一列是另一列的置换，具有对称的置换，每一列是另一列的置换，具有对称的信道矩阵。信道矩阵。设设X与与Y符号个数相同（强对称或均匀信道），符号个数相同（强对称或均匀信道），均为均为n，则：条件概率：则：条件概率：第三章第三章 信道和信道容量信道和信道容量可得：可得：显然，对于离散对称信道，当输入符号是等概时，传显然，对于离散对称信道，当输入符号是等概时，传输信息最大，每符号信道容量：输信息最大，每符号信道容量：若输入、输出符号个数不相同，若输入、输出符号个数不相同，但只要符合对称信道但只要符合对称信道特性，即每行和每列的取值集分别相同，只是排列不

15、特性，即每行和每列的取值集分别相同，只是排列不同，同，则信道容量和输出符号集的个数则信道容量和输出符号集的个数s有关，为：有关，为：s 第三章第三章 信道和信道容量信道和信道容量 三、准对称信道的信道容量三、准对称信道的信道容量若若信信道道矩矩阵阵P的的s个个列列（Y集集的的元元素素是是s个个）可可分分为为n个个不相交的子集不相交的子集mk，由，由mk组成的矩阵组成的矩阵Pk是对称矩阵是对称矩阵（具有可排列的性质），则称此信道为准对称信道，（具有可排列的性质），则称此信道为准对称信道，其信道容量：其信道容量：r为输入符号集个数为输入符号集个数即信道矩阵行数即信道矩阵行数准对称信道中的准对称信道

16、中的行元素行元素第第k个子矩阵个子矩阵中行元素之和中行元素之和第第k个子矩阵个子矩阵中列元素之和中列元素之和 第三章第三章 信道和信道容量信道和信道容量例例31：二元对称删除：二元对称删除信道如图，计算信道容量。信道如图，计算信道容量。例例32：准对称信道的信道矩阵为：准对称信道的信道矩阵为：P(y/x)0.5 0.3 0.2 0.3 0.5 0.2当输入概率分布为当输入概率分布为p(x1)，p(x2)1求信息传输率求信息传输率R及信道容量。及信道容量。第三章第三章 信道和信道容量信道和信道容量四、一般离散信道的信道容量四、一般离散信道的信道容量对于非特殊性质的固定信道，根据定义，其信对于非特

17、殊性质的固定信道，根据定义，其信道容量是对所有可能的输入概率分布道容量是对所有可能的输入概率分布P(X)求平求平均互信息的极大值。由于均互信息的极大值。由于I(X;Y)是是P(X)的上凸函数，的上凸函数，其极大值一定存在。其极大值一定存在。注意：达到信道容量的最佳分布不一定是唯一的，注意：达到信道容量的最佳分布不一定是唯一的，只要输入概率分布满足定理中的条件，并使只要输入概率分布满足定理中的条件，并使I最大，最大，即成为信道的最佳输入分布。即成为信道的最佳输入分布。第三章第三章 信道和信道容量信道和信道容量3.4 3.4 串联信道和并联信道串联信道和并联信道一、串联信道一、串联信道其中：其中：

18、I(X;Z)I(X;Y)，I(X;Z)I(Y;Z)信道矩阵信道矩阵P(z/x)P(y/x)P(z/y)显然，通过串联信道的传输只会丢失更多的信息显然，通过串联信道的传输只会丢失更多的信息I(X;Y)I(Y;Z)I(X;Z)且且 P(z/xy)=p(z/y)第三章第三章 信道和信道容量信道和信道容量二、独立并联信道的容量二、独立并联信道的容量联合互信息：联合互信息：I(X1X2;Y1Y2)I(X1;Y1)I(X2;Y2)信道容量：信道容量：C12C1C2X1，X2、Y1，Y2相互独立时：相互独立时：C12C1C2有有N个信道时：个信道时：C CiN个信道相同时：个信道相同时：C N Cii=1N

19、信道信道1 1信道信道2 2X1X2Y1Y2C1C2 第三章第三章 信道和信道容量信道和信道容量结论：结论：若若N个符号以序列形式由一个信道传送，个符号以序列形式由一个信道传送，当输入符号之间相互独立，则信道中当输入符号之间相互独立，则信道中N个个符号的容量能达到符号的容量能达到N倍单符号信道容量。倍单符号信道容量。第三章第三章 信道和信道容量信道和信道容量3.5 3.5 连续信道容量连续信道容量一、单符号高斯加性信道一、单符号高斯加性信道讨论条件：信道的输入和输出都是取值连续的一维讨论条件：信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是加性高斯噪声。随机变量，而加入信道的噪声

20、是加性高斯噪声。则噪声熵：则噪声熵：信道输出：信道输出：Y YX Xn n 第三章第三章 信道和信道容量信道和信道容量因此，当输入因此，当输入X为已知值时，为已知值时，Y也为正态变量，也为正态变量，即：即：所以所以:信道容量信道容量:这是限平均功率的高斯信道的信道容量公式。这是限平均功率的高斯信道的信道容量公式。第三章第三章 信道和信道容量信道和信道容量注意：注意：实际信道不一定符合高斯干扰的条件，求实际信道不一定符合高斯干扰的条件，求C往往往很困难，一般没有确切的方法，但在叠加性干扰往很困难，一般没有确切的方法，但在叠加性干扰条件下，可求出信道容量的上、下界。而高斯信道条件下，可求出信道容量

21、的上、下界。而高斯信道的容量是一般信道的下界。的容量是一般信道的下界。结论：结论：实际信道的容量总是大于高斯信道的容量，实际信道的容量总是大于高斯信道的容量，用高斯信道条件计算出的容量来代表实际信道容量用高斯信道条件计算出的容量来代表实际信道容量传输信息时，不会失真。传输信息时，不会失真。第三章第三章 信道和信道容量信道和信道容量二、限频限功率高斯信道的容量二、限频限功率高斯信道的容量条件：信道容许输入信号是随机过程，引入的干条件：信道容许输入信号是随机过程，引入的干扰是高斯白噪声，输入信号平均功率受限为扰是高斯白噪声，输入信号平均功率受限为Ps，频带受限频带受限W。单位时间信道容量（香农公式

22、）：单位时间信道容量（香农公式）：显然，带宽显然，带宽WCt，W时，则：时，则：CtPs/N0 第三章第三章 信道和信道容量信道和信道容量结论：结论：当频带很宽时，或信噪比很低时，信道容当频带很宽时，或信噪比很低时，信道容量等于信号功率与噪声功率密度比，此比量等于信号功率与噪声功率密度比，此比值是加性高斯噪声信道信息传输率的极限值是加性高斯噪声信道信息传输率的极限值。在上述宽频带条件下，信号淹没在噪值。在上述宽频带条件下，信号淹没在噪声中仍可传送信息。声中仍可传送信息。由香农公式得到的值是非高斯信道（实际由香农公式得到的值是非高斯信道（实际信道）的信道容量的下限值。信道）的信道容量的下限值。第

23、三章第三章 信道和信道容量信道和信道容量三、多维无记忆高斯加性连续信道三、多维无记忆高斯加性连续信道讨论条件：输入、输出为随机序列，且讨论条件：输入、输出为随机序列，且 YXn其中其中n（n1,n2,nN）是均值为零的高斯噪声）是均值为零的高斯噪声信道容量信道容量C 限制条件：限制条件：问题：问题：输入信号的总平均功率受限时，各时刻输入信号的总平均功率受限时，各时刻（各独立信道）的信号平均功率（各独立信道）的信号平均功率Psi应如何分配，应如何分配，才能使才能使C最大？最终最大？最终C应等于多少？应等于多少？第三章第三章 信道和信道容量信道和信道容量以上问题就是在以上问题就是在式的制约下求式的

24、制约下求式的极值：式的极值：令：令：即：即：显然：各信道的输出功率相等时，才能保证联合容量显然：各信道的输出功率相等时，才能保证联合容量 最大。最大。由由式得：式得：第三章第三章 信道和信道容量信道和信道容量若由若由式解出的各式解出的各Psi都大于零，则将此都大于零，则将此Psi代入代入式可得联合信道容量：式可得联合信道容量：若由若由式解出的式解出的Psi有负值，则表明当某一信道的有负值，则表明当某一信道的噪声功率大于该信道得到的平均功率，该信道无噪声功率大于该信道得到的平均功率，该信道无法利用，令法利用，令Psi为为0代替此负值，重新分配。代替此负值，重新分配。例：设有例：设有10个独立高斯

25、信道，其干扰强度各个独立高斯信道，其干扰强度各为：为：0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0瓦，分别容许输入总功率瓦，分别容许输入总功率Ps为为5瓦和瓦和1瓦瓦时，设计功率分配，并求时，设计功率分配，并求C。第三章第三章 信道和信道容量信道和信道容量结结 论论高噪声信道分配到的输入功率份额小一高噪声信道分配到的输入功率份额小一些，低噪声信道分配到的功率大一些，可些，低噪声信道分配到的功率大一些，可使总的信道容量增大；太坏的信道放弃使使总的信道容量增大；太坏的信道放弃使用，将输入信号功率分给其它信道反而是用，将输入信号功率分给其它信道反而是有利的，这种分配功率方式是一种最佳的有利的，这种分配功率方式是一种最佳的策略。策略。