应用熵学学习.pptx

《应用熵学学习.pptx》由会员分享，可在线阅读，更多相关《应用熵学学习.pptx（41页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、离散型分布的熵离散型分布的熵一个随机试验一个随机试验A A（随机事件），设它有（随机事件），设它有n n个可能的（独个可能的（独立的）结局：立的）结局：a a1 1,a,a2 2,a,an n,每一结局出现的概率分别是每一结局出现的概率分别是P P1 1,P,P2 2,P,Pn n它们满足以下条件它们满足以下条件 0Pi 1(i=1,2,n)0Pi 1(i=1,2,n)及及我们引入函数：我们引入函数：HHn n=H(P=H(P1 1,P,P2 2,P,Pn n)=-k )=-k 作为随机实验作为随机实验A A实验结果不确定性的量度，式实验结果不确定性的量度，式K K中是一中是一个大于零的恒量，

2、量个大于零的恒量，量HHn n叫做信息熵叫做信息熵.第1页/共41页 条件熵：条件熵：假设由发出信号假设由发出信号x x1 1,x,x2 2,x,xmm组成了信息源组成了信息源x x，其概率空间为，其概率空间为P(x)=P(xP(x)=P(x1 1),P(x),P(x2 2),P(x),P(xmm)。接收信号接收信号y y1 1,y,y2 2,y,yn n的集合的集合y y的概率空间为的概率空间为P(x/y)=P(xP(x/y)=P(xi i/y/yj j)|i=1m,j=1n)|i=1m,j=1n。在多数情。在多数情况下，况下，m=nm=n。P(xP(xi i/y/yj j)表示收到信号为表

3、示收到信号为yjyj后原发送信号是后原发送信号是xixi的概率。由于传输信号的信的概率。由于传输信号的信道中存在干扰和噪声等原因，道中存在干扰和噪声等原因，y yj j与与x xi i可能相同，也可能不同，这里存在不确定性。信息源可能相同，也可能不同，这里存在不确定性。信息源x x的这种不确定性，用熵的这种不确定性，用熵 表示。它称为在收到信号条件下信源的熵。其平均值表示。它称为在收到信号条件下信源的熵。其平均值 称为收到信号后信息源的条件熵。称为收到信号后信息源的条件熵。第2页/共41页 性质性质1 H(xy)=H(x)+H(y/x)1 H(xy)=H(x)+H(y/x)性质性质2 H(x/

4、y)2 H(x/y)是非负的。当对是非负的。当对j=1nj=1n有有P(yP(yi i)0 )0 时，则当且仅当时，则当且仅当H(x/yH(x/yi i)=0(j=1n)=0(j=1n)时，时，H(x/y)=0H(x/y)=0成立，且成立，且H(x/y)=H(y)H(x/y)=H(y)性质性质3 H(x/y)H(x)3 H(x/y)H(x)例例1 1 假设某电报系统里一类消息发送假设某电报系统里一类消息发送1212个信号，其中个信号，其中6 6个个MM为为6 6个空号个空号S S，即，即P(M)=P(S)=P(M)=P(S)=。在传输时，使。在传输时，使 的的MM收成空号收成空号S S，有半数

5、的空号收成，有半数的空号收成MM。求收信者收到。求收信者收到一个消息后所获得的平均信息量。一个消息后所获得的平均信息量。第3页/共41页解：根据题意，解：根据题意，发送一个消息：发送一个消息：M M M M M M S S S S S S M M M M M M S S S S S S 收到的信息为：收到的信息为：M M M M M S S S S M M MM M M M M S S S S M M MP P（发（发MM）=，P P（发（发S S）=P(P(收收M/M/发发MM）=，P P（收（收S/S/发发MM）=P(P(收收M/M/发发S S）=，P P（收（收S/S/发发S S）=P

6、P（收（收MM）=P=P（发（发MM）P(P(收收M/M/发发MM）+P+P（发（发S S）P(P(收收M/M/发发S S）=P P（收（收S S）=P=P（发（发MM）P(P(收收S/S/发发MM）+P+P（发（发S S）P(P(收收S/S/发发S S）=解：根据题意，发送一个消息：M M M M M M S S S S S S 收到的信息为：M M M M M S S S S M M MP（发M）=，P（发S）=P(收M/发M）=，P（收S/发M）=P(收M/发S）=，P（收S/发S）=P（收M）=P（发M）P(收M/发M）+P（发S）P(收M/发S）=P（收S）=P（发M）P(收S/发M

7、）+P（发S）P(收S/发S）=第4页/共41页P P（发（发M/M/收收MM）=P=P（发（发MM）P P（收（收M/M/发发MM）P P（收（收MM）=P P（发（发S/S/收收MM）=P=P（发（发S S）P P（收（收M/M/发发S S）P P（收（收MM）=P P（发（发M/M/收收S S）=P=P（发（发MM）P P（收（收S/S/发发MM）P P（收（收S S）=P P（发（发S/S/收收S S）=1-P=1-P（发（发M/M/收收S S）=H(y)=H(y)=H(y/H(y/发发M)=M)=H(y/H(y/发发S)=0.301S)=0.301HH（y/x)=y/x)=I(xy)

8、=H(y)-HI(xy)=H(y)-H（y/x)=0.02805Harty/x)=0.02805Hart第5页/共41页另一方面另一方面H(x)=H(x)=H(x/H(x/收收M)=M)=H(x/H(x/收收S)=S)=I I（yx)=H(x)-H(x/y)=0.02806Hartyx)=H(x)-H(x/y)=0.02806Hart于是验证了于是验证了 I I（xy)=Ixy)=I（yx)yx)第6页/共41页连续型分布的熵设信息源设信息源x x和和y y发送信号发送信号x x和和y y具有连续分布的密度函数具有连续分布的密度函数P(x)P(x)和和P(y)P(y)，联合密度函数为，联合密度

9、函数为f(x,y)f(x,y)，则熵值，则熵值 分别称为信息源和的信息熵。它们表示其不确定性分别称为信息源和的信息熵。它们表示其不确定性信息信息量。相应的联合熵为量。相应的联合熵为 条件熵为条件熵为 第7页/共41页他们具有如下性质：他们具有如下性质：（1 1）当）当x x在有限集合在有限集合S S中均匀分布时的熵最大。中均匀分布时的熵最大。（2 2）对于密度函数）对于密度函数P(x)P(x)，当，当x0 x0时等于时等于0 0，且均值为，且均值为a a，则指数分布，则指数分布 P(x)=P(x)=达到最大熵为达到最大熵为（3 3）当一维密度函数）当一维密度函数P(x)P(x)是方差为是方差为

10、 的正态分布时的熵最大，最大值达的正态分布时的熵最大，最大值达 （4 4）H(xy)=H(x)+H(y/x)=H(y)+H(x/y)H(xy)=H(x)+H(y/x)=H(y)+H(x/y)H(y/x)H(y),H(xy)H(x)+H(y)H(y/x)H(y),H(xy)H(x)+H(y)当且仅当当且仅当x x与与y y独立时等号成立。独立时等号成立。第8页/共41页 1.2极大熵准则 1.2.11.2.1极大熵准则模型极大熵准则模型 建立如下规划问题模型：建立如下规划问题模型：(MP)max-(MP)max-s.t.s.t.F Fk k=k=k=1,2,m,=1,2,m,且且mnmBAB或或

11、BABA。若。若H(A)H(B)H(A)H(B)，则认，则认为信息为信息A A的准确度高于信息的准确度高于信息B B定义规定较优信息的准确度高定义规定较优信息的准确度高第35页/共41页定义定义6 6 在在n n维欧氏空间上的半峰凸凹函数是指，在凸凹函数的极点处将其平分成两份的其维欧氏空间上的半峰凸凹函数是指，在凸凹函数的极点处将其平分成两份的其中一份构成的函数。对单变量而言，单调不降（若为半峰严格凸凹函数时，则为单调递增）中一份构成的函数。对单变量而言，单调不降（若为半峰严格凸凹函数时，则为单调递增）的那半部分称为半峰升函数，相应地；另一半部分称为半峰江函数。的那半部分称为半峰升函数，相应地

12、；另一半部分称为半峰江函数。定义定义7 7 信息信息I I在在n n维状态空间维状态空间 上的条件概率上的条件概率 。若。若 ，则称信息，则称信息I I 为最差信息。为最差信息。最差信息传递矩阵为零矩阵。最差信息传递矩阵为零矩阵。第36页/共41页定理定理1 1 最优信息的传递熵为零最优信息的传递熵为零定理定理2 2 传递熵是半峰降函数传递熵是半峰降函数定理定理3 3 后验概率后验概率 是信息条件概率是信息条件概率 的单调增函数，其中的单调增函数，其中定理定理4 4 记记 的足标的足标j j集合为集合为J J，则，则 0 0表示空集表示空集定理定理5 5 传递矩阵中元素传递矩阵中元素 只与只与

13、 有关，且有关，且 是其递增线形函数。是其递增线形函数。第37页/共41页4.2 IBayes4.2 IBayes决策分析决策分析4.2.14.2.1相关概念相关概念定义定义8 8 称称 为信息为信息A A的经济机会损失的经济机会损失式中式中 它表示由于信息它表示由于信息A A的不准确带来的风险应折合的经的不准确带来的风险应折合的经 济损失。济损失。为信息的传递熵，系数为信息的传递熵，系数 是为了使是为了使 落在落在 之间而设的。之间而设的。定理定理6 6 最优信息的最优信息的 最差信息的最差信息的定理定理7 7 信息越准确，它的机会经济损失值越小信息越准确，它的机会经济损失值越小第38页/共

14、41页定义定义9 9 信息信息A A的价值的价值 V VA A=CS+CA=CS+CAA A式中式中,CS,CS为市场上信息为市场上信息A A的售价，的售价，V V是用成本和准确度对信息的价值做全方位衡量的一个物理是用成本和准确度对信息的价值做全方位衡量的一个物理量。量。定理定理8 8 一个完整一个完整IBayesIBayes的算法步骤的算法步骤（1 1）若）若J=0J=0，用先验，用先验IBayesIBayes决策，无需后验信息，算法结束；否则转（决策，无需后验信息，算法结束；否则转（2 2）.（2 2）计算）计算EMVEMVNN，转（，转（3 3）。）。（3 3）用拟获取的后验信息）用拟获

15、取的后验信息A A修正先验信息，并计算修正先验信息，并计算EMVEMVy y ，转（，转（4 4）（4 4）计算）计算E(A),H(A)E(A),H(A)和和CACAA A，转（，转（5 5）第39页/共41页（5 5）比较）比较EMVEMVNN与与EMVEMVy y-V-VA A的大小，若前者小，则信息的大小，若前者小，则信息A A值得获取，根据它提供的信息值得获取，根据它提供的信息（用后验分析法）进行决策，并求出（用后验分析法）进行决策，并求出 EVSEVS1 1=EMV=EMVy y-EMV-EMVNN ENG ENGS S=EVS=EVS1 1-V-VA A算法结束，否则用先验算法结束，否则用先验BayesBayes决策，后验信息决策，后验信息A A不宜获取，算法结束。不宜获取，算法结束。第40页/共41页感谢您的观看。第41页/共41页