(本科）物理学第七版13-9 信息熵简介 .ppt

《(本科）物理学第七版13-9 信息熵简介 .ppt》由会员分享，可在线阅读，更多相关《(本科）物理学第七版13-9 信息熵简介 .ppt（9页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、课程主讲人：物理学第七版13-9 信息熵简介 物理学第七版第十三章第十三章 热力学基础热力学基础* *1 13 3-9 -9 信息熵简介信息熵简介2一信息和熵的关系一信息和熵的关系信息（信息学概念）信息（信息学概念） 熵熵 （热力学概念）（热力学概念） 信息信息熵熵联系？联系？麦克斯韦妖麦克斯韦妖1948年，香农（年，香农（C. Shannon）物理学第七版第十三章第十三章 热力学基础热力学基础* *1 13 3-9 -9 信息熵简介信息熵简介3二二 信息量信息量信息的定量化：借鉴统计物理方法信息的定量化：借鉴统计物理方法把信息的拾取与概率建立起联系把信息的拾取与概率建立起联系. 以在两种并列

2、的、互不相关的可能性以在两种并列的、互不相关的可能性之间作出一个选择所需要的信息多少，作之间作出一个选择所需要的信息多少，作为信息量的单位，并以为信息量的单位，并以 表示表示.1 bit物理学第七版第十三章第十三章 热力学基础热力学基础* *1 13 3-9 -9 信息熵简介信息熵简介4 种可能性中确定一个就需要种可能性中确定一个就需要 的信息的信息. 英文书籍中包含字母和标点符号，英文书籍中包含字母和标点符号，一共一共32种，则书中每个字符所有的信息种，则书中每个字符所有的信息量是多少？量是多少？例例1N2N bit共有共有 信息量信息量5 bit52= 32物理学第七版第十三章第十三章 热

3、力学基础热力学基础* *1 13 3-9 -9 信息熵简介信息熵简介5三三 信息熵信息熵 信息量中包含信息量中包含有效的信息有效的信息和和不确定不确定的信息的信息. 信息量大，不一定有利于做出信息量大，不一定有利于做出准确的判断准确的判断. 热力学熵：描述分子运动的混乱程度热力学熵：描述分子运动的混乱程度.信息熵信息熵( )：信息不确定程度的度量：信息不确定程度的度量.S物理学第七版第十三章第十三章 热力学基础热力学基础* *1 13 3-9 -9 信息熵简介信息熵简介6 信息量可以看成是信息熵与有效的信息量可以看成是信息熵与有效的信息量之和信息量之和.其中，其中，Niii=1=ln-SkP

4、P= 1 bit ln2k 对于对于 种可能性中，设第种可能性中，设第 种可能性出种可能性出现的概率为现的概率为 ，则信息熵为：，则信息熵为：NiiP物理学第七版第十三章第十三章 热力学基础热力学基础* *1 13 3-9 -9 信息熵简介信息熵简介7例例2 2解：解：(1)(1)(2)(2)1122=ln+ln- ()Sk PPPP= 0.722 bit1122=ln+ln- ()Sk PPPP= 0.469 bit 说明信息熵说明信息熵 的减少意味着信息源提供的减少意味着信息源提供的有效信息量增加了的有效信息量增加了. .S 下雨概率下雨概率 ，不下雨概率，不下雨概率 ，(1)(1)求信息

5、熵；求信息熵；(2)(2)若若 ， ，则信，则信息熵变为多少？说明什么？息熵变为多少？说明什么？1= 0.8P2= 0.2P1= 0.9P2= 0.1P物理学第七版第十三章第十三章 热力学基础热力学基础章节目录章节目录8选择进入下一节：选择进入下一节：13-1 13-1 准静态过程准静态过程 功功 热量热量13-2 13-2 热力学第一定律热力学第一定律 内能内能13-3 13-3 理想气体的等容过程和等压过程理想气体的等容过程和等压过程 摩尔热容摩尔热容13-4 13-4 理想气体的等温过程和绝热过程理想气体的等温过程和绝热过程 多方过程多方过程13-0 13-0 教学基本要求教学基本要求物理学第七版第十三章第十三章 热力学基础热力学基础章节目录章节目录9选择进入下一节：选择进入下一节：13-6 13-6 热力学第二定律的表述热力学第二定律的表述 卡诺定理卡诺定理13-7 13-7 熵熵 熵增加原理熵增加原理* *13-8 13-8 热力学第二定律的统计意义热力学第二定律的统计意义13-5 13-5 循环过程循环过程 卡诺循环卡诺循环* *13-9 13-9 信息熵简介信息熵简介