人工神经网络课件.ppt

《人工神经网络课件.ppt》由会员分享，可在线阅读，更多相关《人工神经网络课件.ppt（37页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第第5章章对传网对传网 5.1网络结构网络结构 5.2网络的运行网络的运行 5.3Kohonen层的训练层的训练 5.4Kohonen层联接权的初始化方法层联接权的初始化方法 5.5Grossberg层的训练层的训练 5.6补充说明补充说明 12/19/2022第第5章章对传网对传网RobertHecht-Nielson在在1987年年提提出出了了对对向向传传播播神神经经网网络络(Counter propagationNetworks，CPN)，简称对传网。，简称对传网。CPN为异构网：为异构网：Kohonen1981年年提提出出的的自自组组织织映映射射(Self-organizationma

2、p，SOM)算法算法Kohonen层层;Grossberg1969年年提提出出的的散散射射星星(Outstar)算算法法Grossberg层。层。12/19/2022第第5章章对传网对传网Kohonen层层无无导导师师学学习习算算法法，解解决决网网络络隐隐含层的理想输出未知问题；含层的理想输出未知问题；Grossberg层层有有导导师师学学习习算算法法，解解决决输输出出层按系统要求给出指定输出结果的问题。层按系统要求给出指定输出结果的问题。训练时间短：训练时间短：BP的的1%；应用面：比较窄。应用面：比较窄。让让网网络络的的隐隐藏藏层层执执行行无无导导师师学学习习，是是解解决决多级网络训练的另

3、一个思路。多级网络训练的另一个思路。12/19/20225.1网络结构网络结构x1y1WV自组织映射自组织映射（无导师学习）（无导师学习）Kohonen层层散射星散射星（有导师学习）（有导师学习）Grossberg层层输入层输入层K1G1K2G2x2y2KhGmxnym12/19/20225.1网络结构网络结构以以Kohonen层的神经元为层的神经元为“中心中心”讨论问题讨论问题K1W1=(w11，w21，wn1)TV1=(v11，v12，v1m)K2W2=(w12，w22，wn2)TV2=(v21，v22，v2m)KhWh=(w1h，w2h，wnh)TVh=(vh1，vh2，vhm)12/1

4、9/20225.2网络的运行网络的运行除拓扑结构外，网络的运行机制也是确定除拓扑结构外，网络的运行机制也是确定网络结构（同构、异构）和性能的重要因网络结构（同构、异构）和性能的重要因素素。CPN是采用竞争型网络学习规则的异构网。是采用竞争型网络学习规则的异构网。竞争学习：同一层次的神经元相互竞争，竞争学习：同一层次的神经元相互竞争，胜利的神经元修改与其连接的权值模式胜利的神经元修改与其连接的权值模式分类。分类。12/19/20225.2网络的运行网络的运行 5.2.1Kohonen层层“强者占先、弱者退出强者占先、弱者退出”（thewinnertakesall）knetj=XWj=(x1，x2

5、，xn)(w1j，w2j，wnj)T=w1jx1+w2jx2+wnjxn向量形式向量形式KNET=(knet1，knet2，kneth)12/19/20225.2.1Kohonen层层K1，K2，Kh的输出的输出k1，k2，kh构构成向量成向量 K=(k1，k2，kh)1jhjh1 1knetknetj j=Max=Maxknet1，knet2，kneth k kj j=0其它其它 12/19/2022上式等价于上式等价于几何意义：几何意义：学习目的：寻找与输入向量学习目的：寻找与输入向量X X最大相似度最大相似度（最接近）的（最接近）的W Wo o12/19/20225.2.2Grossbe

6、rg层层 Grossberg层的每个神经元层的每个神经元Gj（1jmjm）gnetj=K(v1j，v2j，vhj)T=(k1，k2，kh)(v1j，v2j，vhj)T=k1v1j+k2v2j+khvhj唯一输出唯一输出1的神经元为的神经元为Ko gnetj=k1v1j+k2v2j+khvhj=voj 12/19/20225.2.2Grossberg层层 GNET=(gnet1，gnet2，gnetm)=(vo1，vo2，vom)=Vo散射星散射星：Vo的各个分量是从的各个分量是从Ko到到Grossberg层各神经元的联接权层各神经元的联接权 12/19/20225.2.2Grossberg层层

7、 CPN用于模式的完善用于模式的完善，此时，此时n=m：接受含接受含有噪音的输入模式有噪音的输入模式(x1，x2，xn)，而输而输出去掉噪音后的模式出去掉噪音后的模式(vo1，vo2，vom)对训练启示对训练启示W1，W2，Wh，各类各类X的共同特征的共同特征V1，V2，Vh，X对对应应的的理理想想输输出出Y的的共共同同特征特征 12/19/20225.3Kohonen层的训练层的训练 5.3.1输入向量的预处理输入向量的预处理 单位化处理单位化处理X=(x1，x2，xn)X=(x1，x2，xn)=(x1/XX，x2/XX，xn/XX)即：即：xj xj/X,X,12/19/2022算法算法5

8、-1Kohonen层训练算法层训练算法 1 1对所有的输入向量，进行单位化处理；对所有的输入向量，进行单位化处理；2 2对每个样本（对每个样本（X，Y）执行下列过程执行下列过程 2.1 forj=1tohdo根据相应式子计算根据相应式子计算knetj；2.2 2.2 求出最大的求出最大的knetkneto o:2.2.1 max=knet2.2.1 max=knet1 1；o=1 o=1 2.2.2 for j=1 to h do 2.2.2 for j=1 to h do ifknetjmaxthenmax=knetj；o=j；12/19/2022算法算法5-1Kohonen层训练算法层训练

9、算法2.3 计算计算K 2.3.1 forj=1tohdokj=0；2.3.2 ko=1；2.4使使Wo更接近更接近X：Wo(new)=Wo(old)+(X-Wo(old);2.5对对Wo(new)进行单位化处理进行单位化处理 12/19/2022W Wo o(new)(new)=W=Wo o(old)(old)+(X-W(X-Wo o(old)(old)（0 0，1 1）Wo(new)=Wo(old)+(X-Wo(old)=Wo(old)+X-Wo(old)X-Wo(new)=X-Wo(old)+(X-Wo(old)=X-Wo(old)-X+Wo(old)=X(1-)-Wo(old)(1-)

10、=(1-)()(X-Wo(old)由由00(1-)1)maxthenmax=knetj；o=j；12/19/2022算法算法5-2CPN训练算法一训练算法一2.3计算计算K：2.3.1forj=1tohdokj=0；2.3.2ko=1；2.4使使Wo更接近更接近X：Wo(new)=Wo(old)+(X-Wo(old)；2.5对对Wo(new)进行单位化处理；进行单位化处理；2.6使使Vo更接近更接近Y：Vo(new)=Vo(old)+(Y-Vo(old)。12/19/2022算法算法5-3CPN训练算法二训练算法二对对应应Kohonen的的每每一一个个Ki，它它将将代代表表一一组组输输入入向向

11、量量，所所以以希希望望这这个个Ki对对应应的的Vi能能代代表这组输入向量对应的输出向量的平均值。表这组输入向量对应的输出向量的平均值。0对对W、V进行初始化；进行初始化；0清空清空Kohonen层各神经元对应的纪录表：层各神经元对应的纪录表：forj=1tohdoSKj=；1对所有的输入向量，进行单位化处理；对所有的输入向量，进行单位化处理；12/19/2022算法算法5-3CPN训练算法二训练算法二 2对每个样本（对每个样本（Xs，Ys）执行下列过程执行下列过程2.1forj=1tohdo2.1.1根据相应式子计算根据相应式子计算knetj；2.2求出最大的求出最大的kneto：2.2.1m

12、ax=knet1；o=1;2.2.2forj=1tohdo2.2.2.1ifknetjmaxthenmax=knetj；o=j；12/19/2022算法算法5-3CPN训练算法二训练算法二 2.3计算计算K：2.3.1forj=1tohdokj=0；2.3.2ko=1；2.4使使Wo更接近更接近Xs：Wo(new)=Wo(old)+(Xs-Wo(old)；2.5对对Wo(new)进行单位化处理；进行单位化处理；2.6将将Ys放入放入SKo：SKo=SKoYs；3forj=1tohdoVj=SKj中各向量的平均值中各向量的平均值 12/19/2022算法的进一步优化算法的进一步优化集集合合变变量

13、量SK1，SK2，SKh改改为为其其它它存存储量更小，而且更容易实现的变量储量更小，而且更容易实现的变量在在Xs激发激发Ko时，时，Ys被放入被放入到到SKo中中会出现一个向量被放入多个会出现一个向量被放入多个SKSK中的问题中的问题 12/19/20225.6补充说明补充说明 1、全对传网全对传网WVXYYX输入层输入层Kohonen层层Grossberg层层12/19/2022 2、非简单工作方式、非简单工作方式对给定的输入向量，对给定的输入向量，Kohonen层各神经元可层各神经元可以给出不同的输出以给出不同的输出输出作为修改因子输出作为修改因子对应神经元对应神经元Kohonen层、层、Grossberg层的权向量层的权向量输出值较大的，表明该输入向量与该神经元对输出值较大的，表明该输入向量与该神经元对应的类较接近，它对应的权向量的修改量就大应的类较接近，它对应的权向量的修改量就大输出值较小的，表明该输入向量与该神经元对输出值较小的，表明该输入向量与该神经元对应的类较远，它对应的权向量的修改量就小。应的类较远，它对应的权向量的修改量就小。12/19/2022