人工神经网络8ART神经网络ppt课件.ppt

《人工神经网络8ART神经网络ppt课件.ppt》由会员分享，可在线阅读，更多相关《人工神经网络8ART神经网络ppt课件.ppt（53页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、人工神经网络8ART神经网络ppt课件 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望2要点简介要点简介1.研究背景研究背景2.学习规则学习规则3.ART神经网络结构神经网络结构4.ART神经网络学习规则神经网络学习规则研究背景研究背景1969年，美国学者格诺斯博格(Grossberg)和卡普特尔(Carperter)提出了自适应共振理论(ART)模型。研究背景研究背景ART是一种自组织神经网络结构，是无教师的学习网络。当在神经网络和环境有交互作用时，对环境信息的

2、编码会自发地在神经网中产生，则认为神经网络在进行自组织活动。ART就是这样一种能自组织地产生对环境认识编码的神经网络理论模型。研究背景研究背景ART模型是基于下列问题的求解而提出的：1.对于一个学习系统，要求它有适应性及稳定性，适应性可以响应重要事件，稳定性可以存储重要事件。这种系统的设计问题。2.学习时，原有的信息和新信息如何处理，保留有用知识，接纳新知识的关系如何及解决的问题。3.对外界信息与原存储的信息结合并决策的问题。研究背景研究背景Grossberg一直对人类的心理和认识活动感兴趣，他长期埋头于这方面的研究并希望用数学来刻划人类这项活动，建立人类的心理和认知活动的一种统一的数学模型和

3、理论。ART就是由这种理论的核心内容并经过提高发展然后得出的。研究背景研究背景目前，ART理论已提出了三种模型结构，即ART1，ART2，ART3。ART1用于处理二进制输入的信息；ART2用于处理二进制和模拟信息这两种输人；ART3用于进行分级搜索。ART理论可以用于语音、视觉、嗅觉和字符识别等领域。ART模型的结构模型的结构ART模型来源于Helmboltz无意识推理学说的竞争学习网络交互模型。这个模型如图所示。竞争层竞争层输入层输入层ART模型的结构模型的结构从图中看出这个模型由两个竞争学习模型组成。无意识推理学说认为：原始的感觉信息通过经历过的学习过程不断修改，直到成为一个真实的感知结

4、果为止。在图中竞争学习网络交互模型可以看出；环境输入信号和自上而下学习期望同时对竞争学习网络1执行输入；而自下而上学习是竞争学习网络1的输出；同时，自下而上学习是竞争学习网络2的输人而自上而下学习期望则是其输出。真实感知是通过这个竞争学习网络的学习和匹配产生的。研究背景研究背景环境输人信号对自上而下学习期望进行触发，使竞争学习网络1产生自下而上学习的输出。这种输出送到竞争学习网络2，则产生自上而下学习期望输出，并送回竞争学习网络1。这个过程很明显是自上而下学习和自下而上学习的过程，并且这个过程中不断吸收环境输人信息。经过竞争学习网络的匹配，最终取得一致的结果；这也就是最终感知或谐振感知。研究背

5、景研究背景竞争学习网络交互作用有下列基本要求：第一，交互作用是非局域性的；第二，交互作用是非线性的；第三，自上而下的期望学习是非平稳随机过程。研究背景研究背景研究背景研究背景 有一个竞争型神经网络，输入有3个节点，竞争层有2个节点。网络4个学习模式为X 1=(1,0,1)T，X 2=(1,0,0)T，X 3=(0,1,0)T，X 4=(0,1,1)T，通过训练将模式划分为2类。研究背景研究背景研究背景研究背景 t=1 X 1=(1,0,1)T竞争层各个神经元的净输入为 s1=w11x1+w21x2+w31x3=0.21+0.40+0.41=0.6 s2=w12x1+w22x2+w32x3=0.

6、31+0.30+0.41=0.7竞争层各个神经元的输出为 y1=0,y2=1调整后连接权值为 w12=0.3+0.5(1/2-0.3)=0.4 w22=0.3+0.5(0/2-0.3)=0.15 w32=0.4+0.5(1/2-0.4)=0.45研究背景研究背景研究背景研究背景 t=2 X 2=(1,0,0)T竞争层各个神经元的净输入为 s1=w11x1+w21x2+w31x3=0.21+0.40+0.40=0.2 s2=w12x1+w22x2+w32x3=0.41+0.150+0.450=0.4竞争层各个神经元的输出为 y1=0,y2=1调整后连接权值为 w12=0.4+0.5(1-0.4)

7、=0.7 w22=0.15+0.5(0-0.15)=0.075 w32=0.45+0.5(0-0.45)=0.225研究背景研究背景研究背景研究背景 t=3 X 3=(0,1,0)T竞争层各个神经元的净输入为 s1=w11x1+w21x2+w31x3=0.20+0.41+0.40=0.4 s2=w12x1+w22x2+w32x3=0.70+0.0751+0.2250=0.075竞争层各个神经元的输出为 y1=1,y2=0调整后连接权值为 w11=0.2+0.5(0-0.2)=0.1 w21=0.4+0.5(1-0.4)=0.7 w31=0.4+0.5(0-0.4)=0.2研究背景研究背景研究背

8、景研究背景 t=4 X 4=(0,1,1)T 竞争层各个神经元的净输入为 s1=w11x1+w21x2+w31x3=0.10+0.71+0.21=0.9 s2=w12x1+w22x2+w32x3=0.70+0.0751+0.2251=0.3竞争层各个神经元的输出为 y1=1,y2=0调整后连接权值为 w11=0.1+0.5(0/2-0.1)=0.05 w21=0.7+0.5(1/2-0.7)=0.6 w31=0.2+0.5(1/2-0.2)=0.35研究背景研究背景研究背景研究背景按照上述过程多次学习，网络会得到分类X 1=(1,0,1)T，X 2=(1,0,0)T，X 3=(0,1,0)T，

9、X 4=(0,1,1)TA类B类研究背景研究背景受到竞争学习网络交互模型的启发Grossberg提出了ART理论模型。他认为对网络的自适应行为进行分析，可以建立连续非线性网络模型，这种网络可以由短期存储STM和长期存储LTM作用所实现。STM是指神经元的激活值即末由s函数处理的输出值，LTM是指权系数。研究背景研究背景Grossberg所提出的ART理论模型有如下一些主要优点：1.可以进行实时学习，能适应非平稳的环境。2.对于已经学习过的对象具有稳定的快速识别能力；同时，亦能迅速适应未学习的新对象。3.具有自归一能力，根据某些特征在全体中所占的比例，有时作为关键特征，有时当作噪声处理。4.不需

10、要预先知道样本结果，是无监督学习；如果对环境作出错误反映则自动提高“警觉性”，迅速识别对象。5.容量不受输入通道数的限制，存储对象也不需正交的ART网络学习算法的基本流程网络学习算法的基本流程环境输入模式与储存的典型向量模式进行比较神经网络的连接权值选择最相似的作为该模式的代表类，并调整与该类别相关的权值，以使以后与该模式相似的输入再与该模式匹配时能得到更大的相似度。相似度的参考门限需要在网络中设立一个新的模式类，同时建立与该模式类相连的权值，用以代表和存储该模式以及后来输入的所有同类模式。C C 比较层比较层R R 识别层识别层ResetReset 复位信号复位信号G G1 1和和G G2

11、2 逻辑控制逻辑控制信号信号ART型网络系统结构型网络系统结构(1)C层结构 该层有n个节点，每个节点接受来自3个方面的信号：来自外界的输入信号xi；来自R 层获胜神经元的外星向量的返回信号tij；来自G1的控制信号。C 层节点的输出ci是根据2/3的“多数表决”原则产生的，即输出值ci与xi、tij、G1 3个信号中的多数信号值相同。G1=1，反馈回送信号为0，C层输出应由输入信号决定，有C=X。反馈回送信号不为0，G1=0，C层输出应取决于输入信号与反馈信号的比较情况，,如果xi=1，则ci=xi。否则ci=0。网网络络系系统统结结构构（2）R层结构vR层有m个节点，用以表示m个输入模式类

12、。m可动态增长，以设立新模式类。v由C层向上连接到R第j个节点的内星权向量用Bj=（b1j，b2j，,bnj）表示。vC层的输出向量C沿m个内星权向量Bj(j=1,2,m)向前传送，到达R层各个神经元节点后经过竞争再产生获胜节点j*，指示本次输入模式的所属类别。v获胜节点输出=1，其余节点输出为0。得到R层各模式类节点的典型向量。网网络络系系统统结结构构(3)控制信号 控制信号G2的作用是检测输入模式X 是否为0，它等于X 各分量的逻辑“或”，如果xi(i=1,2,n)为全0，则G2=0，否则G2=1。控制信号G1的作用是在网络开始运行时为1，以使C=X，其后为0以使C 值由输入模式和反馈模式

13、的比较结果决定。设R 层输出向量各分量的逻辑“或”用R0表示，则信号G1=，当R 层输出向量R 的各分量为全0而输入向量X不是零向量时，G1=1，否则G1=0。控制信号Reset的作用是使R层竞争获胜神经元无效，如果根据某种事先设定的测量标准，C与X未达到预先设定的相似度，表明两者未充分接近，于是系统发出Reset信号使竞争获胜神经元无效。网网络络系系统统结结构构相似程度可能出现的两种情况：相似度超过参考门限 选该模式类作为当前输入模式的代表类。权值调整规则是，相似度超过参考门限的模式类调整其相应的内外星权向量，以使其以后遇到与当前输入模式接近的样本时能得到更大的相似度；对其它权值向量则不做任

14、何变动。相似度不超过参考门限值 需在网络输出端设立一个代表新模式类的节点，用以代表及存储该模式，以便于参加以后的匹配过程。网网络络运运行行原原理理网络运行原理网络运行原理对于每一个输入，模式网络运行过程可归纳为四个阶段：(1)匹配阶段 网络在没有输入之前处于等待状态，此时输入端X0，因此信号G20，R0=0。当输入不全为0的模式X 时，G21，R0=0，使得G1=1。G1为1时允许输入模式直接从C层输出，并向前传至R 层，与R 层节点对应的所有内星向量Bj 进行匹配计算：j=1,2,，m选择具有最大匹配度(即具有最大点积)的竞争获胜节点：使获胜节点输出 =1，其它节点输出为0。网络运行原理(2

15、)比较阶段 R层输出信息通过外星向量返回到C层。R 层获胜节点所连的外星权向量激活，从节点j*发出的n个权值信号返回到C 层的n个节点。此时，R层输出不全为零，R0=1，而G1=0，所以C层最新输出状态C取决于由R 层返回的外星权向量和网络输入模式X的比较结果，即 ，,i=1,2,n。比较结果C反映了在匹配阶段R 层竞争排名第一的模式类的典型向量与当前输入模式X 的相似程度。相似程度的大小可用相似度N0 反映，定义为：设输入模式样本中的非零分量数为：网网络络运运行行原原理理(2)(2)比较阶段比较阶段 用用于于比比较较的的参参考考门门限限为为，在在0 01 1范范围围取取值值。检检查查输输入入

16、模模式式与与模式类典型向量之间的相似性是否低于参考门限，如果有模式类典型向量之间的相似性是否低于参考门限，如果有N N0 0/N/N1 1=表表明明X X与与获获胜胜节节点点对对应应的的类类别别模模式式非非常常接接近近，称称X X 与与 发发生生“共共振振”，第一阶段的匹配结果有效，网络进入学习阶段。第一阶段的匹配结果有效，网络进入学习阶段。网网络络运运行行原原理理(3)(3)搜索阶段搜索阶段 网网络络发发出出Reset Reset 重重置置信信号号后后即即进进入入搜搜索索阶阶段段，重重置置信信号号的的作作用用是是使使前前面面通通过过竞竞争争获获胜胜的的神神经经元元受受到到抑抑制制，并并且且在

17、在后后续续过过程程中中受受到到持持续续的的抑抑制制，直直到到输输入入一一个个新新的的模模式式为为止止。由由于于R R 层层中中的的竞竞争争获获胜胜的的神神经经元元被被抑抑制制，从从而而再再度度出出现现R R0 0=0=0，G G1 1=1 1，因因此此网网络络又又重重新新回回到到起始的匹配状态。起始的匹配状态。由由于于上上次次获获胜胜的的节节点点受受到到持持续续的的抑抑制制，此此次次获获胜胜的的必必然然是是上上次次匹匹配配程程度度排排在在第第二二的的节节点点，将将该该节节点点对对应应的的外外星星权权向向量量与与输输入入模模式式进进行行匹匹配配计计算算。如如果果对对R R层层所所有有的的模模式式

18、类类，在在比比较较阶阶段段的的相相似似度度检检查查中中相相似似度度都都不不能能满满足足要要求求，说说明明当当前前输输入入模模式式无无类类可可归归，需需要要在在网网络络输输出出层层增增加加一一个个节节点点来来代代表表并并存存储储该该模模式式类类，为为此此将将其其内内星星向向量量 设计成当前输入模式向量，外星向量设计成当前输入模式向量，外星向量 各分量全设为各分量全设为1 1。网网络络运运行行原原理理(4)(4)学习阶段学习阶段 在在学学习习阶阶段段要要对对发发生生共共振振的的获获胜胜节节点点对对应应的的模模式式类类加加强强学学习习，使以后出现与该模式相似的输入样本时能获得更大的共振。使以后出现与

19、该模式相似的输入样本时能获得更大的共振。网网络络运运行行原原理理训练可按以下步骤进行：训练可按以下步骤进行：(1)(1)网网络络初初始始化化 从从C C 层层向向R R 层层的的内内星星权权向向量量B Bj j 赋赋予予相相同同的的较小数值，如较小数值，如 从从R R 层到层到C C 层的外星权向量层的外星权向量T Tj j 各分量均赋各分量均赋1 1 网络的学习网络的学习(2)(2)网络接受输入网络接受输入 给定一个输入模式，给定一个输入模式，X X(x x1 1,x,x2 2,，x xn n)，x xi i(0,10,1)。(3)(3)匹配度计算匹配度计算 对对R R层所有内星向量层所有内

20、星向量B Bj j计算与输入模式计算与输入模式X X的匹配度：的匹配度：j=1,2,j=1,2,，m m。(4)(4)选择最佳匹配节点选择最佳匹配节点 在在R R层有效输出节点集合层有效输出节点集合J J*内选择竞争内选择竞争获胜的最佳匹配节点获胜的最佳匹配节点j j*，使得，使得网络的学习网络的学习(5)(5)相相似似度度计计算算 R R 层层获获胜胜节节点点j j*通通过过外外星星送送回回获获胜胜模模式式类类的的典典型型向向量量，C C层层输输出出信信号号给给出出对对向向量量和和X X的的比比较较结结果果，由由此此结结果果可可计计算算出出两向量的相似度为两向量的相似度为(6)(6)参考门限

21、检验参考门限检验 如果如果N N0 0/N/N1 1=，表明表明X X应归应归为代表的模式类，转向步骤为代表的模式类，转向步骤(8)(8)调整权值。调整权值。网络的学习网络的学习(8)(8)调整网络权值调整网络权值 修改修改R R层节点层节点j j*对应的权向量，网络的学习采用两对应的权向量，网络的学习采用两种规则，外星向量的调整按以下规则种规则，外星向量的调整按以下规则:i=1,2,i=1,2,n,n；j j*J J*(7)(7)搜搜索索匹匹配配模模式式类类 若若有有效效输输出出节节点点集集合合J J*不不为为空空，转转向向步步骤骤(4)(4)重重选选匹匹配配模模式式类类；若若J J*为为空

22、空集集，需需在在R R层层增增加加一一个个节节点点。设设新新增增节节点点的的序序号号为为n nc c，应应使使 ,i=1,2,i=1,2,n,n,此此时时有有效效输输出出节节点点集集合合为为J J*=1,2,1,2,m,m+1,m,m+1,m+n,m+nc c,转向步骤转向步骤(2)(2)输入新模式。输入新模式。内星向量的调整按以下规则内星向量的调整按以下规则:i=1,2,i=1,2,n,n网络的学习网络的学习 非离线学习非离线学习 即不是对输入集样本反复训练后才开始即不是对输入集样本反复训练后才开始运行，而是边学习边运行实时方式。运行，而是边学习边运行实时方式。每次最多只有一个输出节点为每次

23、最多只有一个输出节点为l l 每个输出节点可看成一每个输出节点可看成一类相近样本的代表，当输入样本距某一个内星权向量较类相近样本的代表，当输入样本距某一个内星权向量较近时，代表它的输出节点才响应。近时，代表它的输出节点才响应。通过调整参考门限的大小可调整模式的类数通过调整参考门限的大小可调整模式的类数 小，模式小，模式的类别少，的类别少，大则模式的类别多。大则模式的类别多。ART网络的特点网络的特点ART网络的应用网络的应用4 4 4 4个输入模式向量为：个输入模式向量为：个输入模式向量为：个输入模式向量为：设设=0.7=0.7，取初始权值，取初始权值b bijij=1/1/(1+n1+n)=

24、)=1/261/26,t tijij=1.=1.例例 模式分类模式分类第第1 1步：步：输入模式输入模式X X A A，将，将R R层的层的4 4个节点中输出最大的一个节点中输出最大的一个命名为节点个命名为节点1 1，有，有j j*=1=1。由于初始化后。由于初始化后t tijij=1=1，所以相似，所以相似度度N N0 0/N/N1 1=1=1，大于参考门限，大于参考门限，故第一个模式被命名为第一，故第一个模式被命名为第一类模式。修改节点类模式。修改节点1 1的内星权向量，得的内星权向量，得 修改节点修改节点1 1的外星权向量，得的外星权向量，得其余仍为初始值其余仍为初始值1/261/26。

25、对比输入模式。对比输入模式X X A，可以看出，以上，可以看出，以上调整结果将模式调整结果将模式X X A 存储在神经元存储在神经元1 1的内外星权向量中。的内外星权向量中。ART网络的应用网络的应用第第2 2步步：输输入入模模式式X X B B 时时，R R层层只只有有一一个个已已存存储储模模式式，故故不不存存在在类类别别归归属属的的竞竞争争，只只需需判判断断该该模模式式与与已已存存储储模模式式T T1 1=X X A A 的的相相似似度度，得得N N0 0/N N1 1=5 5/9 9 节点节点2 2净输入为净输入为1.1011.101节点节点1 1获胜。计算获胜。计算T T1 1与与X

26、X的相似度，得的相似度，得N N0 0/N/N1 1=5/135/13=0.7=0.7节点节点1 1失效后，网络应在其余的存储模式类节点中搜索，失效后，网络应在其余的存储模式类节点中搜索，对于本例，只能取节点对于本例，只能取节点2 2作为获胜节点。于是计算作为获胜节点。于是计算X XC C与代与代表表X X B B 的的T T2 2 的相似度，得的相似度，得N N0 0/N/N1 1=9=9/13/13=0.7=0.7该结果仍不能满足要求，只能把模式视为第该结果仍不能满足要求，只能把模式视为第3 3类模式。并类模式。并修改节点修改节点3 3的内外星权向量。的内外星权向量。ART网络的应用网络的

27、应用第第4 4步步：输输入入模模式式X X D D 后后，节节点点1 1、节节点点2 2和和节节点点3 3参参加加竞竞争争，结结果果是是节节点点3 3 获获胜胜，计计算算模模式式X X D D与与X X C C的的相相似似度度，得得N N0 0/N/N1 1=13/17=0.765=13/17=0.765=0.7=0.7于是于是X X D D 归入已存储的归入已存储的X X C C类，并修改节点类，并修改节点3 3的内外星权向的内外星权向量。量。ART网络的应用网络的应用ART网络的应用网络的应用例例一一 模模式式分分类类ART网络的应用网络的应用注意！值的选择对分类过程的影响很大。值过大，导致分类剧增。值太小，则不同的模式均划为同一类别。ART网络的应用网络的应用例二例二 带噪声模式分类带噪声模式分类ART网络的应用网络的应用例二例二 带噪声模式分类带噪声模式分类ART网络的应用网络的应用武汉科技大学53