第五章 自组织竞争神经网络模型.ppt

《第五章 自组织竞争神经网络模型.ppt》由会员分享，可在线阅读，更多相关《第五章 自组织竞争神经网络模型.ppt（29页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第五章第五章自组织竞争神经网络模型自组织竞争神经网络模型第一节第一节 自适应共振理论自适应共振理论概述概述 19761976年，美国年，美国BostonBoston大学学者大学学者G.A.CarpenterG.A.Carpenter提提出自适应共振理论出自适应共振理论(Adaptive Resonance Theory(Adaptive Resonance Theory，缩写为缩写为ART)ART)，他多年来一直试图为人类的心理和认，他多年来一直试图为人类的心理和认知活动建立统一的数学理论，知活动建立统一的数学理论，ARTART就是这一理论的就是这一理论的核心部分。随后核心部分。随后G.A.C

2、arpenterG.A.Carpenter又与又与S.GrossbergS.Grossberg提提出了出了ARTART网络。网络。解决了模式分类的灵活性和稳定性解决了模式分类的灵活性和稳定性两难问题。两难问题。-它主要包含它主要包含ART1ART1、ART2ART2两两种模型。种模型。ART1ART1主要用于主要用于处理处理二值输入模式，二值输入模式，ART2ART2是是ART1ART1的扩展形式，的扩展形式，主要主要用于用于处理处理连续信号输入模式。连续信号输入模式。本节主要介绍本节主要介绍ART1ART1，不过其基本概念对不过其基本概念对ART2ART2也适用。也适用。自自适适应应共共振振

3、理理论论ART网络学习算法的基本流程环环境境输输入入模模式式与储存与储存的典型的典型向量模向量模式进行式进行比较比较神经网络的神经网络的连接权值连接权值选择最相似的作为该模式的代表选择最相似的作为该模式的代表类，并调整与该类别相关的权值，类，并调整与该类别相关的权值，以使以后与该模式相似的输入再以使以后与该模式相似的输入再与该模式匹配时能得到更大的相与该模式匹配时能得到更大的相似度。似度。相似度的参考门限相似度的参考门限需要在网络中设立一个新的模式需要在网络中设立一个新的模式类，同时建立与该模式类相连的类，同时建立与该模式类相连的权值，用以代表和存储该模式以权值，用以代表和存储该模式以及后来输

4、入的所有同类模式。及后来输入的所有同类模式。C C 比较层比较层R R 识别层识别层ResetReset 复位信号复位信号G G1 1和和G G2 2 逻辑控制逻辑控制信号信号ART型网络系统结构(1)C(1)C层结构层结构 该层有该层有n n个节点，每个节点接受来自个节点，每个节点接受来自3 3个方面的信号：个方面的信号：来自外界的输入信号来自外界的输入信号x xi i；来自来自R R 层获胜神经元的外星向量的返回层获胜神经元的外星向量的返回信号信号t tijij；来自来自G G1 1的控制信号。的控制信号。C C 层节点的输出层节点的输出c ci i是根据是根据2/32/3的的“多数多数表

5、决表决”原则产生的，即输出值原则产生的，即输出值c ci i与与x xi i、t tijij 、G G1 1 3 3个信号中的多数信号值相同。个信号中的多数信号值相同。G G1 1=1=1，反馈回送信号为反馈回送信号为0 0，C C层输出应层输出应由输入信号决定，有由输入信号决定，有C=XC=X。反馈回送信号不为反馈回送信号不为0 0，G G1 1=0=0，C C层输出层输出应取决于输入信号与反馈信号的比较情况，应取决于输入信号与反馈信号的比较情况，,如果如果x xi i=1=1，则则c ci i=x xi i。否则否则c ci i=0=0。网网络络系系统统结结构构（2 2）R R层结构层结构

6、vR R层有层有m m个节点，用以表示个节点，用以表示m m个输入模式个输入模式类。类。m m可动态增长，以设立新模式类。可动态增长，以设立新模式类。v由由C C层向上连接到层向上连接到R R第第j j个节点的内星权个节点的内星权向量用向量用B Bj j=（b b1j1j，b b2j2j，,b bnjnj）表示。表示。vC C层的输出向量层的输出向量C C沿沿m m个内星权向量个内星权向量B Bj j(j j=1,2,=1,2,m,m)向前传送，到达向前传送，到达R R层各个层各个神经元节点后经过竞争再产生获胜节点神经元节点后经过竞争再产生获胜节点j j*，指示本次输入模式的所属类别。指示本次

7、输入模式的所属类别。v获胜节点输出获胜节点输出=1=1，其余节点输出为，其余节点输出为0 0。得到得到R R层各模式类节点的典型向量。层各模式类节点的典型向量。网网络络系系统统结结构构(3)(3)控制信号控制信号 控制信号控制信号G G2 2的作用的作用是检测输入模式是检测输入模式X X 是否为是否为0 0，它等于，它等于X X 各分量的各分量的逻辑逻辑“或或”，如果，如果x xi i(i i=1,2,=1,2,n,n)为全为全0 0，则，则G G2 2=0=0，否则否则G G2 2=1=1。控制信号控制信号G G1 1的作用的作用是在网络开始运行时为是在网络开始运行时为1 1，以使，以使C=

8、XC=X，其后为其后为0 0以以使使C C 值由输入模式和反馈模式的比较结果决定。设值由输入模式和反馈模式的比较结果决定。设R R 层输出向量各层输出向量各分量的逻辑分量的逻辑“或或”用用R R0 0表示，则信号表示，则信号G G1 1=，当，当R R 层输出向量层输出向量R R 的各分量为全的各分量为全0 0而输入向量而输入向量X X不是零向量时，不是零向量时，G G1 1=1=1，否则否则G G1 1=0=0。控制信号控制信号ResetReset的作用的作用是使是使R R层竞争获胜神经元无效，如果根据某层竞争获胜神经元无效，如果根据某种事先设定的测量标准，种事先设定的测量标准，C C与与X

9、 X未达到预先设定的相似度未达到预先设定的相似度，表明两表明两者未充分接近，于是系统发出者未充分接近，于是系统发出ResetReset信号使竞争获胜神经元无效。信号使竞争获胜神经元无效。网网络络系系统统结结构构网络运行原理网络运行原理相似程度可能出现的两种情况：相似程度可能出现的两种情况：相似度超过参考门限相似度超过参考门限 选该模式类作为当前输入模式的代表类。权值调整规选该模式类作为当前输入模式的代表类。权值调整规则是，则是，相似度超过参考门限的模式类调整其相应的内外相似度超过参考门限的模式类调整其相应的内外星权向量，星权向量，以使其以后遇到与当前输入模式接近的样本以使其以后遇到与当前输入模

10、式接近的样本时能得到更大的相似度；时能得到更大的相似度；对其它权值向量则不做任何变对其它权值向量则不做任何变动。动。相似度不超过相似度不超过参考参考门限值门限值 需在网络输出端设立一个代表新模式类的节点，用需在网络输出端设立一个代表新模式类的节点，用以代表及存储该模式，以便于参加以后的匹配过程。以代表及存储该模式，以便于参加以后的匹配过程。网网络络运运行行原原理理对于每一个输入，模式网络运行过程可归纳为四个阶段：对于每一个输入，模式网络运行过程可归纳为四个阶段：(1)(1)匹配阶段匹配阶段 网网络络在在没没有有输输入入之之前前处处于于等等待待状状态态，此此时时输输入入端端X X0 0，因因此此

11、信信号号G G2 20 0，R R0 0=0=0。当当输输入入不不全全为为0 0的的模模式式X X 时时，G G2 21 1，R R0 0=0=0，使使得得G G1 1=1=1。G G1 1为为1 1时时允允许许输输入入模模式式直直接接从从C C层层输输出出，并并向向前前传传至至R R 层层，与与R R 层节点对应的所有内星向量层节点对应的所有内星向量B Bj j 进行匹配计算：进行匹配计算：j=1,2,j=1,2,，m m选择具有最大匹配度选择具有最大匹配度(即具有最大点积即具有最大点积)的竞争获胜节点：的竞争获胜节点：使获胜节点输出使获胜节点输出 =1=1，其它节点输出为，其它节点输出为0

12、 0。网网络络运运行行原原理理(2)(2)比较阶段比较阶段 R层输出信息通过外星向量返回到C层。R 层获胜节点所连的外星权向量激活，从节点j*发出的n个权值信号返回到C 层的n个节点。此时，R层输出不全为零，R0=1，而G1=0，所以C层最新输出状态C取决于由R 层返回的外星权向量和网络输入模式X的比较结果，即 ，,i=1,2,n。比较结果C反映了在匹配阶段R 层竞争排名第一的模式类的典型向量与当前输入模式X 的相似程度。相似程度的大小可用相似度N0 反映，定义为：设输入模式样本中的非零分量数为：设输入模式样本中的非零分量数为：网网络络运运行行原原理理(2)(2)比较阶段比较阶段 用用于于比比

13、较较的的参参考考门门限限为为，在在0 01 1范范围围取取值值。检检查查输输入入模模式式与与模模式类典型向量之间的相似性是否低于参考门限，如果有式类典型向量之间的相似性是否低于参考门限，如果有N N0 0/N/N1 1=表表明明X X与与获获胜胜节节点点对对应应的的类类别别模模式式非非常常接接近近，称称X X 与与 发发生生“共共振振”，第一阶段的匹配结果有效，网络进入学习阶段。第一阶段的匹配结果有效，网络进入学习阶段。网网络络运运行行原原理理(3)(3)搜索阶段搜索阶段 网网络络发发出出Reset Reset 重重置置信信号号后后即即进进入入搜搜索索阶阶段段，重重置置信信号号的的作作用用是是

14、使使前前面面通通过过竞竞争争获获胜胜的的神神经经元元受受到到抑抑制制，并并且且在在后后续续过过程程中中受受到到持持续续的的抑抑制制，直直到到输输入入一一个个新新的的模模式式为为止止。由由于于R R 层层中中的的竞竞争争获获胜胜的的神神经经元元被被抑抑制制，从从而而再再度度出出现现R R0 0=0=0，G G1 1=1 1，因因此此网网络络又又重重新新回回到到起始的匹配状态。起始的匹配状态。由由于于上上次次获获胜胜的的节节点点受受到到持持续续的的抑抑制制，此此次次获获胜胜的的必必然然是是上上次次匹匹配配程程度度排排在在第第二二的的节节点点，将将该该节节点点对对应应的的外外星星权权向向量量与与输输

15、入入模模式式进进行行匹匹配配计计算算。如如果果对对R R层层所所有有的的模模式式类类，在在比比较较阶阶段段的的相相似似度度检检查查中中相相似似度度都都不不能能满满足足要要求求，说说明明当当前前输输入入模模式式无无类类可可归归，需需要要在在网网络络输输出出层层增增加加一一个个节节点点来来代代表表并并存存储储该该模模式式类类，为为此此将将其其内内星星向向量量 设计成当前输入模式向量，外星向量设计成当前输入模式向量，外星向量 各分量全设为各分量全设为1 1。网网络络运运行行原原理理(4)(4)学习阶段学习阶段 在在学学习习阶阶段段要要对对发发生生共共振振的的获获胜胜节节点点对对应应的的模模式式类类加

16、加强强学学习习，使以后出现与该模式相似的输入样本时能获得更大的共振。使以后出现与该模式相似的输入样本时能获得更大的共振。网网络络运运行行原原理理网络的学习网络的学习训练可按以下步骤进行：训练可按以下步骤进行：(1)(1)网网络络初初始始化化 从从C C 层层向向R R 层层的的内内星星权权向向量量B Bj j 赋赋予予相相同同的的较小数值，如较小数值，如 从从R R 层到层到C C 层的外星权向量层的外星权向量T Tj j 各分量均赋各分量均赋1 1 (2)(2)网络接受输入网络接受输入 给定一个输入模式，给定一个输入模式，X X(x x1 1,x,x2 2,，x xn n)，x xi i(0

17、,10,1)。(3)(3)匹配度计算匹配度计算 对对R R层所有内星向量层所有内星向量B Bj j计算与输入模式计算与输入模式X X的匹配度：的匹配度：j=1,2,j=1,2,，m m。(4)(4)选择最佳匹配节点选择最佳匹配节点 在在R R层有效输出节点集合层有效输出节点集合J J*内选择竞争内选择竞争获胜的最佳匹配节点获胜的最佳匹配节点j j*，使得使得(5)(5)相相似似度度计计算算 R R 层层获获胜胜节节点点j j*通通过过外外星星送送回回获获胜胜模模式式类类的的典典型型向向量量，C C层层输输出出信信号号给给出出对对向向量量和和X X的的比比较较结结果果，由由此此结结果果可可计计算

18、算出出两向量的相似度为两向量的相似度为(6)(6)参考门限检验参考门限检验 如果如果N N0 0/N/N1 1=，表明表明X X应归应归为代表的模式类，转向步骤为代表的模式类，转向步骤(8)(8)调整权值。调整权值。(8)(8)调整网络权值调整网络权值 修改修改R R层节点层节点j j*对应的权向量，网络的学习采用两对应的权向量，网络的学习采用两种规则，外星向量的调整按以下规则种规则，外星向量的调整按以下规则:i=1,2,i=1,2,n,n；j j*J J*(7)(7)搜搜索索匹匹配配模模式式类类 若若有有效效输输出出节节点点集集合合J J*不不为为空空，转转向向步步骤骤(4)(4)重重选选匹

19、匹配配模模式式类类；若若J J*为为空空集集，需需在在R R层层增增加加一一个个节节点点。设设新新增增节节点点的的序序号号为为n nc c，应应使使 ,i=1,2,i=1,2,n,n,此此时时有有效效输输出出节节点点集集合合为为J J*=1,2,1,2,m,m+1,m,m+1,m+nm+nc c,转向步骤转向步骤(2)(2)输入新模式。输入新模式。内星向量的调整按以下规则内星向量的调整按以下规则:i=1,2,i=1,2,n,n ARTART网络的特点网络的特点 非离线学习非离线学习 即不是对输入集样本反复训练后才开始即不是对输入集样本反复训练后才开始运行，而是边学习边运行实时方式。运行，而是边

20、学习边运行实时方式。每次最多只有一个输出节点为每次最多只有一个输出节点为l l 每个输出节点可看成一每个输出节点可看成一类相近样本的代表，当输入样本距某一个内星权向量较类相近样本的代表，当输入样本距某一个内星权向量较近时，代表它的输出节点才响应。近时，代表它的输出节点才响应。通过调整参考门限的大小可调整模式的类数通过调整参考门限的大小可调整模式的类数 小，模式小，模式的类别少，的类别少，大则模式的类别多。大则模式的类别多。4 4 4 4个输入模式向量为：个输入模式向量为：个输入模式向量为：个输入模式向量为：设设=0.7=0.7，取初始权值，取初始权值b bijij=1/1/(1+n1+n)=)

21、=1/261/26,t tijij=1.=1.例例一一 模模式式分分类类例一例一 模式分类模式分类ARTART网络的应用网络的应用第第1 1步：步：输入模式输入模式X X A A，将，将R R层的层的4 4个节点中输出最大的一个节点中输出最大的一个命名为节点个命名为节点1 1，有，有j j*=1=1。由于初始化后由于初始化后t tijij=1=1，所以相似所以相似度度N N0 0/N/N1 1=1=1，大于参考门限大于参考门限，故第一个模式被命名为第一，故第一个模式被命名为第一类模式。修改节点类模式。修改节点1 1的内星权向量，得的内星权向量，得 修改节点修改节点1 1的外星权向量，得的外星权

22、向量，得其余仍为初始值其余仍为初始值1/261/26。对比输入模式。对比输入模式X X A，可以看出，以上可以看出，以上调整结果将模式调整结果将模式X X A 存储在神经元存储在神经元1 1的内外星权向量中。的内外星权向量中。例例一一 模模式式分分类类第第2 2步步：输输入入模模式式X X B B 时时，R R层层只只有有一一个个已已存存储储模模式式，故故不不存存在在类类别别归归属属的的竞竞争争，只只需需判判断断该该模模式式与与已已存存储储模模式式T T1 1=X X A A 的的相相似似度度，得得N N0 0/N N1 1=5 5/9 9 节点节点2 2净输入为净输入为1.1011.101节

23、点节点1 1获胜。计算获胜。计算T T1 1与与X X的相似度，得的相似度，得N N0 0/N/N1 1=5/135/13=0.7=0.7节点节点1 1失效后，网络应在其余的存储模式类节点中搜索，失效后，网络应在其余的存储模式类节点中搜索，对于本例，只能取节点对于本例，只能取节点2 2作为获胜节点。于是计算作为获胜节点。于是计算X XC C与代与代表表X X B B 的的T T2 2 的相似度，得的相似度，得N N0 0/N/N1 1=9=9/13/13=0.7=0.7该结果仍不能满足要求，只能把模式视为第该结果仍不能满足要求，只能把模式视为第3 3类模式。并类模式。并修改节点修改节点3 3的

24、内外星权向量。的内外星权向量。例例一一 模模式式分分类类第第4 4步步：输输入入模模式式X X D D 后后，节节点点1 1、节节点点2 2和和节节点点3 3参参加加竞竞争争，结结果果是是节节点点3 3 获获胜胜，计计算算模模式式X X D D与与X X C C的的相相似似度度，得得N N0 0/N/N1 1=13/17=0.765=13/17=0.765=0.7=0.7于是于是X X D D 归入已存储的归入已存储的X X C C类，并修改节点类，并修改节点3 3的内外星权向的内外星权向量。量。例例一一 模模式式分分类类例例一一 模模式式分分类类例例一一 模模式式分分类类注意！注意！值的选择对分类过程的影响很大。值的选择对分类过程的影响很大。值过大，导致分类剧增。值过大，导致分类剧增。值太小，则不同的模式均划为同一类别。值太小，则不同的模式均划为同一类别。例例一一 模模式式分分类类例二例二 带噪声模式分类带噪声模式分类例二例二 带噪声模式分类带噪声模式分类