第6章-神经网络-感知器与自适应元件课件.ppt

《第6章-神经网络-感知器与自适应元件课件.ppt》由会员分享，可在线阅读，更多相关《第6章-神经网络-感知器与自适应元件课件.ppt（55页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第六章第六章 感知器与自适应元件感知器与自适应元件2/14/20231内容安排内容安排6.1 6.1 感知器感知器6.1 6.1 自适应元件自适应元件2/14/202326.1 6.1 感知器感知器 感知器的网络结构感知器的网络结构 感知器的图形解释感知器的图形解释 感知器的学习规则感知器的学习规则 网络的训练网络的训练 感知器神经网络应用的局限性感知器神经网络应用的局限性 感知器神经网络设计实例感知器神经网络设计实例2/14/20233感知器是由美国计算机科学家罗森布拉特感知器是由美国计算机科学家罗森布拉特（F.Roseblatt）于）于1957年提出的。年提出的。单层感知器神经元模型图：单

2、层感知器神经元模型图：图图 感知器神经元模型感知器神经元模型 2/14/202346.1.1 感知器的网络结构感知器的网络结构 根据网络结构，可以写出第根据网络结构，可以写出第i个输出神经元个输出神经元(i1，2，s)的加权输入和的加权输入和ni及其输出及其输出ai为：为：2/14/20236 感知器的输出值是通过测试加权输入和值落在阈感知器的输出值是通过测试加权输入和值落在阈值函数的左右来进行分类的，即有：值函数的左右来进行分类的，即有：阈值激活函数如图阈值激活函数如图43所示。所示。2/14/202376.1.2 感知器的图形解释感知器的图形解释 由感知器的网络结构，我们可以看出感知器的基

3、由感知器的网络结构，我们可以看出感知器的基本功能是将输入矢量转化成本功能是将输入矢量转化成0或或1的输出。这一功能可的输出。这一功能可以通过在输人矢量空间里的作图来加以解释。以通过在输人矢量空间里的作图来加以解释。感知器权值参数的设计目的，就是根据学习法感知器权值参数的设计目的，就是根据学习法则设计一条则设计一条W*P+b0的轨迹，使其对输入矢量能够的轨迹，使其对输入矢量能够达到期望位置的划分。达到期望位置的划分。2/14/20238图图 输入矢量平面图输入矢量平面图2/14/2023106.1.3 感知器的学习规则感知器的学习规则 学习规则是用来计算新的权值矩阵学习规则是用来计算新的权值矩阵

4、W及新的偏差及新的偏差B的算法。的算法。感知器利用其学习规则来调整网络的权值，以便感知器利用其学习规则来调整网络的权值，以便使该网络对输人矢量的响应达到数值为使该网络对输人矢量的响应达到数值为0或或1的目标输的目标输出。出。输入矢量输入矢量P，输出矢量，输出矢量A，目标矢量为，目标矢量为T的感知器的感知器网络，其学习规则为：网络，其学习规则为：2/14/202311 对于所有的对于所有的i和和j，il，2，s；j1，2，r，感知器修正权值公式为：，感知器修正权值公式为：上述用来修正感知器权值的学习算法在上述用来修正感知器权值的学习算法在MATLAB神经网络工具箱中已编成了子程序，成为一个名为神

5、经网络工具箱中已编成了子程序，成为一个名为1earnp.m的函数。只要直接调用此函数，即可立即获的函数。只要直接调用此函数，即可立即获得权值的修正量。此函数所需要的输人变量为：输入、得权值的修正量。此函数所需要的输人变量为：输入、输出矢量和目标矢量：输出矢量和目标矢量：P、A和和T。调用命令为：。调用命令为：dW，dBlearnp(P，A，T)；(4-5)2/14/202313 感知器设计训练的步骤可总结如下：感知器设计训练的步骤可总结如下：1)对对于于所所要要解解决决的的问问题题，确确定定输输入入矢矢量量P，目目标标矢矢量量T，并并由由此此确确定定各各矢矢量量的的维维数数以以及及确确定定网网

6、络络结结构构大大小小的神经元数目：的神经元数目：r，s和和q；2)参数初始化：参数初始化：a)赋给权矢量赋给权矢量w在在(-1，1)的随机非零初始值；的随机非零初始值；b)给出最大训练循环次数给出最大训练循环次数max_epoch；3)网网络络表表达达式式：根根据据输输人人矢矢量量P以以及及最最新新权权矢矢量量W，计算网络输出矢量，计算网络输出矢量A；4)检检查查：检检查查输输出出矢矢量量A与与目目标标矢矢量量T是是否否相相同同，如如果是，或已达最大循环次数，训练结束，否则转入果是，或已达最大循环次数，训练结束，否则转入5)；5)学学习习：根根据据(45)式式感感知知器器的的学学习习规规则则调

7、调整整权权矢矢量，并返回量，并返回3)。2/14/2023156.1.5 感知器神经网络应用的局限性感知器神经网络应用的局限性 首先，感知器的输出只能取首先，感知器的输出只能取0或或1。其其次次，单单层层感感知知器器只只能能对对线线性性可可分分的的向向量量集集合合进进行分类。行分类。2/14/202316代数求解法代数求解法2/14/202318 当采用感知器神经网络来对此题进行求解时，网当采用感知器神经网络来对此题进行求解时，网络结构图如图络结构图如图45所示。所示。由此可见，对于单层网络，网络的输入神经元数由此可见，对于单层网络，网络的输入神经元数r和输出神经元数和输出神经元数s分别由输入

8、矢量分别由输入矢量P和目标矢量和目标矢量T唯一确唯一确定。网络的权矩阵的维数为：定。网络的权矩阵的维数为：Wsr，Bs1权值总数为权值总数为sr个，偏差个数为个，偏差个数为s个。个。在确定了网络结构并设置了最大循环次数和赋予在确定了网络结构并设置了最大循环次数和赋予权值初始值后，设计者可方便地利用权值初始值后，设计者可方便地利用MATLAB，根据，根据题意以及感知器的学习、训练过程来编写自己的程序。题意以及感知器的学习、训练过程来编写自己的程序。2/14/202319 作业作业 1.设设P=-1,1,-1,1,-1,1,-1,1;-1,-1,1,1,-1,-1,1,1;-1,-1,-1,-1,

9、1,1,1,1 T=0,1,0,0,1,1,0,1 请画出感知器网络结构图，并编写请画出感知器网络结构图，并编写MATLAB程序解该程序解该分类问题。分类问题。如如 T=0,0,0,0,1,1,1,1；0,0,0,0,1,1,1,1 请画出感知器网络结构图，并编写请画出感知器网络结构图，并编写MATLAB程序解程序解该分类问题。该分类问题。2/14/202320 感知器的局限性 由于感知器的激活函数采用的是阀值函数，输出由于感知器的激活函数采用的是阀值函数，输出矢量只能取矢量只能取0或或1，所以只能用它来解决简单的分，所以只能用它来解决简单的分类问题；类问题；感知器仅能够线性地将输入矢量进行分

10、类。感知器仅能够线性地将输入矢量进行分类。感知器还有另外一个问题，当输入矢量中有一个感知器还有另外一个问题，当输入矢量中有一个数比其他数都大或小得很多时，可能导致较慢的数比其他数都大或小得很多时，可能导致较慢的收敛速度。收敛速度。2/14/2023216.2 6.2 自适应元件自适应元件 自适应线性神经元模型和结构自适应线性神经元模型和结构 WH学习规则学习规则 网络训练网络训练 例题与分析例题与分析 对比与分析对比与分析2/14/2023226.2.1 自适应线性神经元模型和结构自适应线性神经元模型和结构 图图 自适应线性神经网络的结构自适应线性神经网络的结构 2/14/2023246.2.

11、2 WH学习规则学习规则 WH学习规则是由威德罗和霍夫提出的用来修学习规则是由威德罗和霍夫提出的用来修正权矢量的学习规则正权矢量的学习规则。采用采用WH学习规则可以用来训练一定网络的权学习规则可以用来训练一定网络的权值和偏差使之线性地逼近一个函数式而进行模式联想值和偏差使之线性地逼近一个函数式而进行模式联想(Pattern Association)。2/14/202325定义一个线性网络的输出误差函数为：定义一个线性网络的输出误差函数为：我们的目的是通过调节权矢量，使我们的目的是通过调节权矢量，使E(W，B)达到达到最小值。最小值。所以在给定所以在给定E(W，B)后，利用后，利用WH学习规则修

12、学习规则修正权矢量和偏差矢量，使正权矢量和偏差矢量，使E(W，B)从误差空间的某一从误差空间的某一点开始，沿着点开始，沿着E(W，B)的斜面向下滑行。的斜面向下滑行。2/14/202326 为为学学习习速速率率。在在一一般般的的实实际际运运用用中中，实实践践表表明明，通常取一接近通常取一接近1的数，或取值为：的数，或取值为：学习速率的这一取法在神经网络工具箱中用函学习速率的这一取法在神经网络工具箱中用函数数maxlinlr.m来实现。上式可实现为：来实现。上式可实现为：2/14/202328 WH学习规则的函数为：学习规则的函数为：learnwh.m来实现，加来实现，加上线性自适应网络输出函数

13、上线性自适应网络输出函数purelin.m，可以写出，可以写出WH学习规则的计算公式为：学习规则的计算公式为：Apurelin(W*P)；ETA；dW，dBlearnwh(P，E，h)；WW十十dW；BB十十dB；采用采用WH规则训练自适应线性元件使其能够得规则训练自适应线性元件使其能够得以收敛的必要条件是被训练的输入矢量必须是线性独以收敛的必要条件是被训练的输入矢量必须是线性独立的，且应适当地选择学习速率以防止产生振荡现象。立的，且应适当地选择学习速率以防止产生振荡现象。2/14/202329采用采用Matlab进行自适应线性元件网络的训练过程如下：进行自适应线性元件网络的训练过程如下：tr

14、ainwh.m 表达式表达式A=purelin(W*P，B);E=T-A；SSEsumsqr(E);求误差平方和求误差平方和for epoch1:max_epoch循环训练循环训练if SSEerr_goal比较误差比较误差epochepoch1；break若满足期望误差要求，结束训练若满足期望误差要求，结束训练enddW，dB1earnwh(P，E，lr)；修正权值；修正权值WW十十dW；BB十十dB;Apurelin(W*P，B)；网络输出网络输出ET-A；SSEsumsqr(E)；计算网络误差平方和计算网络误差平方和end 2/14/2023316.2.4 例题与分析例题与分析 例例1

15、设设计计自自适适应应线线性性网网络络实实现现从从输输入入矢矢量量到到输输出出矢矢量量的变换关系。其输入矢量和输出矢量分别为：的变换关系。其输入矢量和输出矢量分别为：P1.0 -1.2 T0.5 1.02/14/202332wf1.mP1 -1.2；T0.5 1；R，Qsize(P)；S，Qsize(T)；W，Brands(S，R)；max_epoch20；最大循环次数最大循环次数err_goal0.001；期望误差期望误差1r0.4*maxlinlr(P)；最佳学习速率最佳学习速率disp_freq1；设置显示频率设置显示频率TPdisp_freq max_epoch err_goal lr;

16、设设置置参参数数变变量量TPW，B，epochs，errortrainwh(W，B，P，T，TP)进进行行线线性性网络权值训练网络权值训练2/14/202333 在随机初始值为：在随机初始值为：W00.9309；B00.8931的的情况下，经过情况下，经过12次循环训练后，网络的输出误差平方次循环训练后，网络的输出误差平方和达到和达到0.000949，网络的最终权值为：，网络的最终权值为：W-0.2354；B0.7066 实际上，对于实际上，对于上面上面这个简单的例题，它存在一个这个简单的例题，它存在一个精确解，且可以用解二元一次方程的方式将精确解，且可以用解二元一次方程的方式将P和和T值分值

17、分别对应地代入方程别对应地代入方程TW*P十十B得：得：2/14/202334 可解出可解出eT-A0的解为：的解为：W-0.2273；B0.7273 由此看出，对于特别简单的问题，采用自适应线由此看出，对于特别简单的问题，采用自适应线性网络的训练不一定能够得到足够精确的解。因为当性网络的训练不一定能够得到足够精确的解。因为当训练误差达到期望误差值后，训练即被终止。训练误差达到期望误差值后，训练即被终止。2/14/202335 对于具有零误差的自适应线性网络，即输入对于具有零误差的自适应线性网络，即输入/输出矢量对存在着严格的线性关系，此时的自适应输出矢量对存在着严格的线性关系，此时的自适应线

18、性网络的设计可以采用工具箱中另外一个名为线性网络的设计可以采用工具箱中另外一个名为solvelin.m的函数。的函数。W，Bsolvelin(P，T)然后可用然后可用simulin.m函数来检测所设计的网络：函数来检测所设计的网络：Asimulin(P，W，B)还可以用还可以用sumsqr.m函数来求出误差平方和：函数来求出误差平方和：SSEsumsqr(T-A)2/14/202336 例例2 2 现在来考虑一个较大的多神经元网络的模式现在来考虑一个较大的多神经元网络的模式联想的设计问题。输入矢量和目标矢量分别为：联想的设计问题。输入矢量和目标矢量分别为：2/14/202337解解：由由输输入

19、入矢矢量量和和目目标标输输出出矢矢量量可可得得：r3，s4，q4。所以网络的结构如图所示。所以网络的结构如图所示。这个问题的求解同样可以采用线性方程组求出，即这个问题的求解同样可以采用线性方程组求出，即对每一个输出节点写出输入和输出之间的关系等式。对每一个输出节点写出输入和输出之间的关系等式。2/14/202338 实际上要求出这实际上要求出这16个方程的解是需要花费一定的个方程的解是需要花费一定的时间的，甚至是不太容易的。时间的，甚至是不太容易的。对于一些实际问题，常常并不需要求出其完美的对于一些实际问题，常常并不需要求出其完美的零误差时的解。也就是说允许存在一定的误差。零误差时的解。也就是

20、说允许存在一定的误差。在这种情况下，采用自适应线性网络求解就显示在这种情况下，采用自适应线性网络求解就显示出它的优越性：因为它可以很快地训练出满足一定要出它的优越性：因为它可以很快地训练出满足一定要求的网络权值。求的网络权值。2/14/202339wf2.mP=1 1.5 1.2 0.3;-1 2 3 0.5;2 1 1.6 0.9;T=0.5 3 2.2 1.4;1.1 1.2 1.7 0.4;3 0.2 1.8 0.4;-1 0.1 1.0 0.6;disp_freq=400;中间不显示结果中间不显示结果max_epoch=400;err_goal=0.001;lr=0.9*maxlinl

21、r(P);W=1.9978 0.5959 0.3517;1.5543 0.05331 1.3660;%初始权值初始权值1.0672 0.3645 0.9227;-0.7747 1.3839 0.3384;B=0.0746;-0.0642;-0.4256;-0.6433;SSEsumsqr(T-purelin(W*P，B);%未训练前误差未训练前误差fprintf(Before trainihg,sum squared error=g.n,SSE)2/14/202340训练网络训练网络flops(0)tpdisp_freq max_epoch err_goal lr;%设置参数变量设置参数变量t

22、pW,B,epochs，errorstrainwh(W,B,P,T,tp);%进进行行线线性性网网络络权权值值训练训练W显示最终训练权矢量显示最终训练权矢量B显示最终训练偏差矢量显示最终训练偏差矢量SSEsumsqr(T-purelin(W*P,B)；最终误差最终误差显示结果并给出结论显示结果并给出结论ploterr(errors),fprintf(n After.0f epochs，sum squared e errorg.nn,SSE),fprintf(Training took.0f flops.n,flops),fprintf(Trained network operates：);if

23、 SSEerr_goal disp(Adequately.)elsedisp(Inadequately.)endend2/14/202341训练后的网络权值为训练后的网络权值为：网络训练过程中的误差记录网络训练过程中的误差记录 2/14/202342对对于于存存在在零零误误差差的的精精确确权权值值网网络络，若若用用函函数数solvelin.m来来求解，则更加简单如下：求解，则更加简单如下：wf3.mP1 1.5 1.2 0.3;-1 2 3 0.5;2 1 1.6 0.9;T0.5 3 2.2 1.4;1.1 1.2 1.7 0.4;3 0.2 1.8-0.4;-1 0.1 1.0 0.6;W

24、，Bsolvelin(P,T);Asimulin(P,W,B);SSEsumsqr(T-A)WBend2/14/202343由此可得零误差的唯一精确解为：由此可得零误差的唯一精确解为：2/14/202344 例例3 3 设计训练一个线性网络实现下列从输入矢量设计训练一个线性网络实现下列从输入矢量到目标矢量的变换：到目标矢量的变换：所给出的输入矢量元素之间是线性相关的：第三组所给出的输入矢量元素之间是线性相关的：第三组元素等于第二组元素的两倍减去第一组：元素等于第二组元素的两倍减去第一组：P32P2P1。由于输入矢量的奇异性，用函数由于输入矢量的奇异性，用函数solvelin.m来设计来设计时网

25、络会产生问题。只有在能够线性地解出问题的情时网络会产生问题。只有在能够线性地解出问题的情况下，用函数况下，用函数solvelin.m才比较准确。才比较准确。2/14/202345 只要将前面已编写的只要将前面已编写的wf2.m程序中的输入与目标矢程序中的输入与目标矢量改变一下，并给出量改变一下，并给出(-1，1)之间的随机初始值，即可之间的随机初始值，即可运行看到本例的结果。运行看到本例的结果。其最终误差在其最终误差在1.04左右，这就是本例题下的最小左右，这就是本例题下的最小误差平方和，误差平方和，而当采用完全线性函数的设计而当采用完全线性函数的设计solvelin.m去求解网去求解网络权值

26、时，所得到的误差是络权值时，所得到的误差是4.25。采用采用WH算法训练出的误差是它的算法训练出的误差是它的14，由此，由此可见其算法的优越性。可见其算法的优越性。2/14/202346 例例4 现在假定在上面例题的输入输出矢量中增加现在假定在上面例题的输入输出矢量中增加两组元素，使其变为两组元素，使其变为 P1.0 1.5 3.0 -1.2 T0.5 1.1 3.0 -1.0 本例题的目的是在于了解自适应线性网络的线性逼本例题的目的是在于了解自适应线性网络的线性逼近求解的能力。近求解的能力。本例题给出了输入输出对的位置以及网络求解的结本例题给出了输入输出对的位置以及网络求解的结果。对于所设置

27、的果。对于所设置的err_goal0.001,在循环训练了在循环训练了50次后次后所得的误差平方和仍然为：所得的误差平方和仍然为：SSE0.289。这个值即是本。这个值即是本题所能达到的最小误差平方和的值。题所能达到的最小误差平方和的值。当采用线性自适应线性网络求解问题所得到的误差当采用线性自适应线性网络求解问题所得到的误差特别大时，可以认为此问题不适宜用线性网络来解决。特别大时，可以认为此问题不适宜用线性网络来解决。2/14/202347图图 网络训练结果图网络训练结果图 2/14/202348 自适应线性网络还有另一个潜在的困难，当学习速自适应线性网络还有另一个潜在的困难，当学习速率取得较

28、大时，可导致训练过程的不稳定。率取得较大时，可导致训练过程的不稳定。例例5 5 输入输入/目标矢量与例目标矢量与例1相同。我们将以不同的学相同。我们将以不同的学习速率训练两次网络以展现两种不希望的学习速率带来习速率训练两次网络以展现两种不希望的学习速率带来的影响。的影响。以例以例1 1为样本，为样本，1)1)对于第一个尝试，学习速率对于第一个尝试，学习速率lrlr取：取：1r 1r1.7*maxlinlr(P)1.7*maxlinlr(P)；2)2)第二个尝试是选用更大学习速率：第二个尝试是选用更大学习速率：1r 1r2.5*maxlinlr(P);2.5*maxlinlr(P);2/14/2

29、023492/14/2023506.2.5 对比与分析对比与分析 感知器和自适应线性网络感知器和自适应线性网络 (1)网络模型结构上网络模型结构上 感知器和自适应线性网络而言，结构上的主要区感知器和自适应线性网络而言，结构上的主要区别在于激活函数：一个是二值型的，一个线性的。别在于激活函数：一个是二值型的，一个线性的。当把偏差与权值考虑成一体时，自适应线性网络当把偏差与权值考虑成一体时，自适应线性网络的输入与输出之间的关系可以写成的输入与输出之间的关系可以写成AW*P。如果。如果P是满秩的话，则可以写成是满秩的话，则可以写成AP-1W，或，或W=A/P。2/14/202351 (2)学习算法学

30、习算法 感知器的算法是最早提出的可收敛的算法，它感知器的算法是最早提出的可收敛的算法，它的自适应思想被威德罗和霍夫发展成使其误差最小的自适应思想被威德罗和霍夫发展成使其误差最小的梯度下降法。最后又在的梯度下降法。最后又在BP算法中得到进一步的推算法中得到进一步的推广，它们属于同一类算法。广，它们属于同一类算法。2/14/202352 (3)适用性与局限性适用性与局限性 感知器仅能够进行简单的分类。从前面的例题中感知器仅能够进行简单的分类。从前面的例题中已经看出，感知器可以将输入分成两类或四类等。它已经看出，感知器可以将输入分成两类或四类等。它的局限性是仅能对线性可分的输入进行分类。的局限性是仅

31、能对线性可分的输入进行分类。自适应线性网络除了像感知器一样可以进行线性自适应线性网络除了像感知器一样可以进行线性分类外，又多了线性逼近，这仅是由于其激活函数可分类外，又多了线性逼近，这仅是由于其激活函数可以连续取值而不同于感知器的仅能取以连续取值而不同于感知器的仅能取0或或1的缘故。的缘故。2/14/202353作业作业设计一个有三个输入的单层线性网络：设计一个有三个输入的单层线性网络：P=2 3 2.4 -0.6;-2 4 6 -1;4 2 -3.2 1.8 T=1 6 -4.4 2.8;2.2-2.4 3.4-0.8;6 0.4 -3.6 -0.8;-2 0.2 -21.22/14/202

32、3546.2.6 本章小结本章小结 1)自自适适应应线线性性网网络络仅仅可可以以学学习习输输入入输输出出矢矢量量之之间间的的线线性性关关系系，可可用用于于模模式式联联想想及及函函数数的的线线性性逼逼近近。网网络络结结构构的的设设计计完完全全由由所所要要解解决决的的问问题题所所限限制制，网网络络的的输输入入数数目和输出层中神经元数目，由问题所限制；目和输出层中神经元数目，由问题所限制；2)多多层层线线性性网网络络不不产产生生更更强强大大的的功功能能，从从这这个个观观点点上上看看，单层线性网络不比多层线性网络有局限性；单层线性网络不比多层线性网络有局限性；3)输输入入和和输输出出之之间间的的非非线线性性关关系系不不能能用用一一个个线线性性网网络络精精确确地地设设计计出出，但但线线性性网网络络可可以以产产生生一一个个具具有有误误差差平平方方和最小的线性逼近。和最小的线性逼近。2/14/202355