神经网络PPT精选PPT.ppt

《神经网络PPT精选PPT.ppt》由会员分享，可在线阅读，更多相关《神经网络PPT精选PPT.ppt（42页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、关于神关于神经网网络PPT第1页，讲稿共42张，创作于星期二Contents神经网络简介神经网络简介 1 1神经网络的典型结构神经网络的典型结构 2 2神经网络的学习算法神经网络的学习算法 3 3BPBP神经网络神经网络 4 4进化神经网络进化神经网络 5 5神经网络的应用神经网络的应用 6 6第2页，讲稿共42张，创作于星期二2.1 神经网络简介神经网络简介什么是神经网络？什么是神经网络？神经网络（神经网络（Neural Network，NN）一般也称为人工神经网络）一般也称为人工神经网络（Artificial Neural Network，ANN），是科学家们在对生物），是科学家们在对生物

2、的神经元、神经系统等生理学的的神经元、神经系统等生理学的研究取得了突破性进展以及对人研究取得了突破性进展以及对人脑的结构、组成和基本工作单元脑的结构、组成和基本工作单元有了进一步认识的基础上，通过有了进一步认识的基础上，通过借助数学和物理的方法从信息处借助数学和物理的方法从信息处理的角度对人脑神经网络进行抽理的角度对人脑神经网络进行抽象后建立的简化模型。象后建立的简化模型。第3页，讲稿共42张，创作于星期二2.1.1 基本原理基本原理生物神经元基本结构示意图生物神经元基本结构示意图第4页，讲稿共42张，创作于星期二2.1.1 基本基本原理原理树突树突细胞体细胞体轴突轴突突触突触生物神经元生物神

3、经元人工神经元人工神经元类比关系类比关系输入层输入层加权和加权和阈值函数阈值函数输出层输出层第5页，讲稿共42张，创作于星期二2.1.1 基本基本原理原理模拟神经元的树突接模拟神经元的树突接收输入信号收输入信号输入层输入层加权和加权和阈值函数阈值函数输出层输出层模拟神经元的细胞体加工模拟神经元的细胞体加工和和处理信号处理信号模拟神经元的轴突模拟神经元的轴突控制信号的输出控制信号的输出模拟神经元的突触模拟神经元的突触对结果进行输出对结果进行输出人工神人工神经元结经元结构功能构功能示意图示意图第6页，讲稿共42张，创作于星期二2.1.2 研究进展研究进展1943年年McCullonch和和Prit

4、ts提提出了出了M-P模型，该模型提出了模型，该模型提出了神经元的数学描述和网络的结神经元的数学描述和网络的结构方法，这标志着神经网络计构方法，这标志着神经网络计算时代的开始。算时代的开始。1957年年Rosenblatt定义一个称定义一个称为感知器的神经网络结构，第为感知器的神经网络结构，第一次把神经网络从纯理论的探一次把神经网络从纯理论的探讨推向了工程实现，掀起了神讨推向了工程实现，掀起了神经网络研究的高潮。经网络研究的高潮。Minsky和和Papert在在1969年发年发表论著表论著Perceptrons指出指出感知器仅能解决一阶谓词逻感知器仅能解决一阶谓词逻辑，只能完成线性划分，对辑，

5、只能完成线性划分，对于非线性或者其他分类会遇于非线性或者其他分类会遇到很多困难，就连简单的到很多困难，就连简单的 XOR（异或）问题都解决不（异或）问题都解决不了。由此，神经网络的研究了。由此，神经网络的研究进入了反思期。进入了反思期。启蒙萌芽时期启蒙萌芽时期1940s至至1960s低潮反思时期低潮反思时期1960s至至1970s第7页，讲稿共42张，创作于星期二2.1.2 研究进展研究进展20世纪世纪90年代中后期，神经网年代中后期，神经网络研究进入了一个新的发展阶络研究进入了一个新的发展阶段，一方面已有理论在不断地段，一方面已有理论在不断地深化和得到进一步推广，另一深化和得到进一步推广，另

6、一方面，新的理论和方法也在不方面，新的理论和方法也在不断出现。断出现。光学神经网络、混沌神经网络、光学神经网络、混沌神经网络、模糊神经网络、进化神经网络模糊神经网络、进化神经网络等新模型陆续出现。等新模型陆续出现。1982年年Hopfield提出的全连提出的全连接网络模型才使得人们对神接网络模型才使得人们对神经网络有了重新的认识经网络有了重新的认识,开辟开辟了一条新的研究道路。了一条新的研究道路。1986年年Rumelhart等人提出的反等人提出的反向传播算法，使向传播算法，使Hopfield模模型和多层前馈神经网络成为型和多层前馈神经网络成为应用最广泛的神经网络模型应用最广泛的神经网络模型之

7、一。之一。复兴发展时期复兴发展时期1980s至至1990s新的发展时期新的发展时期1990s中后期之后中后期之后第8页，讲稿共42张，创作于星期二2.1.2 研究进展研究进展重要学术期刊重要学术期刊lIEEE Transactions on Neural NetworkslIEEE Transactions on Systems,Man and CyberneticslJournal of Artificial Neural NetworkslJournal of Neural SystemslNeural NetworkslNeural ComputationlNetworks Comput

8、ation in Neural SystemslMachine Learning第9页，讲稿共42张，创作于星期二2.1.2 研究进展研究进展重要学术会议重要学术会议lInternational Joint Conference on Neural NetworkslIEEE International Conference on Systems,Man,and CyberneticslWorld Congress on Computational Intelligence第10页，讲稿共42张，创作于星期二2.2 神经网络的典型结构神经网络的典型结构按网络的结构区分按网络的结构区分l前向网络

9、前向网络l反馈网络反馈网络按学习方式区分按学习方式区分l有教师（监督）学习网络有教师（监督）学习网络l无教师（监督）学习网络无教师（监督）学习网络按网络的性能区分按网络的性能区分l连续型和离散型网络连续型和离散型网络l随机型和确定型网络随机型和确定型网络第11页，讲稿共42张，创作于星期二2.2 神经网络的典型结构神经网络的典型结构按突触性质区分按突触性质区分l一阶线性关联网络一阶线性关联网络l高阶非线性关联网络高阶非线性关联网络按对生物神经系统的层次模拟区分按对生物神经系统的层次模拟区分l神经元层次模型神经元层次模型l组合式模型组合式模型l网络层次模型网络层次模型l神经系统层次模型神经系统层

10、次模型l智能型模型智能型模型通常，人们较多地考虑神经网络的互连结构。本通常，人们较多地考虑神经网络的互连结构。本节将按照神经网络连接模式，对神经网络的几种节将按照神经网络连接模式，对神经网络的几种典型结构分别进行介绍典型结构分别进行介绍 第12页，讲稿共42张，创作于星期二2.2.1 单层感知器网络单层感知器网络单层感知器是最早使用的，也是最简单的神经网络单层感知器是最早使用的，也是最简单的神经网络结构，由一个或多个线性阈值单元组成结构，由一个或多个线性阈值单元组成l由于由于这这种网种网络结络结构相构相对简单对简单，因此能力也非常的，因此能力也非常的有限，一般比有限，一般比较较少用少用 单网单

11、网层络层络感示感示知意知意器图器图第13页，讲稿共42张，创作于星期二2.2.2 前馈型网络前馈型网络前馈型网络的信号由输入层到输出层单向传输前馈型网络的信号由输入层到输出层单向传输每层的神经元仅与其前一层的神经元相连，仅接受前一层传输来的信息每层的神经元仅与其前一层的神经元相连，仅接受前一层传输来的信息是一种最为广泛使用的神经网络模型，因为它本身的结构也不太复杂，学习和是一种最为广泛使用的神经网络模型，因为它本身的结构也不太复杂，学习和调整方案也比较容易操作，而且由于采用了多层的网络结构，其求解问题的能调整方案也比较容易操作，而且由于采用了多层的网络结构，其求解问题的能力也得到明显的加强，基

12、本上可以满足使用要求力也得到明显的加强，基本上可以满足使用要求第14页，讲稿共42张，创作于星期二2.2.3 前馈内层互联网络前馈内层互联网络这种网络结构从外部看还是一个前馈型的网络，但是这种网络结构从外部看还是一个前馈型的网络，但是内部有一些节点在层内互连内部有一些节点在层内互连第15页，讲稿共42张，创作于星期二2.2.4 反馈型网络反馈型网络这种网络结构在输入输出之间还建这种网络结构在输入输出之间还建立了另外一种关系，就是网络的输立了另外一种关系，就是网络的输出层存在一个反馈回路到输入层作出层存在一个反馈回路到输入层作为输入层的一个输入，而网络本身为输入层的一个输入，而网络本身还是前馈型

13、的还是前馈型的这种神经网络的输入层不仅接受外这种神经网络的输入层不仅接受外界的输入信号，同时接受网络自身界的输入信号，同时接受网络自身的输出信号。输出反馈信号可以是的输出信号。输出反馈信号可以是原始输出信号，也可以是经过转化原始输出信号，也可以是经过转化的输出信号；可以是本时刻的输出的输出信号；可以是本时刻的输出信号，也可以是经过一定延迟的输信号，也可以是经过一定延迟的输出信号出信号此种网络经常用于系统控制、实时此种网络经常用于系统控制、实时信号处理等需要根据系统当前状态信号处理等需要根据系统当前状态进行调节的场合进行调节的场合第16页，讲稿共42张，创作于星期二2.2.5 全互联网络全互联网

14、络全互联网络是网络中所有的神经元之间都有相互间全互联网络是网络中所有的神经元之间都有相互间的连接的连接l如如Hopfiled和和Boltgmann网网络络都是都是这这种种类类型型全全互互联联网网络络第17页，讲稿共42张，创作于星期二2.3 神经网络的学习算法神经网络的学习算法第18页，讲稿共42张，创作于星期二2.3.1 学习方法学习方法有监督学习有监督学习无监督学习无监督学习再励学习再励学习在有监督的学习方式中，网络的输出和期望的输出（即教师在有监督的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权重，信号）进行比较，然后根据两者之间的差异调整网

15、络的权重，最终使差异变小。最终使差异变小。在无监督的学习方式中，在无监督的学习方式中，输入模式进入网络后，网络按照输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权重，使网络最终一预先设定的规则（如竞争规则）自动调整权重，使网络最终具有模式分类等功能。具有模式分类等功能。再励学习是介于上述两者之间的一种学习方法再励学习是介于上述两者之间的一种学习方法第19页，讲稿共42张，创作于星期二2.3.2 学习规则学习规则Hebb学习规则学习规则l这个规则是由这个规则是由Donald Hebb在在1949年提出的年提出的l他的基本规则可以简单归纳为：如果处理单元从另一个处理单他的基本规

16、则可以简单归纳为：如果处理单元从另一个处理单元接受到一个输入，并且如果两个单元都处于高度活动状态，元接受到一个输入，并且如果两个单元都处于高度活动状态，这时两单元间的连接权重就要被加强这时两单元间的连接权重就要被加强lHebb学习规则是一种没有指导的学习方法，它只根据神经元学习规则是一种没有指导的学习方法，它只根据神经元连接间的激活水平改变权重，因此这种方法又称为相关学习连接间的激活水平改变权重，因此这种方法又称为相关学习或并联学习或并联学习Delta（）学习规则）学习规则 lDelta规则是最常用的学习规则，其要点是改变单元间的连接权重来减规则是最常用的学习规则，其要点是改变单元间的连接权重

17、来减小系统实际输出与应有的输出间的误差小系统实际输出与应有的输出间的误差l这个规则也叫这个规则也叫Widrow-Hoff学习规则，首先在学习规则，首先在Adaline模型中应用，模型中应用，也可称为最小均方差规则也可称为最小均方差规则lBP网络的学习算法称为网络的学习算法称为BP算法，是在算法，是在Delta规则基础上发展起来的，规则基础上发展起来的，可在多层网络上有效地学习可在多层网络上有效地学习第20页，讲稿共42张，创作于星期二2.3.2 学习规则学习规则梯度下降学习规则梯度下降学习规则l梯度下降学习规则的要点为在学习过程中，保持误差曲线的梯度下降学习规则的要点为在学习过程中，保持误差曲

18、线的梯度下降梯度下降l误差曲线可能会出现局部的最小值，在网络学习时，应尽可能摆脱误差曲线可能会出现局部的最小值，在网络学习时，应尽可能摆脱误差的局部最小值，而达到真正的误差最小值误差的局部最小值，而达到真正的误差最小值 Kohonen学习规则学习规则l该规则是由该规则是由Teuvo Kohonen在研究生物系统学习在研究生物系统学习的基础上提出的，只用于没有指导下训练的网络的基础上提出的，只用于没有指导下训练的网络后向传播学习规则后向传播学习规则l后向传播（后向传播（Back Propagation，BP）学习，是目）学习，是目前应用最为广泛的神经网络学习规则前应用最为广泛的神经网络学习规则第

19、21页，讲稿共42张，创作于星期二2.3.2 学习规则学习规则概率式学习规则概率式学习规则l从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习进行神经网络学习的方式称概率式学习l神经网络处于某一状态的概率主要取决于此状态下的能量，能量越神经网络处于某一状态的概率主要取决于此状态下的能量，能量越低的状态，出现概率越大；此概率还取决于温度低的状态，出现概率越大；此概率还取决于温度T，T越大，不同越大，不同状态出现概率的差异越小，较容易跳出能量的局部极小点而状态出现概率的差异越小，较容易跳出能量的

20、局部极小点而到全局极小点，到全局极小点，T越小时，正好相反。越小时，正好相反。竞争式学习规则竞争式学习规则l竞争式学习属于无监督学习方式。这种学习方式是利用不同层竞争式学习属于无监督学习方式。这种学习方式是利用不同层间的神经元发生兴奋性联接以及同一层内距离很近的神经元间间的神经元发生兴奋性联接以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接l竞争式学习规则的本质在于神经网络中高层次的神经元对低层次神竞争式学习规则的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识别经元的输入模式进行竞争识

21、别第22页，讲稿共42张，创作于星期二2.4 BP神经网络神经网络第23页，讲稿共42张，创作于星期二2.4.1 基本思想基本思想BP神经网络也称：神经网络也称：后向传播学习的前馈型神经网络（后向传播学习的前馈型神经网络（Back Propagation Feed-forward Neural Network，BPFNN/BPNN），是一种是一种应用最为广泛应用最为广泛的神经网络的神经网络在在BPNN中，后向传播是一种学习算法，体现为中，后向传播是一种学习算法，体现为BPNN的训的训练过程，该过程是需要教师指导的；前馈型网络是一种结构，练过程，该过程是需要教师指导的；前馈型网络是一种结构，体现

22、为体现为BPNN的网络构架的网络构架反向传播算法通过迭代处理的方式，不断地调整连接神经元的网反向传播算法通过迭代处理的方式，不断地调整连接神经元的网络权重，使得最终输出结果和预期结果的误差最小络权重，使得最终输出结果和预期结果的误差最小BPNN是一种典型的神经网络，广泛应用于各种分类系统，是一种典型的神经网络，广泛应用于各种分类系统，它也包括了训练和使用两个阶段。由于训练阶段是它也包括了训练和使用两个阶段。由于训练阶段是BPNN能能够投入使用的基础和前提，而使用阶段本身是一个非常简单的过够投入使用的基础和前提，而使用阶段本身是一个非常简单的过程，也就是给出输入，程，也就是给出输入，BPNN会根

23、据已经训练好的参数进行运会根据已经训练好的参数进行运算，得到输出结果算，得到输出结果第24页，讲稿共42张，创作于星期二2.4.2 算法流程算法流程4.网络权值与神经元偏置调整网络权值与神经元偏置调整3.反向误差传播反向误差传播2.向前传播输入向前传播输入1.初始化网络权值初始化网络权值第25页，讲稿共42张，创作于星期二2.4.2 算法流程算法流程第26页，讲稿共42张，创作于星期二1.初始化网络权值初始化网络权值每两个神经元的网络连接权重每两个神经元的网络连接权重 被初始化为一个很小被初始化为一个很小的随机数（如的随机数（如-1.01.0或或-0.50.5等）；等）；每个神经元有一偏置每个

24、神经元有一偏置i，初始化为一随机数。，初始化为一随机数。第27页，讲稿共42张，创作于星期二2.向前传播输入向前传播输入将训练样本输入到网络输入层，计算每个神经元的将训练样本输入到网络输入层，计算每个神经元的输出。输出。上一层单元上一层单元i到本单元到本单元j的网络权重；的网络权重；上一层单元上一层单元i的输出的输出 本单元偏置，充当阈值。本单元偏置，充当阈值。激活函数，激活函数，logistic函数，函数，sigmoid函数函数第28页，讲稿共42张，创作于星期二3.反向误差传播反向误差传播比较预期输出和实际输出，计算输出层误差。比较预期输出和实际输出，计算输出层误差。Tj输出单元输出单元j

25、的预期输出的预期输出将得到的误差从后向前传播，前一层单元将得到的误差从后向前传播，前一层单元j的误差的误差通过和它连接的后一层所有单元通过和它连接的后一层所有单元k的误差计算得到。的误差计算得到。第29页，讲稿共42张，创作于星期二4.网络权值与神经元偏置调整网络权值与神经元偏置调整可以一边后向传播误差，一边调整网络权重和神经元可以一边后向传播误差，一边调整网络权重和神经元的阈值，也可以先计算得到所有神经元的误差，再统的阈值，也可以先计算得到所有神经元的误差，再统一调整网络权重和神经元阈值。一调整网络权重和神经元阈值。调整权重：从输入层与第一隐含层的连接权重开始，依调整权重：从输入层与第一隐含

26、层的连接权重开始，依次向后进行调整。次向后进行调整。l学习率，通常取学习率，通常取01之间的常数。太大会导致学习之间的常数。太大会导致学习慢，太小会导致算法在不适当的解之间振动。一般将学习慢，太小会导致算法在不适当的解之间振动。一般将学习率设为迭代次数率设为迭代次数t的倒数，即的倒数，即1/t。第30页，讲稿共42张，创作于星期二4.网络权值与神经元偏置调整网络权值与神经元偏置调整调整偏置：对每个神经元调整偏置：对每个神经元j进行如下更新：进行如下更新：l学习率，通常取学习率，通常取01之间的常数。太大会导致学之间的常数。太大会导致学习慢，太小会导致算法在不适当的解之间振动。一般将习慢，太小会

27、导致算法在不适当的解之间振动。一般将学习率设为迭代次数学习率设为迭代次数t的倒数，即的倒数，即1/t。第31页，讲稿共42张，创作于星期二5.判断结束判断结束对每个样本，若最终输出误差小于可接受范围，或迭代对每个样本，若最终输出误差小于可接受范围，或迭代次数到一定的阈值，则选取下一样本，转步骤次数到一定的阈值，则选取下一样本，转步骤2继续执继续执行；行；否则迭代次数加否则迭代次数加1，转步骤，转步骤2继续使用当前样本训练。继续使用当前样本训练。第32页，讲稿共42张，创作于星期二2.4.3 应用举例应用举例例例2.1已知一个前馈型神经网络例子如下图所示。已知一个前馈型神经网络例子如下图所示。设

28、学习率设学习率l为为0.9，当前的训练样本为，当前的训练样本为x=1,0,1，而且，而且预期分类标号为预期分类标号为1，同时，下表给出了当前该网络的，同时，下表给出了当前该网络的各个连接权值和神经元偏置。求该网络在当前训练各个连接权值和神经元偏置。求该网络在当前训练样本下的训练过程样本下的训练过程。w14w15w24w25w34w35w46w560.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1第33页，讲稿共42张，创作于星期二例例 10.3 BPNN分类系统训练过程分类系统训练过程w14w15w24w25w34w35w46w560.2-0.30.40.1-0.50

29、.2-0.3-0.2-0.40.20.1第34页，讲稿共42张，创作于星期二2.5 进化神经网络进化神经网络对于某一具体问题，人工神经网络的设计是极其对于某一具体问题，人工神经网络的设计是极其复杂的工作，至今仍没有系统的规律可以遵循复杂的工作，至今仍没有系统的规律可以遵循目前，一般凭设计者主观经验与反复实验挑选目前，一般凭设计者主观经验与反复实验挑选ANN 设计所需的工具设计所需的工具这样不仅使得设计工作的效率很低，而且还不能这样不仅使得设计工作的效率很低，而且还不能保证设计出的网络结构和权重等参数是最优的，保证设计出的网络结构和权重等参数是最优的，从而造成资源的大量浪费和网络的性能低下从而造

30、成资源的大量浪费和网络的性能低下人工神经网络存在的问题人工神经网络存在的问题第35页，讲稿共42张，创作于星期二2.5 进化神经网络进化神经网络使用进化算法去优化神经网络，通过进化算法和人工神经使用进化算法去优化神经网络，通过进化算法和人工神经网络的结合使得神经网络能够在进化的过程中自适应地调网络的结合使得神经网络能够在进化的过程中自适应地调整其连接权重、网络结构、学习规则等这些在使用神经网整其连接权重、网络结构、学习规则等这些在使用神经网络的时候难以确定的参数，从而形成了进化神经网络络的时候难以确定的参数，从而形成了进化神经网络（Evolutionary Neural Networks，EN

31、N/EANN）进化算法和神经网络的结合给神经网络指明了新的发展方向，对突进化算法和神经网络的结合给神经网络指明了新的发展方向，对突破神经网络结构复杂、参数难调等问题起到了重大的作用破神经网络结构复杂、参数难调等问题起到了重大的作用进化神经网络的优势进化神经网络的优势第36页，讲稿共42张，创作于星期二2.6 神经网络的应用神经网络的应用民用应用领域民用应用领域l语言识别、图像识别与理解、计算机视觉、智能语言识别、图像识别与理解、计算机视觉、智能机器人故障检测、实时语言翻译、企业管理、市机器人故障检测、实时语言翻译、企业管理、市场分析、决策优化、物资调运、自适应控制、专场分析、决策优化、物资调运

32、、自适应控制、专家系统、智能接口、神经生理学、心理学和认知家系统、智能接口、神经生理学、心理学和认知科学研究等等科学研究等等军用应用领域军用应用领域l语音、图像信息的录取与处理、雷达、声纳的多语音、图像信息的录取与处理、雷达、声纳的多目标识别与跟踪、战场管理和决策支持系统、军目标识别与跟踪、战场管理和决策支持系统、军用机器人控制、各种情况、信息的快速录取、分用机器人控制、各种情况、信息的快速录取、分类与查询、导弹的智能引导、保密通讯、航天器类与查询、导弹的智能引导、保密通讯、航天器的姿态控制等等的姿态控制等等第37页，讲稿共42张，创作于星期二2.6 神经网络的应用神经网络的应用识别与聚类应用

33、识别与聚类应用l模式识别和分类是指通过使用一系列的训练数据模式识别和分类是指通过使用一系列的训练数据对神经网络进行训练，在有教师指导的学习方法对神经网络进行训练，在有教师指导的学习方法下，让神经网络在训练数据的训练下调整网络的下，让神经网络在训练数据的训练下调整网络的结构和权重，以达到正确识别的目的结构和权重，以达到正确识别的目的第38页，讲稿共42张，创作于星期二2.6 神经网络的应用神经网络的应用计算与优化应用计算与优化应用l神经计算是人工神经网络的一个重要应用手段，神经计算是人工神经网络的一个重要应用手段，也为各种优化问题提供了解决的方案。优化问题也为各种优化问题提供了解决的方案。优化问

34、题就是需要在问题的解空间里面寻找一个最优的解就是需要在问题的解空间里面寻找一个最优的解在满足一定约束条件下使得目标函数最大化或者在满足一定约束条件下使得目标函数最大化或者最小化。由于神经网络具有并行搜索处理信息、最小化。由于神经网络具有并行搜索处理信息、联想记忆等特点，在搜索系统的全局最优或局部联想记忆等特点，在搜索系统的全局最优或局部最优解方面，具有很好的优势，因此在优化问题最优解方面，具有很好的优势，因此在优化问题上得到了广泛的研究和应用上得到了广泛的研究和应用第39页，讲稿共42张，创作于星期二2.6 神经网络的应用神经网络的应用建模与预测应用建模与预测应用l人工神经网络应用在非线性系统

35、建模上的时候，实质上就是通过训练神人工神经网络应用在非线性系统建模上的时候，实质上就是通过训练神经网络，让其在训练数据中获取知识，并且完成从输入到输出的非线性经网络，让其在训练数据中获取知识，并且完成从输入到输出的非线性映射过程映射过程l所谓神经网络预测就是根据一定数量的历史样本数据（一般为表征某一所谓神经网络预测就是根据一定数量的历史样本数据（一般为表征某一种现象时间序列的数据，例如交通流量，外汇走势等等）对神经网络进种现象时间序列的数据，例如交通流量，外汇走势等等）对神经网络进行训练，然后用来对当前的，或者未来的时刻情景进行预测行训练，然后用来对当前的，或者未来的时刻情景进行预测若已获得时

36、间序列数据样本若已获得时间序列数据样本t(1),t(2)t(n)以及对应的输出以及对应的输出y(1),y(2)y(n)，如果想预测，如果想预测t(n+1)时刻的输出时刻的输出y(n+1)，则需要先训练，则需要先训练网络后使用网络。网络后使用网络。训练网络训练网络：先设定一时间长度：先设定一时间长度L的历史数据作为一输入，第一个训练的历史数据作为一输入，第一个训练样本假设为样本假设为t(i-L+1),t(i-L+2)t(i)，其中，其中i=L，作为网络的输入，作为网络的输入，y(i)为输出，第二个训练样本为为输出，第二个训练样本为t(i-L+2),t(i-L+3),t(i+1)和输出和输出y(i

37、+1)，等等，等等，训练后得到良好的权重。训练后得到良好的权重。使用网络使用网络：输入为：输入为t(n-L+2),t(n-L+3),t(n+1)，通过训练好的神经网络可，通过训练好的神经网络可得输出得输出y(n+1)。第40页，讲稿共42张，创作于星期二2.6 神经网络的应用神经网络的应用控制与处理应用控制与处理应用l神经网络已经在自动控制和信息处理等各个领域神经网络已经在自动控制和信息处理等各个领域取得了相当成功的应用。在自动控制领域，主要取得了相当成功的应用。在自动控制领域，主要的应用包括系统建模和辨识、参数整定、极点配的应用包括系统建模和辨识、参数整定、极点配置、内模控制、优化设计、预测

38、控制、最优控制、置、内模控制、优化设计、预测控制、最优控制、滤波与预测容错控制等滤波与预测容错控制等 l在各种信息、信号处理领域，神经网络也有重要在各种信息、信号处理领域，神经网络也有重要的突破。例如在图像处理方面，神经网络能够很的突破。例如在图像处理方面，神经网络能够很好地对图像进行边缘监测、图像分割、图像压缩好地对图像进行边缘监测、图像分割、图像压缩和图像恢复等操作。此外，神经网络被广泛使用和图像恢复等操作。此外，神经网络被广泛使用于信号处理方面，例如目标检测、多目标跟踪、于信号处理方面，例如目标检测、多目标跟踪、杂波去噪、畸形波恢复、雷达回波多目标分类、杂波去噪、畸形波恢复、雷达回波多目标分类、运动目标速度估计、多探测信号融合等等运动目标速度估计、多探测信号融合等等第41页，讲稿共42张，创作于星期二感谢大家观看第42页，讲稿共42张，创作于星期二