第一章概论.ppt

《第一章概论.ppt》由会员分享，可在线阅读，更多相关《第一章概论.ppt（72页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、神经网络原理,第一章,1,第一章 概论,神经网络种类生物神经网络（Biological Neural Networks）人工神经网络（Artificial Neural Networks),神经网络原理,第一章,2,1.1 生物神经元及生物神经网络 （Biological Neuron and Biological Neural Networks）1.2 人工神经网络(Aritificial Neural networks)1.3 ANN的发展 (Development of ANN)1.4 ANN与AC (ANN and Automatic Control),神经网络原理,第一章,3,1.1

2、 生物神经元网络,1.1.1生物神经元 1.1.2人脑神经网络,神经网络原理,第一章,4,1.1.1 生物神经元。,人的大脑由1012个神经元构成，神经元互相连接成神经网络神经元组成：细胞体为主体1873年, 意大利 Cajai 银渗透法 发现Golgi 体神经元功能：刺激、兴奋、传导、效应形状图神经元类型原则突触传递信息特点,神经网络原理,第一章,5,形状图,神经网络原理,第一章,6,类型,单极无脊椎动物双极视网膜神经元neuron多极脊椎、锥体、小脑蒲根,神经网络原理,第一章,7,原 则,Cajai将Golgi方法用于神经元研究，得到两条原则，奠定了神经元间信息传递的理论基础原则1 动态极

3、化原则（即信号沿确定方向流动） 树突 轴突 突触 其他神经元原则2 连接的专一性原则 神经元之间元细胞质的连续 神经元不构成随机网络 每一神经元与一些神经元形成特殊的精确的联系,神经网络原理,第一章,8,突触传递信息特点,1 时延性 :（0.31ms）2 综合性 ：时间与空间的累加3 类型：兴奋与抑制4 脉冲与电位转换: （D/A功能）5 速度：1150m/s6 不应期（死区）：35ms7 不可逆性（单向）8 可塑性 :强度可变 ,有学习功能,神经网络原理,第一章,9,1.1.2 人脑神经网络,脑神经系统主要组成部分大脑皮层由许多功能区组成（运动、听觉、视觉等） 神经元群 其区域性结构：遗传

4、其功能：后天对环境的适应于学习得来 （自组织特性Self-Organization） 子功能模块的并行关系 a) 连接形式 b) 大脑处理信息的特点 C) 生物学研究成果,神经网络原理,第一章,10,连接形式,辐射式：一到多聚合式：多到一链锁式：空间上加强与扩大作用环式：反馈作用（可正可负）,神经网络原理,第一章,11,辐射式：一到多,神经网络原理,第一章,12,聚合式：多到一,神经网络原理,第一章,13,链锁式：空间上加强与扩大作用,神经网络原理,第一章,14,环式：反馈作用（可正可负),神经网络原理,第一章,15,大脑处理信息的特点,分布存储与冗余性：记忆在大量元中，每个元存在许多信息的部

5、分内容，信息在神经网络中的记忆反映在神经元间的突触连接强度上（weights）。并行处理：NN既是处理器又是存储器（并行处理不同于并行机）。信息处理与存储合一：每个元兼有二者功能。可塑性与自组织性：可塑性是学习记忆的基础。鲁棒性：高连接度导致一定的误差和噪声不会使网络性能恶化。是智能演化的重要因素。,神经网络原理,第一章,16,BNN研究成果,H-H方程 英 A.L.Hodgkin与A.F.Huxley 长枪乌贼鱼电器特性 得到四个变量的非线性微分方程，获Nobel生物医学奖 许多NL问题可用此解释 e.g. 自激振荡 chaos. 多重稳定性等,神经网络原理,第一章,17,1.2 人工神经网

6、络,研究大脑的目的：a）揭示功能造福人类 b）构造ANN用于工程及其他领域（生物神经网络的模型化：ANN） BNN modelingANN ANN非BNN模型，而是对结构及功能大大简化后保留主要特性的某种抽象与模型。,神经网络原理,第一章,18,神经网络直观理解,神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。,神经网络原理,第一章,19,人工神经网络内容,1.2.1人工神经元模型 （Artificial Neuron model）1.2.2人工神经网络

7、的构成 （structure of ANN）1.2.3人工神经网络的学习 （learning or training of ANN）1.2.4 ANN与BNN的特点比较 (Comparison of features between ANN and BNN),神经网络原理,第一章,20,1.2.1 人工神经元模型 BNN 信息传递过程 为 MISO 系统,信号为脉冲，当脉冲到达突触前膜时，前膜释放化学物质，结果在突触后产生突触后电位，其大小与脉冲密度有关（时间总合效应）。 各通道都对电位产生影响（空间总合效应）。,神经网络原理,第一章,21,BNN 脉冲， ANN 模拟电压ANN等效模拟电压近

8、似BNN脉冲密度，仅有空间累加无时间累加（可认为时间累加已隐含于等效模拟电压之中）ANN中未考虑时延、不应期及疲劳等 可建立更为精确的模型，但一般NN研究无此必要（方法论）,神经网络原理,第一章,22,神经元模型（1）,神经元是人工神经网络的基本处理单元，它一般是一个多输入/多输出的非线性元件。神经元输出除受输入信号的影响之外，同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏差（bais），有时也称为阀值或门限值。,神经网络原理,第一章,23,神经元模型（2）,。,神经网络原理,第一章,24,抽象可得数学表达式：,数值（weights) 阀值（t

9、hreshold） 作用函数（activated transfer function）,神经网络原理,第一章,25,作用函数的基本作用,1、控制输入对输出的激活作用；2、对输入、输出进行函数转换；3、将可能无限域的输入变换成指定的有限范围内的输出。,神经网络原理,第一章,26,几种常用的作用函数,1、阀值型（硬限制型) 2、线性型 3、S型函数（Sigmoid） 4、辐射基函数,神经网络原理,第一章,27,1、阀值型（硬限制型）,神经网络原理,第一章,28,神经网络原理,第一章,29,2、线性型a) 全线性,神经网络原理,第一章,30,b) 正线性,神经网络原理,第一章,31,3、S型函数（S

10、igmoid）a) 对数正切 y=1/(e-n+1),神经网络原理,第一章,32,b)双曲正切 y=tanh(n),神经网络原理,第一章,33,4.辐射基函数a) 高斯函数,神经网络原理,第一章,34,b)三角波函数,神经网络原理,第一章,35,人工神经网络的构成,基本模型连接的几种基本形式前向网络（feed-forward Networks）回归网络（recurrent Networks）互联网络（全互连与局部互连）也可是以上几种形式的组合,神经网络原理,第一章,36,神经网络基本模型,神经网络原理,第一章,37,前向网络,结构图,神经网络原理,第一章,38,前向网络特点,1. 神经元分层排

11、列，可又多层 2. 层间无连接 3. 方向由入到出 感知网络（perceptron即为此） 应用最为广泛,神经网络原理,第一章,39,回归网络,全反馈结构图,神经网络原理,第一章,40,Inner RNN结构图,神经网络原理,第一章,41,回归网络特点,Output 与 Input相连（全反馈） 特点：1. 内部前向 2. 输出反馈到输入 例： Fukushima网络Inner recurrent 特点：层间元互相连接,神经网络原理,第一章,42,互联网络,结构图,神经网络原理,第一章,43,互联网络特点,每个元都与其它元相连 例： Hopfield Boltzmann机,神经网络原理,第一章

12、,44,1.2.3人工神经网络的学习,ANN研究中的核心问题 How to determine the weights(加权系数)学习规则简介,神经网络原理,第一章,45,学习规则,神经网络原理,第一章,46,常用学习规则,a) Hebb学习 D.Hebb1949年提出：两元同时兴奋，则突触连接加强b)学习规则 误差校正规则 梯度方法 （BP即为其中一种）,神经网络原理,第一章,47,c) 相近学习规则 使 ART SOFM 自组织竞争用此规则,神经网络原理,第一章,48,ANN 与BNN比较,数学观点 ANN的8项特征 ANN与BNN的比较,神经网络原理,第一章,49,数学观点,ANN使一个

13、以处理单元（PE： process element）为节点，用加权有向弧连接而成的有向图。（1）每个节点有一个状态变量;（2）节点i到节点j有一个连接权值;（3）每个节点有一个阀值；（4）每个节点定义一个变换函数。 PE是对BN的模拟，有向弧是对“轴突树突”对的模拟。综合全部有向弧形成的互连矩阵强度对应于人脑中信息的长期记忆。PE由NL函数实现单元I/O的NL映射，即时活跃值对应于人脑中的短期记忆。,神经网络原理,第一章,50,ANN的8项特征,处理单元活跃状态连接模型传递规则参考 胡守仁 书,活跃规则输出规则学习规则环境,神经网络原理,第一章,51,ANN与BNN的比较,神经网络原理,第一章

14、,52,1.3 ANN的发展,ANN的发展史ANN的现状 1）NN研究学术机构 2）NN研究的主要问题方向： 1. 理论研究 2. 应用研究,神经网络原理,第一章,53,ANN的发展史,20世纪40年代：兴起与萧条 1943年 M-P model 心理学家W.S.McCulloch和 数学家W.Pitts提出： 形式神经元的数学描述与构造方法 与阀值神经元model基本相同，权值固定 1949年 心理学家D.O.Hebb提出突触强度可调的 假设： 学习过程发生在突触上 Hebb规则：,神经网络原理,第一章,54,20世纪50年代 , 第一次高潮,1957年：F.Rosenblatt提出感知网络

15、（Perceptron）模型，这是第一个完整的ANN 基本构成为阀值单元、网络 初具并行处理、分布存储、学习等功能 用于模式识别、联想记忆 引起NN研究的第一次高潮,神经网络原理,第一章,55,20世纪60年代,低潮,1969年 Minsky和Papert编写的Perceptron 出版，使NN的研究进入低潮 Problems：single lager P.仅可解线性问题， NL XOR无法求解； 求解XOR 应该是MLP， 但MLP是否有意义，理论上不能得到有力证明 当时现状：数字计算机发达，认为可解决一切问题 工业水平上，NNC不存在 但工作并未停止。,神经网络原理,第一章,56,1975

16、年 Albus提出CMAC网络（Cerebella Model Articulation Controller） 1977年 英国 Grossberg提出ART网络 （Adaptive Resonance Theory） Kohonen提出自组织映射理论 福岛邦彦（K.Fukushima）提出认识 机（Neocognitron）模型 甘利俊（S.Amari）：NN数学理论其它NL系统理论 Prigogine 非平衡系统的自组织理论 Haken 协同学,神经网络原理,第一章,57,20世纪80年代 第二次高潮Reasons: 1）AI理论、 Neumann计算机功能受挫（智能、视觉处理等） 2）

17、ANN有新成果、脑科学、神经科学 、 VLSI、光电技术的发展,神经网络原理,第一章,58,J.J.Hopfield 1982年 Hopfield网络模型：网络能量、网络稳定性判据 1984年 HNN用电子线路 实现 HNN用途：联想记忆、优化计算机的新途径1984年 Hilton 引入模拟退火法，提出Boltzmann机网络1986年 Rumelhart提出EBP学习算法，解决了MLP隐含层的 weights 学习问题（error Back-Propagation）,神经网络原理,第一章,59,1987年 Nielson提出了对向传播（Counter Propagation）神经网络1988

18、年 L.O.Chua提出细胞神经网络（CNN）模型自1958年来已有近40种NN model,神经网络原理,第一章,60,NN研究学术机构,1987年 国际神经网络学会 定期召开ICNN会议 1988年 IEEE Transaction on Neural Networks创刊 1990.12 CCNN（中国）第一次会议 1991年 中国神经网络学会,神经网络原理,第一章,61,理论研究,利用神经生物和认知科学研究大脑思维及智能的机理利用上一项成果，用数理方法探索智能水平更高的ANN model 1）深入研究网络算法和性能 e.g.稳定 性、收敛性、容错性、鲁棒性 2）开发性的网络数据理论：神

19、经网络 动力学、非线性神经场,神经网络原理,第一章,62,应用研究,神经网络软件模拟和硬件实现的研究NN在各个技术领域中应用研究 e.g.模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等,神经网络原理,第一章,63,1.4 ANN 与自动控制,需求是发明之母 控制领域的三个需求AC历史NN在AC上应用的吸引力NN在AC上的应用,神经网络原理,第一章,64,AC需求,处理不断复杂的对象完成不断复杂的设计在对象和环境的知识所知甚少的情况下达到以上两点要求,神经网络原理,第一章,65,AC历史,1932年 Nyquist反馈放大器 20世纪60年代 状态空间理论20世纪70年代 大系统理

20、论20世纪90年代 智能控制方法及理论,神经网络原理,第一章,66,NN在AC上应用的吸引力,任何精度逼近任意连接非线性函数（NL系统的统一描述）对复杂不确定问题具有自适应、学习能力并行机制，解决实时计算问题，具有冗余性容错能力信息融合（Fusion），多媒体技术神经计算：用于AC为优化、矩阵求逆，解方程等计算易于VLSI、光学IC、计算机虚拟实现NN,神经网络原理,第一章,67,NN在AC上的应用,1）系统辨识 2）系统控制 3）优化计算 4）故障诊断及容错控制,神经网络原理,第一章,68,1）系统辨识,系统辨识 NN系统辨识的统一模式 NN非算法性，可用参数为加权 NN模型作为物理实现，可

21、用于在线控制 问题：网络模型、结构选择、快速学习算法、收敛性分析、输入激励信号选择,神经网络原理,第一章,69,2）系统控制,控制 提供某种模型 充当各类控制器 作为计算部件实现优化计算对不确定问题： NL系统的自适应控制 线性 NL 无模型直接自适应（single Neuron控 制器）,神经网络原理,第一章,70,3）优化计算,神经网络求解代数方程神经网络在预测控制在线求矩阵逆神经网络在LQR问题中解ARE,神经网络原理,第一章,71,4）故障诊断及容错控制,神经网络用于故障诊断 1) 基于模型（BP） 2) 基于自组织网络（SOM）神经网络用于容错控制 1）基于整体性设计 2）基于监督学习控制器,神经网络原理,第一章,72,REVIEW,BNN 与ANN的基本特征ANN的作用函数,