第1章人工神经网络概述ppt.ppt

《第1章人工神经网络概述ppt.ppt》由会员分享，可在线阅读，更多相关《第1章人工神经网络概述ppt.ppt（76页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、人工神经网络 Artificial Neural Networks,北京科技大学 信息工程学院付冬梅 62334967,2006-4-28,北京科技大学 信息学院 付冬梅,2,课程安排与要求,第一章：概论人工神经网络的发展历史人工神经网络的定义、特点和应用从生物神经元到人工神经元第二章 人工神经网络的基本模型人工神经元的基本模型几种典型的激活函数人工神经网络的学习算法概述人工神经网络的基本拓扑结构,2006-4-28,北京科技大学 信息学院 付冬梅,3,课程安排与要求,第三章：感知器人工神经网络单个感知器模型与解决问题的能力单层感知器模型与解决问题的能力单层感知器的学习算法单层感知器的局限性问

2、题多层感知器的设计方法单层感知器的MATLAB设计与实现,2006-4-28,北京科技大学 信息学院 付冬梅,4,课程安排与要求,第四章：ADALINE人工神经网络ADALINE神经元网络模型和结构单个自适应线性神经元的学习方法单层自适应线性神经元的学习方法MATLAB程序仿真关于自适应线性神经元的几点说明,2006-4-28,北京科技大学 信息学院 付冬梅,5,课程安排与要求,第五章：BP人工神经网络BP人工神经网络模型与结构BP学习算法BP网络的局限性问题BP网络的应用要点BP算法的MATLAB实现与应用实例改进的BP算法,2006-4-28,北京科技大学 信息学院 付冬梅,6,课程安排与

3、要求,第六章：RBF人工神经网络RBF人工神经网络模型与工作原理RBF的生理学基础RBF的学习算法RBF的MATLAB实现与应用实例RBF的特点及其它问题,2006-4-28,北京科技大学 信息学院 付冬梅,7,课程安排与要求,第七章：Hopfield人工神经网络离散Hopfield网络模型与运行方式离散Hopfield网络的稳定性离散Hopfield网络的设计问题离散Hopfield网络的联想存储连续Hopfield网络模型与运行方式连续Hopfield网络的稳定性,2006-4-28,北京科技大学 信息学院 付冬梅,8,课程安排与要求,第八章：CAMA人工神经网络CMAC网络的基本思想与结

4、构模型 CMAC网络的工作原理CMAC算法的程序语言描述 CMAC网络的泛化能力 CMAC网络的几个问题仿真示例,2006-4-28,北京科技大学 信息学院 付冬梅,9,课程安排与要求,第九章：Elmen人工神经网络概述Elman神经网络结构Elman神经网络学习算法Elman网络的MATLAB函数与实现仿真示例,2006-4-28,北京科技大学 信息学院 付冬梅,10,课程安排与要求,第十章：SOFM人工神经网络SOFM网络的思想来源SOFM网络的结构模型 SOFM神经元的基本功能函数SOFM的基本学习算法仿真实例 几点注意事项,2006-4-28,北京科技大学 信息学院 付冬梅,11,课程

5、安排与要求,第十一章：PID人工神经网络绪论 PID神经网络模型、结构和特点PID神经网络的正向计算PID神经网络的反传计算PID神经网络连接权重初值的选取和等价系统 PID神经元网络控制系统,2006-4-28,北京科技大学 信息学院 付冬梅,12,课程安排与要求,第十二章：模糊人工神经网络,模糊神经网络的提出模糊逻辑系统的组成与分类模糊逻辑系统的万能逼近理论Takagi-Sugeno型模糊神经网络模糊神经网络模糊神经网络在控制中的应用几点注意事项,2006-4-28,北京科技大学 信息学院 付冬梅,13,课程安排与要求,课程以讲解为主，希望学生课下也能够做一些仿真验证性的工作。 希望能够保

6、证听课率，做好课堂笔记。,2006-4-28,北京科技大学 信息学院 付冬梅,14,第一章：概论,人工神经网络(Artificial Neural Networks， 简记作ANN）， 人工神经网络是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。,2006-4-28,北京科技大学 信息学院 付冬梅,15,1.1 人工神经网络的发展历史,第一章：概论,萌芽期（20世纪40年代）人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。1943年，心理学家McCulloch和数学家Pit

7、ts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊Bulletin of Methematical Biophysics1949年，心理学家D. O. Hebb提出神经元之间突触联系是可变的假说Hebb学习律。,2006-4-28,北京科技大学 信息学院 付冬梅,16,第一章：概论,第一高潮期（19501968）以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单级感知器（Perceptron）。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点

8、。,1.1 人工神经网络的发展历史,2006-4-28,北京科技大学 信息学院 付冬梅,17,反思期（19691982） M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 异或”运算不可表示 二十世纪70年代和80年代早期的研究结果 认识规律：认识实践再认识,第一章：概论,1.1 人工神经网络的发展历史,2006-4-28,北京科技大学 信息学院 付冬梅,18,第一章：概论,第二高潮期（19831990）1982年，J. Hopfield提出循环网络用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据阐明了ANN与动力学

9、的关系用非线性动力学的方法来研究ANN的特性指出信息被存放在网络中神经元的联接上,1.1 人工神经网络的发展历史,2006-4-28,北京科技大学 信息学院 付冬梅,19,2）1984年， J. Hopfield设计研制了后来被人们称为Hopfield网的电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。,第一章：概论,1.1 人工神经网络的发展历史,2006-4-28,北京科

10、技大学 信息学院 付冬梅,20,第一章：概论,4）1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年）国内首届神经网络大会是1990年12月在北京举行的。,1.1 人工神经网络的发展历史,2006-4-28,北京科技大学 信息学院 付冬梅,21,第一章：概论,再认识与应用研究期（1991）问题： 1)应用面还不够宽；2)结果不够精确；3)存在可信度的问题 。研究： 1）开发现有模型的应用，在应用中对模型、算法加以改造，提高网络的训练速度和准确度。 2）希望在理论上寻找新的

11、突破，建立新的专用/通用模型和算法。 3）深入研究生物神经系统，丰富对人脑的认识。,1.1 人工神经网络的发展历史,2006-4-28,北京科技大学 信息学院 付冬梅,22,神经网络控制待解决的问题 1.神经网络的稳定性与收敛性问题。 2.神经网络的研究，在逼近非线性函数问题 上，现在的理论，只解决了存在性问题。 3.神经网络的学习速度一般都比较慢，为满 足实时控制的需要，必需予以解决。 4.神经网络控制系统，稳定性、收敛性的分 析难度大。,第一章：概论,2006-4-28,北京科技大学 信息学院 付冬梅,23,几种不同的定义 1）HechtNielsen（1988年） 人工神经网络是一个并行

12、、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元(PEProcessing Element)具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的,第一章：概论,1.2 人工神经网络的定义、功能和应用,2006-4-28,北京科技大学 信息学院 付冬梅,24,1）HechtNielsen（1988年）（续） 信号，信号的大小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖

13、于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。,第一章：概论,1.2 人工神经网络的定义、功能和应用,2006-4-28,北京科技大学 信息学院 付冬梅,25,HechtNielsen定义主要强调了： 并行、分布处理结构； 一个处理单元的输出可以被任意分枝，且 大小不变； 输出信号可以是任意的数学模型； 处理单元完全的局部操作,第一章：概论,1.2 人工神经网络的定义、功能和应用,2006-4-28,北京科技大学 信息学院 付冬梅,26,2） Rumellhart，McClelland，Hinton的PDP 一组处理单元（PE或AN）；处理单元的激活状态（ai

14、）；每个处理单元的输出函数（fi）；处理单元之间的联接模式；传递规则（wijoi）；把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）；通过经验修改联接强度的学习规则；系统运行的环境（样本集合）。,第一章：概论,1.2 人工神经网络的定义、功能和应用,2006-4-28,北京科技大学 信息学院 付冬梅,27,3） Simpson（1987年） 人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。,第一章：概论,1.2 人工神经网络的定义、功能和应用,2006-4-28,北京科技大学 信息学院 付冬梅,28,人工神经

15、网络对生物神经网络模拟时的几个关键点1）信息的分布表示；2）运算的全局并行与局部操作；3）处理的非线性特征。人工神经网络对大脑基本特征的模拟1）形式上：神经元及其联接；2）表现特征：信息的存储与处理。,第一章：概论,1.2 人工神经网络的定义、功能和应用,2006-4-28,北京科技大学 信息学院 付冬梅,29,人工神经网络有吸引力的特征1）能逼近任意L2上的非线性函数；2）信息的并行分布式处理与存储；3）可以多输入、多输出；4）可硬件电路实现，或用现有的计算机技术实现；5）能进行学习，以适应环境的变化。 决定网络整体性能的三大要素1）神经元（信息处理单元）的特性；2）神经元间相互联接的形式拓

16、扑结构；3）为适应环境而改善性能的学习规则。,第一章：概论,1.2 人工神经网络的定义、特点和应用,2006-4-28,北京科技大学 信息学院 付冬梅,30,目前人工神经网络擅长两个方面：对大量的数据进行分类，并且只有较少的几种情况；必须学习一个复杂的非线性映射。目前人工神经网络的主要应用领域：人们主要将其用于语音、图像、视觉、知识处理、辅助决策等方面。在数据压缩、模式匹配、系统建模、控制、求组合优化问题的最佳解的近似解（不是最佳近似解）等方面也有好的应用。,第一章：概论,1.2 人工神经网络的定义、功能和应用,2006-4-28,北京科技大学 信息学院 付冬梅,31,第一章：概论,参考文献

17、1、http:/www.emsl.pnl.gov:2080/ proj/neuron/neural/ 2、http:/ multimedia/002/00203.asp?=多媒体神经生理学 3、http:/ /biology2002 4、MATLAB Neural Network Blockset,2006-4-28,北京科技大学 信息学院 付冬梅,32,参考文献 5、张青贵编著. 人工神经网络导论. 中国水电出版社. 2004.106、Mertin T.Hagan 神经网络设计(中译本). 机械工业出版社. 2002.9模型及其应用8、徐丽娜. 神经网络控制. 电子工业出版社. 20049、

18、丛爽编著. 面向MATLAB工具箱的神经网络理论.合肥：中国科技大学出版社 .2004 10、蒋宗礼. 神经网络导论. 高教出版社. 2002,第一章：概论,从生物神经网络到人工神经网络,人工神经元 模拟生物神经元,2006-4-28,北京科技大学 信息学院 付冬梅,35,生物神经元,2006-4-28,北京科技大学 信息学院 付冬梅,36,生物神经元 人工神经元,2006-4-28,北京科技大学 信息学院 付冬梅,37,生物神经元 人工神经元,2006-4-28,北京科技大学 信息学院 付冬梅,38,生物神经元信息处理单元,信息输入,2006-4-28,北京科技大学 信息学院 付冬梅,39,

19、生物神经元信息处理单元,信息传播与处理,2006-4-28,北京科技大学 信息学院 付冬梅,40,生物神经元信息处理单元,信息传播与处理（整合）,2006-4-28,北京科技大学 信息学院 付冬梅,41,生物神经元信息处理单元,信息传播与处理：兴奋或抑制,2006-4-28,北京科技大学 信息学院 付冬梅,42,生物神经元信息处理单元,信息输出,2006-4-28,北京科技大学 信息学院 付冬梅,43,生物神经元信息处理单元,2006-4-28,北京科技大学 信息学院 付冬梅,44,生物神经元信息处理单元,2006-4-28,北京科技大学 信息学院 付冬梅,45,生物神经元信息处理单元,200

20、6-4-28,北京科技大学 信息学院 付冬梅,46,生物神经元信息处理单元,2006-4-28,北京科技大学 信息学院 付冬梅,47,生物神经元信息处理单元,2006-4-28,北京科技大学 信息学院 付冬梅,48,生物神经元信息处理单元,2006-4-28,北京科技大学 信息学院 付冬梅,49,人工神经元信息处理单元,2006-4-28,北京科技大学 信息学院 付冬梅,50,人工神经元信息处理单元,信息输入,2006-4-28,北京科技大学 信息学院 付冬梅,51,信息输入,人工神经元信息处理单元,2006-4-28,北京科技大学 信息学院 付冬梅,52,信息传播与处理：积与和,人工神经元信

21、息处理单元,2006-4-28,北京科技大学 信息学院 付冬梅,53,人工神经元信息处理单元,信息传播,2006-4-28,北京科技大学 信息学院 付冬梅,54,人工神经元信息处理单元,信息传播与处理: 非线性,2006-4-28,北京科技大学 信息学院 付冬梅,55,人工神经元信息处理单元,信息输出,2006-4-28,北京科技大学 信息学院 付冬梅,56,人工神经元信息处理单元,2006-4-28,北京科技大学 信息学院 付冬梅,57,人工神经信息处理单元,2006-4-28,北京科技大学 信息学院 付冬梅,58,人工神经元信息输入输出,2006-4-28,北京科技大学 信息学院 付冬梅,

22、59,人工神经元信息输入输出,2006-4-28,北京科技大学 信息学院 付冬梅,60,人工神经元信息输入输出,2006-4-28,北京科技大学 信息学院 付冬梅,61,人工神经元信息输入输出,人工神经网络模拟生物神经网络,2006-4-28,北京科技大学 信息学院 付冬梅,63,生物神经网络,2006-4-28,北京科技大学 信息学院 付冬梅,64,生物神经网络,2006-4-28,北京科技大学 信息学院 付冬梅,65,生物神经网络,2006-4-28,北京科技大学 信息学院 付冬梅,66,生物神经网络 人工神经网络,2006-4-28,北京科技大学 信息学院 付冬梅,67,生物神经网络 人

23、工神经网络,2006-4-28,北京科技大学 信息学院 付冬梅,68,生物神经网络 人工神经网络,2006-4-28,北京科技大学 信息学院 付冬梅,69,生物神经网络 人工神经网络,2006-4-28,北京科技大学 信息学院 付冬梅,70,生物神经网络 人工神经网络,2006-4-28,北京科技大学 信息学院 付冬梅,71,生物神经网络 人工神经网络,2006-4-28,北京科技大学 信息学院 付冬梅,72,生物神经网络 人工神经网络,2006-4-28,北京科技大学 信息学院 付冬梅,73,生物神经网络 人工神经网络,2006-4-28,北京科技大学 信息学院 付冬梅,74,生物神经网络 人工神经网络,2006-4-28,北京科技大学 信息学院 付冬梅,75,生物神经系统(部分),2006-4-28,北京科技大学 信息学院 付冬梅,76,本章结束，谢谢同学们！,