神经网络精选PPT.ppt

《神经网络精选PPT.ppt》由会员分享，可在线阅读，更多相关《神经网络精选PPT.ppt（46页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、关于神经网络关于神经网络第1页，讲稿共46张，创作于星期二人工神经网络人工神经网络例例 p1981年生物学家格若根（W Grogan）和维什（WWirth）发现了两类蚊子(或飞蠓midges)他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：p翼长 触角长 类别p 1.64 1.38 Afp 1.82 1.38 Afp 1.90 1.38 Afp 1.70 1.40 Afp 1.82 1.48 Afp 1.82 1.54 Afp 2.08 1.56 Afp翼长 触角长 类别p1.78 1.14 Apfp1.96 1.18 Apfp1.86 1.20 Apfp1.72 1.24 Afp2.0

2、0 1.26 Apfp2.00 1.28 Apfp1.96 1.30 Apfp1.74 1.36 Af第2页，讲稿共46张，创作于星期二p问：如果抓到三只新的蚊子，它们的触角长和翼问：如果抓到三只新的蚊子，它们的触角长和翼长分别为长分别为(l.24,1.80);(l.28，1.84)；（；（1.40，2.04）问它们应分别属于哪一个种类？问它们应分别属于哪一个种类？解法一：p把翼长作纵坐标，触角长作横坐标；那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中 6个蚊子属于 APf类；用黑点“”表示；9个蚊子属 Af类；用小圆圈“。”表示p得到的结果见图1 p图1飞蠓的触角长和翼长 第3页，讲稿

3、共46张，创作于星期二p思路：思路：作一直线将两类飞蠓分开作一直线将两类飞蠓分开 p例如；取A（1.44，2.10）和 B(1.10，1.16)，过A B两点作一条直线：y 1.47x -0.017p其中X表示触角长；y表示翼长 p分类规则：设一个蚊子的数据为（x,y）p 如果y1.47x -0.017，则判断蚊子属Apf类；p 如果y1.47x -0.017；则判断蚊子属Af类 第4页，讲稿共46张，创作于星期二p分分类类结结果果：(1.24(1.24，1.80)1.80)，(1.28(1.28，1.84)1.84)属属于于AfAf类类；(1.40(1.40，2.042.04）属于）属于 A

4、pfApf类类第5页，讲稿共46张，创作于星期二缺陷：缺陷：根据什么原则确定分类直线？根据什么原则确定分类直线？p若取A=(1.46,2.10),B=(1.1,1.6)不变，则分类直线变为 y=1.39x+0.071分类结果变为：(1.24,1.80)，(1.40,2.04)属于Apf类；(1.28,1.84)属于Af类 p哪一分类直线才是正确的呢？p因此如何来确定这个判别直线是一个值得研究的问题一般地讲，应该充分利用已知的数据信息来确定判别直线第6页，讲稿共46张，创作于星期二p再如再如，如下的情形已经不能用分类直线的办法：，如下的情形已经不能用分类直线的办法：p新思路：将问题看作一个系统，

5、飞蠓的数据作为输入，飞蠓的类型作为输出，研究输入与输出的关系。第7页，讲稿共46张，创作于星期二BPBP神经网络模型与学习算法神经网络模型与学习算法第8页，讲稿共46张，创作于星期二前馈神经网络模型前馈神经网络模型p三层前向网络三层前向网络第9页，讲稿共46张，创作于星期二p（1 1）是否存在一个）是否存在一个BPBP神经网络能够逼近给定的样本或者函数。神经网络能够逼近给定的样本或者函数。两个基本问题两个基本问题p（2 2）如如何何调调整整BPBP神神经经网网络络的的连连接接权权，使使网网络络的的输输入入与与输输出出与与给给定定的的样样本相同。本相同。p 第10页，讲稿共46张，创作于星期二p

6、RumelhartRumelhart，McClellandMcClelland于于19851985年提出了年提出了BPBP网络的误差反向后网络的误差反向后传传BP(Back Propagation)BP(Back Propagation)学习算法学习算法pBPBP算法基本原理算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。J.McClelland David Rumelhart 第11页，讲稿共46张，创作于星期二BPBP神经网络模型神经网络模型p激活函数激活函数必须处处可导必须处处可导一般都使

7、用一般都使用S S型函数型函数 p使用使用S S型激活函数型激活函数时时BPBP网络输入与输出关系网络输入与输出关系输入输入输出输出第12页，讲稿共46张，创作于星期二BPBP神经网络模型神经网络模型输出的导数根据根据S S型激活函数的图形可知型激活函数的图形可知,对神经网络进行训练，应该将对神经网络进行训练，应该将netnet的值尽量控制在收敛的值尽量控制在收敛比较快的范围内比较快的范围内 第13页，讲稿共46张，创作于星期二BPBP网络的标准学习算法网络的标准学习算法p学习的过程：学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。p学习的

8、本质：学习的本质：对各连接权值的动态调整p学习规则：学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。第14页，讲稿共46张，创作于星期二BPBP网络的标准学习算法网络的标准学习算法-算法思想算法思想p学习的类型：有导师学习学习的类型：有导师学习p核心思想：核心思想：将输出误差以某种形式通过隐层向输入层逐层反传p学习的过程：学习的过程：信号的正向传播 误差的反向传播将误差分摊给各层的所有单元将误差分摊给各层的所有单元各层单元的误差信号各层单元的误差信号修正各单元权值修正各单元权值第15页，讲稿共46张，创作于星期二BPBP网络的标准学习算法网络的标准学习算

9、法-学习过程学习过程p正向传播：正向传播：输入样本输入层各隐层输出层p判断是否转入反向传播阶段：判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符p误差反传误差反传误差以某种形式在各层表示修正各层单元的权值p网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止进行到预先设定的学习次数为止第16页，讲稿共46张，创作于星期二BPBP网络的标网络的标准学习算法准学习算法 p网络结构网络结构输入层有n个神经元，隐含层有p个神经元,输出层有q个神经元p变量定义变量定义输入向量;隐含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;

10、期望输出向量;第17页，讲稿共46张，创作于星期二BPBP网络的标准网络的标准学习算法学习算法输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：第18页，讲稿共46张，创作于星期二BPBP网络的标准学习算法网络的标准学习算法p第一步，网络初始化第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。p第二步第二步,随机选取第随机选取第 个输入样本及对应个输入样本及对应期望输出期望输出 第19页，讲稿共46张，创作于星期二BPBP网络的标准学习算法网络的

11、标准学习算法p第三步，计算隐含层各神经元的输入和第三步，计算隐含层各神经元的输入和输出输出第20页，讲稿共46张，创作于星期二BPBP网络的标准学习算法网络的标准学习算法p第四步，利用网络期望输出和实际输出，第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导计算误差函数对输出层的各神经元的偏导数数 。第21页，讲稿共46张，创作于星期二BPBP网络的标准学习算法网络的标准学习算法p第五步，利用隐含层到输出层的连接权值、第五步，利用隐含层到输出层的连接权值、输出层的输出层的 和隐含层的输出计算误差函数和隐含层的输出计算误差函数对隐含层各神经元的偏导数对隐含层各神经元的偏导数

12、 。第22页，讲稿共46张，创作于星期二BPBP网络的标准学习算法网络的标准学习算法第23页，讲稿共46张，创作于星期二BPBP网络的标准学习算法网络的标准学习算法p第六步，利用输出层各神经元的第六步，利用输出层各神经元的 和和隐含层各神经元的输出来修正连接权值隐含层各神经元的输出来修正连接权值 。第24页，讲稿共46张，创作于星期二BPBP网络的标准学习算法网络的标准学习算法p第七步，利用隐含层各神经元的第七步，利用隐含层各神经元的 和和输入层各神经元的输入修正连接权。输入层各神经元的输入修正连接权。第25页，讲稿共46张，创作于星期二BPBP网络的标准学习算法网络的标准学习算法p第八步，计

13、算全局误差第八步，计算全局误差p第九步，判断网络误差是否满足要求。当误差达到第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。出，返回到第三步，进入下一轮学习。第26页，讲稿共46张，创作于星期二BPBP网络的标准学习算法网络的标准学习算法pBPBP算法直观解释算法直观解释情况一直观表达 当误差对权值的偏当误差对权值的偏导数大于零时，权值导数大于零时，权值调整量为负，实际输调整量为负，实际输出

14、大于期望输出，出大于期望输出，权值向减少方向调整，权值向减少方向调整，使得实际输出与期望使得实际输出与期望输出的差减少。输出的差减少。whoe0，此时，此时who0第27页，讲稿共46张，创作于星期二BPBP网络的标准学习算法网络的标准学习算法pBPBP算法直观解释算法直观解释情况二直观表达当误差对权值的偏导数当误差对权值的偏导数小于零时，权值调整量小于零时，权值调整量为正，实际输出少于期为正，实际输出少于期望输出，权值向增大方向望输出，权值向增大方向调整，使得实际输出与期调整，使得实际输出与期望输出的差减少。望输出的差减少。e0who第28页，讲稿共46张，创作于星期二（1 1）隐层数及隐层

15、神经元数的确定：目前尚无理论指导。隐层数及隐层神经元数的确定：目前尚无理论指导。（2 2）初始权值的设置：一般以一个均值为）初始权值的设置：一般以一个均值为0 0的随机分布设置网的随机分布设置网络的初始权值。络的初始权值。（3 3）训训练练数数据据预预处处理理：线线性性的的特特征征比比例例变变换换，将将所所有有的的特特征征变变换换到到00，11或或者者-1-1，11区区间间内内，使使得得在在每每个个训训练练集集上上，每个特征的均值为每个特征的均值为0 0，并且具有相同的方差。，并且具有相同的方差。（4 4）后后处处理理过过程程：当当应应用用神神经经网网络络进进行行分分类类操操作作时时，通通常常

16、将将输输出值编码成所谓的名义变量，具体的值对应类别标号。出值编码成所谓的名义变量，具体的值对应类别标号。p BP BP算法的设计算法的设计 第29页，讲稿共46张，创作于星期二第30页，讲稿共46张，创作于星期二第31页，讲稿共46张，创作于星期二第32页，讲稿共46张，创作于星期二33BP神经网络在模式识别中的应用 模式识别研究用计算机模拟生物、人的感知，对模模式识别研究用计算机模拟生物、人的感知，对模式信息，如图像、语音等，进行识别和分类。式信息，如图像、语音等，进行识别和分类。传统人工智能的研究部分地显示了人脑的归纳、推传统人工智能的研究部分地显示了人脑的归纳、推理等智能。但是，对于人类

17、底层的智能，如视觉、听觉、理等智能。但是，对于人类底层的智能，如视觉、听觉、触觉等方面，现代计算机系统的信息处理能力还不如一触觉等方面，现代计算机系统的信息处理能力还不如一个幼儿园的孩子。个幼儿园的孩子。神经网络模型模拟了人脑神经系统的特点：处理单神经网络模型模拟了人脑神经系统的特点：处理单元的广泛连接；并行分布式信息储存、处理；自适应学元的广泛连接；并行分布式信息储存、处理；自适应学习能力等。习能力等。神经网络模式识别方法具有较强的容错能力、自适应神经网络模式识别方法具有较强的容错能力、自适应学习能力、并行信息处理能力。学习能力、并行信息处理能力。第33页，讲稿共46张，创作于星期二34BP

18、神经网络在模式识别中的应用神经网络在模式识别中的应用例例 设计一个三层设计一个三层BP网络对数字网络对数字0至至9进行分类。进行分类。每每个个数数字字用用9 7的的网网格格表表示示，灰灰色色像像素素代代表表0，黑黑色色像像素素代代表表1。将将每每个个网网格格表表示示为为0，1的的长长位位串串。位位映映射射由由左左上上角角开开始始向向下下直直到网格的整个一列，然后重复其他列。到网格的整个一列，然后重复其他列。选选择择BP网网络络结结构构为为63-6-9。97个个输输入入结结点点，对对应应上上述述网网格格的映射。的映射。9个输出结点对应个输出结点对应10种分类。种分类。使使用用的的学学习习步步长长

19、为为0.3。训训练练600个个周周期期，如如果果输输出出结结点点的的值值大大于于0.9，则则取取为为ON，如如果果输输出出结结点点的的值值小小于于0.1，则则取取为为OFF。第34页，讲稿共46张，创作于星期二35 测试结果表明：除了测试结果表明：除了8以外，所有被测的数字都能够被正确地以外，所有被测的数字都能够被正确地识别。识别。对于数字对于数字8，神经网络的第，神经网络的第6个结点的输出值为个结点的输出值为0.53，第，第8个结点的输个结点的输出值为出值为0.41，表明第，表明第8个样本是模糊的，可能是数字个样本是模糊的，可能是数字6，也可能是，也可能是数字数字8，但也不完全确信是两者之一

20、。，但也不完全确信是两者之一。BP神经网络在模式识别中的应用神经网络在模式识别中的应用当训练成功后，对如当训练成功后，对如图所示测试数据进行图所示测试数据进行测试。测试数据都有测试。测试数据都有一个或者多个位丢失。一个或者多个位丢失。第35页，讲稿共46张，创作于星期二BPBP神经网络的特点神经网络的特点p非线性映射能力非线性映射能力能学习和存贮大量输入能学习和存贮大量输入-输出模式映射关系，而无需事先了解输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由供网络进行学习

21、训练，它便能完成由n n维输入空间到维输入空间到m m维输出空间维输出空间的非线性映射。的非线性映射。p泛化能力泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。化能力。(overfiting,(overfiting,书呆子现象书呆子现象)p容错能力容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。影响很小。第36页，讲稿共46张，创作于星期二BPBP

22、神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现 pMATLABMATLAB中中BPBP神经网络的重要函数和基本神经网络的重要函数和基本功能功能 函函 数数 名名功功 能能newff()生成一个前生成一个前馈馈BP网网络络tansig()双曲正切双曲正切S型型(Tan-Sigmoid)传输传输函数函数logsig()对对数数S型型(Log-Sigmoid)传输传输函数函数traingd()梯度下降梯度下降BP训练训练函数函数第37页，讲稿共46张，创作于星期二BPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现pMATLABMATLAB中中BPBP神

23、经网络的重要函数和基本功能神经网络的重要函数和基本功能newff()功能功能 建立一个前向建立一个前向BPBP网络网络格式格式 net=newff(PRnet=newff(PR，S1 S2.SN1S1 S2.SN1，TF1 TF1 TF2.TFN1TF2.TFN1，BTFBTF，BLFBLF，PF)PF)说明说明 netnet为创建的新为创建的新BPBP神经网络；神经网络；PRPR为网络输入为网络输入取向量取值范围的矩阵；取向量取值范围的矩阵；S1 S2S1 S2SNlSNl表示网络隐表示网络隐含层和输出层神经元的个数；含层和输出层神经元的个数；TFl TF2TFl TF2TFN1TFN1表表

24、示网络隐含层和输出层的传输函数，默认为示网络隐含层和输出层的传输函数，默认为tansigtansig；BTFBTF表示网络的训练函数，默认为表示网络的训练函数，默认为trainlmtrainlm；BLFBLF表示网络的权值学习函数，默认表示网络的权值学习函数，默认为为learngdmlearngdm；PFPF表示性能数，默认为表示性能数，默认为msemse。第38页，讲稿共46张，创作于星期二BPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现pMATLABMATLAB中中BPBP神经网络的重要函数和基本功能神经网络的重要函数和基本功能tansig()功能功能 正切正切

25、sigmoidsigmoid激活函数激活函数格式格式 a=tansig(n)a=tansig(n)说明说明 双曲正切双曲正切SigmoidSigmoid函数把神经元的输入范围从函数把神经元的输入范围从(-(-，+)+)映射到映射到(-1(-1，1)1)。它是可导函数，适用于。它是可导函数，适用于BPBP训练的神经元。训练的神经元。logsig()功能功能 对数对数SigmoidSigmoid激活函数激活函数格式格式 a=logsig(N)a=logsig(N)说明对数说明对数SigmoidSigmoid函数把神经元的输入范围从函数把神经元的输入范围从(-(-，+)+)映射到映射到(0(0，1)

26、1)。它是可导函数，适用于它是可导函数，适用于BPBP训练的神经元。训练的神经元。第39页，讲稿共46张，创作于星期二BPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现p例例2-32-3，下表为某药品的销售情况，现构建一个如下的三层，下表为某药品的销售情况，现构建一个如下的三层BPBP神经网络对药品神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为的销售进行预测：输入层有三个结点，隐含层结点数为5 5，隐含层的激活，隐含层的激活函数为函数为tansigtansig；输出层结点数为；输出层结点数为1 1个，输出层的激活函数为个，输出层的激活函数为logsig

27、logsig，并利用此，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用售量来预测第四个月的销售量，如用1 1、2 2、3 3月的销售量为输入预测第月的销售量为输入预测第4 4个月的个月的销售量，用销售量，用2 2、3 3、4 4月的销售量为输入预测第月的销售量为输入预测第5 5个月的销售量个月的销售量.如此反复直如此反复直至满足预测精度要求为止。至满足预测精度要求为止。月份月份123456销销量量205623952600229816341600月份月份78910

28、1112销销量量187314781900150020461556第40页，讲稿共46张，创作于星期二BPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现%以每三个月的销售量经归一化处理后作为输入pP=0.5152P=0.51520.81730.81731.0000;1.0000;0.8173 0.81731.00001.00000.7308;0.7308;1.0000 1.0000 0.73080.73080.1390;0.1390;0.7308 0.73080.13900.13900.1087;0.1087;0.1390 0.13900.10870.10870.352

29、0;0.3520;0.1087 0.1087 0.35200.35200.0000;0.0000;%以第四个月的销售量归一化处理后作为目标向量pT=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;%创建一个BP神经网络，每一个输入向量的取值范围为0,1，隐含层有5个神经%元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即2.3.2节中所描述的标准学习算法pnet=newff(0 1;0 1;0 1,5,1,

30、tansig,logsig,traingd);net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);pnet.trainParam.epochs=15000;net.trainParam.epochs=15000;pnet.trainParam.goal=0.01;net.trainParam.goal=0.01;%设置学习速率为0.1pLP.lr=0.1;LP.lr=0.1;pnet=train(net,P,T);net=train(net,P,T);第41页，讲稿共46张，创作于星期二第42页，讲稿共46张，创作于星期二第43页，讲稿共46张，创

31、作于星期二BPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现p由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加运行步数和提高预设误差精度业进一步缩小运行步数和提高预设误差精度业进一步缩小第44页，讲稿共46张，创作于星期二小结小结pBPBP算法背景算法背景pBPBP神经网络模型神经网络模型pBPBP算法算法基本思想推导过程实现pBPBP神经网络的神经网络的MATLABMATLAB函数函数pBPBP神经网络的应用实例神经网络的应用实例pBPBP神经网络与感知器神经网络的对比神经网络与感知器神经网络的对比第45页，讲稿共46张，创作于星期二感感谢谢大大家家观观看看第46页，讲稿共46张，创作于星期二