2022年BP神经网络的基本原理+很清楚.docx

《2022年BP神经网络的基本原理+很清楚.docx》由会员分享，可在线阅读，更多相关《2022年BP神经网络的基本原理+很清楚.docx（22页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、名师归纳总结 精品学习资料 - - - - - - - - - - - - - - -5.4 BP 神经网络的基本原理BP（Back Propagation ）网络是 1986 年由 Rinehart 和McClelland 为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一； BP网络能学习和存贮大量的输入- 输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程；它的学习规章是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小；BP神经网和输出层 output layer（如络模型拓扑结构包括输入层（input

2、 ）、隐层 hide layer图 5.2 所示）；5.4.1 BP 神经元图 5.3 给出了第 j 个基本 BP神经元（节点）,它只仿照了生物神经元所具有的三个最基本也是最重要的功能：加权、求和与转移；其中x1、x2 xi x n 分别代表来自神经元1、2 i n 的输入； wj1 、wj2 wji wjn 就分别表示神经元 1、2 i n 与第 j 个神经元的连接强度,即权值； bj 为阈值 ；f 为传递函数； yj 为第 j 个神经元的输出；第 j 个神经元的净输入值 为：（5.12 ）其中：如视,即令及包括及,就 第 1 页,共 13 页 细心整理归纳 精选学习资料 - - - - -

3、 - - - - - - - - - - - - - - - - - - - 名师归纳总结 精品学习资料 - - - - - - - - - - - - - - -于是节点 j 的净输入 可表示为：（5.13 ）出净输入通过传递函数（ Transfer Function）f 后,便得到第 j 个神经元的输:（5.14 ）式中 f 是单调上升函数,而且必需是有界函数,由于细胞传递的信号不行能无限增加,必有一最大值；5.4.2 BP 网络BP算法由数据流的前向运算（正向传播）和误差信号的反向传播两个过程构成；正向传播 时,传播方向为输入层隐层输出层,每层神经元的状态只影响下一层神经元；如在输出层得

4、不到期望的输出,就转向误差信号的反向传播流程；通过这两个过程的交替进行,在权向量空间执行误差函数梯度下降策略,动态迭代搜寻一组权向量,使网络误差函数达到最小值,从而完成信息提取和记忆过程；5.4.2.1 正向传播q 个节点,输出层有m个节点,输入层与隐层之设 BP 网络的输入层有 n 个节点,隐层有间的权值为,隐层与输出层之间的权值为,如图 5.4 所示；隐层的传递函数为f 1 ,输出层的传递函数为f 2 ,就隐层节点的输出为（将阈值写入求和项中）：细心整理归纳 精选学习资料 - - - - - - - - - - - - - - - 第 2 页,共 13 页 - - - - - - - -

5、- 名师归纳总结 精品学习资料 - - - - - - - - - - - - - - - k=1,2, q （5.15 ）输出层节点的输出为： j=1,2, m （5.16 ）至此 B-P 网络就完成了 n 维空间向量对 m维空间的近似映射；5.4.2.2 反向传播来表示；第个样本输入到网络后得到输出1定义误差函数输入个学习样本,用（j=1,2, m）；采纳平方型误差函数,于是得到第式中：为期望输出；对于 个样本,全局误差为：2）输出层权值的变化p 个样本的误差 Ep：采纳累计误差 BP算法调整,使全局误差变小, 即（5.19 ）式中：学习率定义误差信号 为：细心整理归纳 精选学习资料 -

6、- - - - - - - - - - - - - - 第 3 页,共 13 页 - - - - - - - - - 名师归纳总结 精品学习资料 - - - - - - - - - - - - - - -（5.20 ）其中第一项：（5.21 ）其次项：（5.22 ）是输出层传递函数的偏微分；于是：（5.23 ）由链定理得：（5.24 ）于是输出层各神经元的权值调整公式为：（5.25 ）3）隐层权值的变化（5.26 ）定义误差信号为：（5.27 ）细心整理归纳 精选学习资料 - - - - - - - - - - - - - - - 第 4 页,共 13 页 - - - - - - - - -

7、名师归纳总结 精品学习资料 - - - - - - - - - - - - - - -其中第一项：（5.28 ）依链定理有：（5.29 ）其次项：（5.30 ）是隐层传递函数的偏微分；于是：（5.31 ）由链定理得：（5.32 ）从而得到隐层各神经元的权值调整公式为：（5.33 ）5.4.3 BP 算法的改进BP算法理论具有依据牢靠、推导过程严谨、精度较高、通用性较好等优点,但 标准 BP算 法存在以下缺点：收敛速度缓慢；简洁陷入局部微小值；难以确定隐层数和隐层节点个数；在实际应用中, BP算法很难胜任,因此显现了很多改进算法；1）利用动量法改进 BP算法 第 5 页,共 13 页 - - -

8、 - - - - - - 细心整理归纳 精选学习资料 - - - - - - - - - - - - - - -名师归纳总结 精品学习资料 - - - - - - - - - - - - - - -标准 BP算法实质上是一种简洁的最速下降静态寻优方法,在修 正 WK时,只依据第 K步的负梯度方向进行修正 ,而没有考虑 到以前积存的体会,即以前时刻的梯度方向,从而经常使学习 过程发生振荡,收敛缓慢；动量法权值调整算法的详细做法是：将上一次权值调整量的一部分迭加到按本次误差运算所得的权 值调整量上,作为本次的实际权值调整量,即：（5.34 ）其中：为动量系数,通常0 0.9 ； 学习率,范畴在 0

9、.001 10 之间；这种方法所加的动量因子实际上相当于阻尼项,它减小了学习过程中的振荡趋势,从而改善了收 敛性；动量法降低了网络对于误差曲面局部细节的敏锐性,有效的抑制了网络陷入局部极 小；2）自适应调整学习速率标准 BP算法收敛速度缓慢的一个重要缘由是学习率挑选不当,学习率选得太小,收敛太 慢；学习率选得太大,就有可能修正过头,导致振荡甚至发散；可采纳图 5.5 所示的自适 应方法调整学习率；调整的基本指导思想是：在学习收敛的情形下,增大 ,以缩短学习时间；当 偏大致使不能收敛时,要准时减小 ,直到收敛为止；3）动量 - 自适应学习速率调整算法采纳动量法时, BP算法可以找到更优的解；采纳

10、自适应学习速率法时,BP算法可以缩短训练时间；将以上两种方法结合起来,就得到动量 4） L-M 学习规章- 自适应学习速率调整算法；L-M（Levenberg-Marquardt ）算法比前述几种使用梯度下降法的 BP算法要快得多,但对于复杂问题,这种方法需要相当大的储备空间；L-MLevenberg-Marquardt 优化方法的权值调整率选为 :（5.35 ）细心整理归纳 精选学习资料 - - - - - - - - - - - - - - - 第 6 页,共 13 页 - - - - - - - - - 名师归纳总结 精品学习资料 - - - - - - - - - - - - - -

11、-其中： e误差向量； J网络误差对权值导数的雅可比（Jacobian ）矩阵； 标量,当 很大时上式接近于梯度法,当 很小时上式变成了Gauss-Newton法,在这种方法中, 也是自适应调整的；综合考虑,拟采纳 L-M 学习规章和动量法分别作为神经网络的训练函数和学习函数；5.5 BP 神经网络的训练策略及结果本文借助于 MATLAB神经网络工具箱来实现多层前馈BP网络（ Multi-layer feed-forward backpropagation network）的颜色空间转换,免去了很多编写运算机程序的苦恼；神经 网络的实际输出值与输入值以及各权值和阈值有关,为了使实际输出值与网络

12、期望输出值 相吻合,可用含有肯定数量学习样本的样本集和相应期望输出值的集合来训练网络；训练 时仍旧使用本章 5.2 节中所述的实测样本数据；另外,目前尚未找到较好的网络构造方法；确定神经网络的结构和权系数来描述给定的映 射或靠近一个未知的映射,只能通过学习方式得到满意要求的网络模型；神经网络的学习 可以懂得为：对确定的网络结构,查找一组满意要求的权系数,使给定的误差函数最小；设计多层前馈网络时,主要侧重试验、探讨多种模型方案,在试验中改进,直到选取一个 中意方案为止,可按以下步骤进行：对任何实际问题先都只选用一个隐层；使用很少的隐 层节点数；不断增加隐层节点数,直到获得中意性能为止；否就再采纳

13、两个隐层重复上述 过程；训练过程实际上是依据目标值与网络输出值之间误差的大小反复调整权值和阈值,直到此 误差达到预定值为止；5.5.1 确定 BP网络的结构确定了网络层数、每层节点数、传递函数、初始权系数、学习算法等也就确定了 BP网络；确定这些选项时有肯定的指导原就,但更多的是靠体会和试凑；1）隐层数的确定：1998 年 Robert Hecht-Nielson证明白对任何在闭区间内的连续函数,都可以用一个隐层的 BP网络来靠近,因而一个三层的BP网络可以完成任意的n 维到 m维的映射；因此我们从含有一个隐层的网络开头进行训练；2） BP 网络常用传递函数 :细心整理归纳 精选学习资料 -

14、- - - - - - - - - - - - - - 第 7 页,共 13 页 - - - - - - - - - 名师归纳总结 精品学习资料 - - - - - - - - - - - - - - -BP网络的传递函数有多种； Log-sigmoid 型函数的输入值可取任意值,输出值在 0 和 1 之间； tan-sigmod 型传递函数 tansig 的输入值可取任意值,输出值在-1 到+1 之间；线性传递函数 purelin 的输入与输出值可取任意值；BP网络通常有一个或多个隐层,该层中的神经元均采纳 sigmoid 型传递函数,输出层的神经元就采纳线性传递函数,整个网络的输出可以取任

15、意值；各种传递函数如图 5.6 所示；只转变传递函数而其余参数均固定,用本章 5.2 节所述的样本集训练 BP网络时发觉,传递函数使用 tansig 函数时要比 logsig 函数的误差小；于是在以后的训练中隐层传递函数改用 tansig 函数,输出层传递函数仍选用 purelin 函数；3） 每层节点数的确定：使用神经网络的目的是实现摄像机输出RGB颜色空间与 CIE-XYZ色空间转换,因此BP网络的输入层和输出层的节点个数分别为3；下面主要介绍隐层节点数量的确定；对于多层前馈网络来说,隐层节点数的确定是成败的关键；如数量太少,就网络所能猎取 的用以解决问题的信息太少；如数量太多,不仅增加训

16、练时间,更重要的是隐层节点过多仍可能显现所谓 “ 过渡吻合 ” （Overfitting）问题,即测试误差增大导致泛化才能下降,因此合理挑选隐层节点数特别重要；关于 隐层数及其节点数的挑选 比较复杂, 一般原就是：在能正确反映输入输出关系的基础上,应选用较少的隐层节点数,以使网络结构尽量简洁；本论文中采纳网络结构增长型方法,即先设置较少的节点数,对网络进行训练,并测试学 习误差,然后逐步增加节点数,直到学习误差不再有明显削减为止；5.5.2 误差的选取在神经网络训练过程中挑选均方误差 标准 BP算法中,误差定义为：MSE较为合理,缘由如下：细心整理归纳 精选学习资料 - - - - - - -

17、 - - - - - - - - 第 8 页,共 13 页 - - - - - - - - - 名师归纳总结 精品学习资料 - - - - - - - - - - - - - - -（5.36 ）每个样本作用时,都对权矩阵进行了一次修改；由于每次权矩阵的修改都没有考虑权值修改后其它样本作用的输出误差是否也减小,因此将导致迭代次数增加； 累计误差 BP算法的全局误差定义为：（5.37 ）这种算法是为了减小整个训练集的全局误差,而不针对某一特定样本,因此假如作某种修改能使全局误差减小,并不等于说每一个特定样本的误差也都能同时减小；它不能用来比较 P 和 m不同的网络性能；由于对于同一网络来说,大

18、E 也越大； 均方误差 MSE：P越大, E 也越大； P 值相同, m越（5.38 ）其中 :输出节点的个数,训练样本数目,网络期望输出值,网络实际输出值；均方误差克服了上述两种算法的缺点,所以选用均方误差算法较合理；5.5.3 训练结果训练一个单隐层的三层BP网络,依据如下体会公式挑选隐层节点数125 ：（5.39 ）式中： n 为输入节点个数, m为输出节点个数, a 为 1 到 10 之间的常数；针对本论文n1 取 第 9 页,共 13 页 - - - - - - - - - 值范畴为 313；训练结果如表5.1 所示；表 5.1 隐层节点数与误差的关系隐层神经元个数训练误差测试误差3

19、1.256611.127540.7977460.8232细心整理归纳 精选学习资料 - - - - - - - - - - - - - - -名师归纳总结 精品学习资料 - - - - - - - - - - - - - - -50.6318490.727860.5702140.670770.5528730.689580.4451180.657590.3855780.6497100.2596240.4555110.1857490.6644120.1838780.48130.1685870.6671由上表可以看出：增加隐层节点数可以削减训练误差,但超过10 以后测试误差产生波动,即泛化能力发生变

20、化；综合比较隐层节点数为 用 12；10 与 12 的训练误差和测试误差,打算隐层节点数选训练误差和测试误差都很大, 而且收敛速度极慢（训练过程如图5.7 所示）,这个问题可以通过对输出量进行归一化来解决；依据 Sigmoid 型传递函数输入和输出的范畴,对输入变量不进行归一化处理,只对输出变 量进行归一化,这是由于在输出数据要求归一化的同时,对输入数据也进行归一化的话,权值的可说明性就更差了；目标值按下式进行变化：（5.40 ）使目标值落在 0.05 0.95 之间,这样靠近数据变化区间端点的网络输出值就有一波动范 围,网络的性能较好；用新生成的训练样本与测试样本对隐层节点数为 12 的网络

21、进行训 练,得到的训练误差为 9.89028 10-5,测试误差为 1.9899 10-4,达到了预定的目标（训 练过程如图 5.8 所示）；细心整理归纳 精选学习资料 - - - - - - - - - - - - - - - 第 10 页,共 13 页 - - - - - - - - - 名师归纳总结 精品学习资料 - - - - - - - - - - - - - - -5.6 最终训练后的神经网络结构采纳三层 BP网络实现摄像机输出 RGB颜色空间与 CIEXYZ色空间转换,其中隐层含有 12个节点,传递函数采纳 tansig 函数；输出层传递函数选用 purelin 函数；经过测试后

22、结果中意,可以认为该神经网络可以用来实现这个关系映射；网络的结构如图 5.9 所示：细心整理归纳 精选学习资料 第 11 页,共 13 页 - - - - - - - - - - - - - - - - - - - - - - - - 名师归纳总结 精品学习资料 - - - - - - - - - - - - - - -得到的 BP神经网络的权值和阈值为：5.7 本章小结细心整理归纳 精选学习资料 - - - - - - - - - - - - - - - 第 12 页,共 13 页 - - - - - - - - - 名师归纳总结 精品学习资料 - - - - - - - - - - - -

23、 - - -1 定量地分析了用线性关系转换摄像机 RGB空间到 CIE-XYZ空间数据后产生的均方误差,说明 CCD摄像机与标准观看者之间有比较明显的差别,也就是说 RGB与 CIE-XYZ间的转换是非线性的；2采纳 MATLAB 中神经网络工具箱实现多层前馈BP网络的 RGB到 CIEXYZ颜色空间转换,用经过归一化的训练样本与测试样本对隐层节点数为12 的三层网络进行训练,得到的训练误差为 9.89028 10-5,测试误差为 1.9899 10-4,结果说明经过训练的多层前馈 BP网络可以满意 RGB空间向 CIEXYZ颜色空间转换要求,达到了预定目标；3 确定了用于 RGB和 XYZ颜色空间转换的 BP网络结构,并求出了该神经网络的权值和阈值；使用该网络可以定量表达食品颜色,定量比较高压加工食品颜色的变化,可以使食品颜色测定和掌握实现定量化,而不再是主观性很强的模糊描述；细心整理归纳 精选学习资料 - - - - - - - - - - - - - - - 第 13 页,共 13 页 - - - - - - - - -