小波神经网络概述.ppt

《小波神经网络概述.ppt》由会员分享，可在线阅读，更多相关《小波神经网络概述.ppt（32页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、小波神经网络简介,什么是小波神经网络？,小波神经网络（Wavelet Neural Network, WNN） Zhang Qinghua等1992年正式提出小波神经网络的概念 小波变换：一种数学分析的工具 小波变换+人工神经网络=小波神经网络,小波网络的结构形式,小波变换与神经网络的结合 小波变换与神经网络的结合，也称松散型结合 应用举例:基于小波分析的多RBF神经网络轧制力设定模型 由于轧制力信号影响因素多，关联复杂，难以建立精确 的机理模型，所以应用小波多分辨率方法，将原信号 分解重构成不同影响因素的子信号。,小波变换与神经网络的融合 小波变换与神经网络的融合，也称紧致型结合,小波的发展

2、过程,小波变换的发展的历史过程 Fourier变换 Gobor变换(加窗Fourier变换) 小波变换,小波变换的时间窗和频率窗 给出了信号在时间窗 内的局部信息 给出了信号在频率窗 内的局部信息 时频窗的面积始终不变， 对于检测 高频信号时a 自适应变为(a0，a较小的时候)使时间窗变窄，对于检测 低频信号时使时间窗变宽即可，这样可以更有效的获取 局部信息,小波的数学概念,小波母函数 (t)： 必须满足容许条件： 连续小波： 由小波母函数平移和伸缩变换得来的函数 其中a是尺度参数，b是平移参数 小波变换：对于 ，称 为信号f(t)的连续小波变换,母小波(t)选择应满足的两个条件 (1)定义域

3、是紧支撑的(Compact Support) 即在一个很小的区间以外，函数为零，换句话说，函数 由速降特性，以便获得空间局域化； (2)平均值为零，也就是,Haar小波Mexican HatMeyer小波,Sym6 小波db6小波,常用的小波函数,离散小波、二进小波和多尺度分析,离散小波：对定义的小波函数的尺度参数a，平移参数b，按如下规律进行离散采样 二进小波：即取a为离散值，a为2的j次方，j Z； b任然取连续的值,多分辨率分析：多分辨率分析(Multi-resolutionAnalysis)又称多尺度分析，其在小波分析中占有非常重要的地位，它是建立在函数空间概念上的理论,它重点在于处理

4、整个函数集，而非侧重处理作为个体的函数。多分辨率分析从函数空间的角度将一个函数表示为一个低频成分和不同分辨率下的多个高频成分。更为重要的是，多分辨率分析不仅提供了构造小波的统一框架，而且提供了函数分解与重构的快速算法,执行离散小波变换的有效方法是使用滤波器。该方法是Mallat在 1988年开发的，叫做Mallat算法，也叫金字塔算法。这种方法实际上是一种信号的分解方法，在数字信号处理过程中称为双通道子带编码 算法描述：把信号通过滤波器分成高频部分和低频部分，低频部分继续分解，迭代上述过程。形成的树叫小波分解树。,小波网络的具体分类 (1) 用小波函数直接代替隐层函数 根据所选取的小波基函数的

5、连续性的不同，可以将该模型分为连续参数的小波神经网络和基于小波框架的小波神经网络两种： 连续参数的小波神经网络 基于小波框架的小波神经网络,基于小波框架的小波神经网络的学习方法 在传统的神经网络中，存在隐层单元数目难以确定的不足，而小波神经网络的隐层单元数目则可以 按如下方法自适应地确定： 首先取小波神经网络的隐层单元数目M为1，学习迭代若干次后，如满足误差条件，则停止迭带，若达到最大学习次数后，仍不满足误差条件，则小波变换单元数目增加1，重复上述过程，直到满足误差条件为止。这样就可以根据具体的问题自适应地确定小波变化单元个数，从而克服传统神经网络的不足。,基于多分辨率分析理论的小波神经网络

6、基于多分辨率分析小波神经网络的学习算法是由Moody 于1989年提出的, 该算法给出了网络输出在不同尺度上逼近的递推方法, 具体描述为: 网络模型：,基于多分辨率分析小波神经网络的学习方法 先选取合适的尺度函数和小波函数, 同时在最粗的尺度M 上训练 节点, 直到网络达到收敛; 要使网络达到收敛, 则要确定逼近误差和增加适当个数的 节点以减小逼近误差; 最后是优化网络, 使用新的样本来检验网络并移去权重小的 节点直到满足性能指标。,小波神经网络的优点 (1)小波变换通过尺度伸缩和平移对信号进行多尺度分析，能有效提取信号的局部信息 (2)神经网络具有自学习、自适应和容错性等特点，并且是一类通用

7、函数逼近器。 (3)小波神经网络的基元和整个结构是依据小波分析理论确定的，可以避免BP神经网络等结构设计上的盲目性 (4)小波神经网络有更强的学习能力，精度更高对同样的学习任务，小波神经网络结构更简单，收敛速度更快,小波神经网络的缺点 (1)在多维输入情况下，随着网络的输入维数增加，网络所训练的样本呈指数增长，网络结构也将随之变得庞大，使得网络收敛速度大大下降。 (2)隐含层结点数难以确定。 (3)小波网络中初始化参数问题，若尺度参数与位移参数初始化不合适，将导致整个网络学习过程的不收敛。 (4)未能根据实际情况来自适应选取合适的小波基函数,神经网络的学习方法,待确定参数 连接权值 尺度系统

8、平移系数 小波神经网络参数调整算法 标准BP算法 BP算法的改正算法,BP网络算法的改进: 函数采用了有动量的梯度下降法，提高了学习速度并增加了算法的可靠性。 梯度下降法在修正权值时，只是按照k时刻的负梯度方向修正，并没有考虑到以前积累的经验，即以前时刻的梯度方向，从而常常使学习过程发生振荡，收敛缓慢。为此，有人提出了如下的改进算法： 其中，D(k)表示k时刻的负梯度，D(k-1)表示k-1时刻的负梯度，为学习率，是动量因子，范围是0,1。当=0时，权值修正只与当前负梯度有关系，当=1时，权值修正就完全取决于上一次循环的负梯度了。这种方法所加入的动量项实质上相当于阻尼项，它减少了学习过程的振荡

9、趋势，从而改善了收敛性。 动量因子可以通过net.trainParam.mc设定，若不设定，缺省值为0.9。,设小波神经网络为3层网络，包括输入层、隐含层和输出层，输出层采用线性输出，输入层有 m(m=1,2,M) 个神经元，隐含层有 k(k=1,2,K)个神经元，输出层有 n(n=1,2,N) 个神经元。 隐含层选取的神经元激励函数为Morlet小波 训练时，在权值和阈值的修正算法中加入动量项，利用前一步得到的修正值来平滑学习路径，避免陷入局部极小值，加速学习速度。为了避免在逐个样本训练时，引起权值和阈值修正时发生的振荡，采用成批训练方法。对网络的输出也并不是简单的加权求和，而是先对网络隐含

10、层小波结点的输出加权求和，再经Sigmoid函数变换后，得到最终的网络输出，有利于处理分类问题，同时减少训练过程中发散的可能性,给定 p(p=1,2,P) 组输入输出样本，学习率为 (0) ，动量因子为(0 1 ) 目标误差函数 式中 为输出层第n个结点的期望输出； 为网络实际输出 算法的目标 不断调整网络的各项参数，使得误差函数达到最小值,隐含层输出 为输入层的输入 为隐含层的输出 为输入层结点 m 为与隐含层结点 k 为之间的权值； h() 为Morlet小波函数。,输出层输出为 为输出层的输入 为隐含层结点 与输出层结点 之间的权值,隐含层与输出层之间的权值调整式 分别表示调整前与调整后

11、的隐含层结点k 与输出层结点n 之间的连接权值； 为动量项。,输入层结点与隐含层结点之间的权值调整式 分别为调整前与调整后的输入层结点 m 与隐含层结点 k 之间的权值 为动量项,伸缩因子调整式 为调整前与调整后的伸缩因子； 为伸缩因子动量项。,平移因子调整式 为调整前与调整后的平移因子； 为平移因子动量项。,学习算法的具体实现步骤 1）网络参数的初始化 将小波的伸缩因子、平移因子、网络连接权值、学 习率以及动量因子赋予初始值，并置输入样本计数器 p=1 2）输入学习样本及相应的期望输出 3）计算隐含层及输出层的输出 4）计算误差和梯度向量。 5）输入下一个样本，即 p=p+1 6）判断算法是

12、否结束。当 E0)，停止网络的学习，否则将计数器重置为1，并转步骤2）循环,小波神经网络的MATLAB函数 静态非线性回归小波神经网络的创建 指令格式 THETA = wnetreg(y, x, nbwavelon, max_epoch, initmode, min_nbw, levels) 参数说明 输出参数 THETA 小波回归模型的估计参数。 输入参数 y 是一个列向量，x 对于单输入为一个列向量；对于多输入，x=x1 x2 . xm，每个xi都是一个列向量。 nbwavelon：构建小波网络的小波数量 max_epoch：最大训练次数； initmode为初始化模式 min_nbw：最小输入模式数 min_nbw和levels为可选项,小波神经网络的仿真 wavenet( )，可以很方便地得到网络的仿真结果。 指令格式： g = wavenet(x, THETA),谢谢观赏,