12_自适应横向滤波器(3).ppt

《12_自适应横向滤波器(3).ppt》由会员分享，可在线阅读，更多相关《12_自适应横向滤波器(3).ppt（14页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、3.2.4 最小均方(LMS)算法1.LMS算法的核心思想与权值迭代公式算法的核心思想与权值迭代公式（1）问题的提出 已知最陡下降法迭代公式其中,性能曲面上某点的梯度 由上式可知,每次迭代都需要知道梯度值 ,这要通过计算 的期望值才能实现,计算量大,实时性差.LMS算法的核心思想是:计算梯度时计算梯度时,用平方误差代替均方误差用平方误差代替均方误差,即Least Mean-Square(LMS)algorithm或者 (3.2.65)比较两种算法可见:是单个平方误差序列的梯度,而 是多个平方误差序列统计平均的梯度,因此,是 的估计.LMS算法是用梯度估计值 代替其精确值 ,调整权系数时不需要计

2、算 的期望值,因此实现比较简单.（2）权矢量迭代公式 由上可得LMS算法的基本公式为(3.2.66)FIR滤波器中第 个权系数的计算公式为(3.2.67)实现上式的权系数控制电路如图3.2.8所示.对LMS算法,迭代运算中权矢量的增量为 ,对其中的各个分量，误差信号 是相同的;而 是随机变量,因而 不再是确定函数,而是随机变量.2.LMSLMS算法权矢量的过渡过程算法权矢量的过渡过程（1）是 的无偏估计 计算梯度估计的期望值:(3.2.68)z-1控制电路图3.2.8 FIR第i个支路的控制电路与式(3.2.65)比较,是在每次调整权矢量前,通过观测只获得一个x(n)而得到的一个梯度估计值;式

3、(3.2.68)是通过多次观测,获得多个x(n),并进一步对多个 进行统计平均得到的梯度值,即真值.由于 的期望值为其真值 ,所以 是 的无偏估计无偏估计.实际调整时,用梯度估计值 调整权矢量,得到的 是随机的,收敛后 将在 附近随机起伏,这等效于在最佳权矢量上叠加了一个噪声.也因此称做“随机梯度(即含噪声的梯度)”.（2 2）权矢量的期望值）权矢量的期望值 假设假设 与输入矢量与输入矢量 无关无关,现求式(3.2.66)的期望值:(3.2.69)将上式与式(3.2.35b)对照可知，由LMS算法计算 ，和由最陡下降法计算 ，迭代方法与规律相同，即可采用主轴坐标系标量迭代法，搜索至最佳权矢量

4、。因此可以得出结论：结论：注意:关于权矢量与输入矢量的关联性,参见西电教材p74.y(n)=xT(n)w(n)w(n)与x(n)不相关P=Rw*当满足收敛条件时当满足收敛条件时,随着迭代次数趋于无穷大随着迭代次数趋于无穷大,LMS,LMS算法权矢量的期算法权矢量的期望值趋近于最佳权矢量望值趋近于最佳权矢量.即（3 3）权矢量递推公式与收敛条件权矢量递推公式与收敛条件令则将以上二式代入式(3.2.69),可得 (3.2.70)进一步变换到主轴坐标系,得到递推解为 (3.2.71)仿照最陡下降法中式(3.2.43)的推导方法,再将上式变换到 坐标系,得 (3.2.72)LMS算法不具备实时最佳,即

5、不能使w(n+1)w*w(n)只能在w*附近起伏,由此导致:瞬时 Ee2(n)min同样可得到第 个权系数变化规律为 (3.2.73)对比式(3.2.43)及式(3.2.60)可见:LMS算法权矢量 的统计平均值 的过渡过程,与最陡下降法 的过渡过程是一样的.而且第 个权系数也是按照 个指数和指数和的规律变化的.收敛条件与最陡下降法相同,即为(3.2.74)对于自适应横向滤波器,输入信号自相关矩阵的迹可表示为 (3.2.75)式中,是输入信号的功率.因此收敛条件可进一步表示为(3.2.76)3.LMS3.LMS算法性能函数的过渡过程算法性能函数的过渡过程学习过程学习过程 可以证明,LMS算法的

6、均方误差可表示为 (3.2.77)将式(3.2.71)给出的递推解代入式(3.2.77),得 (3.2.78)将上式展开,得 (3.2.79)令 ,则(3.2.80)上式就是LMS算法学习曲线的表示式,可见均方误差变化规律与最陡下降法完全一样.推导见西电教材p76.4.超量超量MSEMSE与失调量与失调量（1）超量均方误差（超量MSE）由于梯度噪声的影响,在稳态情况下,权系数将在最佳值(即 )附近随机地发生偏移,因此,引起均方误差 也随机地偏离最佳值 ,其偏移量为定义:的期望值为超量均方误差,或“超量MSE”,即 (3.2.81)自适应过程达到稳态后,由于权矢量仍在最佳值附近随机变动,因此,L

7、MS算法的均方误差值总是大于最小均方误差值,并在其附近随机变化这是一种自适应性能损失,超量MSE就是对该损失的一种量度.（2）失调量M 失调量用于说明自适应过程收敛后,权系数与最佳值接近的程度.它是对自适应性能损失的另一个量度.定义:失调量M等于超量均方误差与最小均方误差的比值,即 (3.2.82)图3.2.9 超量MSE示意图(表示均方误差(n)与一个权系数v(n)的关系曲线)(n)n关系曲线v(n)n关系曲线 可以证明:(3.2.83)失调量M是一个无量纲的量,它正比于自适应增益常数 .讨论讨论 失调量与收敛速度(学习曲线时间常数)的关系:根据式(3.2.62),第 个学习曲线的时间常数为

8、:上式表明:稳定收敛且失调量 (即收敛速度慢),因此,选择 值还必须在失调量与收敛速度两者间折衷考虑.由上式可得因此,的迹可写成(3.2.84)式中,下标“av”表示“平均”.将上式代入式(3.2.83),得到失调量M与学习曲线时间常数 及权系数个数L的关系如下:(3.2.85)当所有特征值均相等时,(3.2.86)代入 ,得到特征值相等情况下的学习曲线时间常数一般表示式为(3.2.87)附录 权矢量噪声1.梯度估计噪声 用随机梯度 替代梯度真值 ，将引入梯度估计误差称为梯度噪声。令第 次迭代时，随机梯度的噪声矢量为 ，则 (F11.1)下面计算梯度噪声的方差。当算法收敛于 附近时，于是有 (

9、F11.2)的协方差 (F11.3)若 与 近似不相关，则 (F11.4)将上式进一步变换到主轴坐标系，得到梯度估计噪声方差的近似计算式如下：(F11.5)推导见教材p 58式(3.7.1)。2.2.梯度估计噪声对权矢量稳态解的影响梯度估计噪声对权矢量稳态解的影响稳态权矢量噪声稳态权矢量噪声 由式(3.4.2)和式(3.4.7)，可得自然坐标系的LMS算法迭代公式为：变换到平移坐标系：再变换到主轴坐标系：(F11.6)式中，在主轴上的投影 将上式化成标量方程，并从初始权矢量 开始迭代运算（归纳法），得 (F11.7)若算法稳定收敛，在 足够大时，上式第1项趋于零，第2项是权矢量的稳态解：(F11.8)式(3.4.13)的第1项与式(3.3.23)相 同。若经过n次迭代，该项0，表示权 矢 量 w(n)w*；第2项是由于梯度噪声的影响最终引入的权矢量噪声，它是当前迭代以前所有迭代（0n-1次迭代）产生的权矢量噪声的累加。上式反映了梯度估计噪声对权矢量稳态解的影响，其中 是第n次迭代运算前的迭代次数序号。3.稳态权矢量噪声的协方差 稳态 的协方差：(F11.9)若 取值很小，这时 矩阵各元素的值远小于1，式中，则式(3.4.15)可近似为 (F11.10)坐标系表示为 (F11.11)推导从略