ELM极限学习机相关.pdf

《ELM极限学习机相关.pdf》由会员分享，可在线阅读，更多相关《ELM极限学习机相关.pdf（12页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、一、极限学习机的概念一、极限学习机的概念极限学习机(Extreme Learning Machine)ELM，是由黄广斌提出来的求解单隐层神经网络的算法算法。ELM 最大的特点是对于传统的神经网络，尤其是单隐层前馈神经网络(SLFNs)，在保证学习精度的前提下比传统的学习算法速度更快。二、极限学习机的原理二、极限学习机的原理ELM 是一种新型的快速学习算法，对于单隐层神经网络，ELM 可以随机初始化输入权重和偏置并得到相应的输出权重。(选自黄广斌老师的 PPT)对于一个单隐层神经网络(见 Figure 1)，假设有个任意的样本，其中，。对于一个有个隐层节点的单隐层神经网络可以表示为其中，为激活

2、函数，为输入权重，为输出权重，是第个隐层单元的偏置。表示和的内积。单隐层神经网络学习的目标是使得输出的误差最小，可以表示为即存在，和，使得可以矩阵表示为其中，是隐层节点的输出，为输出权重，为期望输出。，为了能够训练单隐层神经网络，我们希望得到，和，使得其中，这等价于最小化损失函数传统的一些基于梯度下降法的算法，可以用来求解这样的问题，但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中,一旦输入权重和隐层的偏置被随机确定，隐层的输出矩阵就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统。并且输出权重可以被确定其中，是矩阵的Moore-Penrose 广义逆。且可

3、证明求得的解的范数是最小的并且唯一。三、实验三、实验我们使用 简单易学的机器学习算法Logistic 回归 中的实验数据。原始数据集我们采用统计错误率的方式来评价实验的效果，其中错误率公式为：对于这样一个简单的问题，。MATLAB 代码主程序plainview plaincopy1.%主函数，二分类问题2.3.%导入数据集4.A=load();5.6.data=A(:,1:2);%特征7.label=A(:,3);%标签8.9.N,n=size(data);10.11.L=100;%隐层节点个数12.m=2;%要分的类别数13.14.%-初始化权重和偏置矩阵15.W=rand(n,L)*2-1

4、;16.b_1=rand(1,L);17.ind=ones(N,1);18.b=b_1(ind,:);%扩充成 N*L 的矩阵19.20.tempH=data*W+b;21.H=g(tempH);%得到 H22.23.%对输出做处理24.temp_T=zeros(N,m);25.fori=1:N26.iflabel(i,:)=027.temp_T(i,1)=1;28.else29.temp_T(i,2)=1;30.end31.end32.T=temp_T*2-1;33.34.outputWeight=pinv(H)*T;35.36.%-画出图形37.x_1=data(:,1);38.x_2=d

5、ata(:,2);39.holdon40.fori=1:N41.iflabel(i,:)=042.plot(x_1(i,:),x_2(i,:),.g);43.else44.plot(x_1(i,:),x_2(i,:),.r);45.end46.end47.48.output=H*outputWeight;49.%-计算错误率50.tempCorrect=0;51.fori=1:N52.maxNum,index=max(output(i,:);53.index=index-1;54.ifindex=label(i,:);55.tempCorrect=tempCorrect+1;56.end57.

6、end58.59.errorRate=1-tempCorrect./N;激活函数plainview plaincopy1.functionH=g(X)2.H=1./(1+exp(-X);3.endELM(Extreme Learning Machine)是一种新型神经网络算法，最早由Huang 于 2004 年提出【Extreme learningmachine:a new learning scheme of feedforward neural networks】。与 SVM，传统神经网络相比，ELM 的训练速度非常快，需要人工干扰较少，对于异质的数据集其泛化能力很强。Huang 在【Ex

7、treme learning machines:a survey，2011】这篇论文中对 ELM 进行了总结，包括最初的 ELM 算法和后来被发展延伸的ELM 算法(比如在线序列 ELM 算法、增量 ELM 算法和集成 ELM 算法等)，里面的很多知识点值得学习。ELM 的原理从神经网络的结构上来看，ELM 是一个简单的 SLFN，SLFN 示意图如下：该 SLFN 包括三层：输入层、隐含层和输出层（忽略输入层则为两层）。其中隐含层包括L个隐含神经元，一般情况下L 远小于 N，输出层的输出为m 维的向量，对于二分类问题，显然该向量是一维的。对于一个训练数据样本，忽略输入层和隐含层而只考虑隐含层

8、神经元的输出和输出层，则神经网络的输出函数表达式为：ai 和 bi 是隐含层节点的参数，表示第i 个隐含层神经元和输出神经元之间的连接权值，即它是一个 m 维的权值向量。公式里面的 G 是隐含层神经元的输出。针对加法型隐含层节点，G 为：其中，小g 为激励函数，激励函数可以是线性函数，也可以是 sigmoid 函数；针对 RBF 型隐含层节点，G 为：ai 和 bi 分别表示了第 i 个径向基函数节点的中心和影响因子。神经网络输出函数可以写成：，其中：如果神经网络能够无误差的预测训练样本，那么隐含层和输出层的权值是有解的，特别的，当 L=N 时，肯定有解。但是实际问题中，L 往往是远小于 N

9、的，那么求解权值向量的问题是无解的，即网络输出和实际值之间有误差，可以定义代价函数为：接下来如何求解最优的权值向量，使得损失函数J 最小呢？针对这个问题 ELM 分两种情况解决：a.如果 H 是列满秩的，那么可以通过最小二乘找到最佳的权值，其解为：，其中：b.如果 H 是非列满秩的，则使用奇异值分解求解H 的广义逆来计算最佳权值。和 BP 使用梯度下降迭代更新所有层之间权值不同，ELM 不调整 SLFN 的输入层和隐含层的权值，这些权值是随即设定的，因此ELM 的训练速度非常快。ELM 注重于隐含层到输出层的权值的选取，其采用的方法是最小二乘。ELM 算法一般可以描述如下：在 Huang 的

10、survey 中描述了一种思想，该思想把SVM 也看成了神经网络，该思想把神经网络的输入层到最后一层隐含层的部分或者SVM 核函数映射的部分都看成了从输入空间到一个新的空间的转换，然后，BP 会将误差反向传播更新权值使得误差最小化，而SVM 则力求找到最大分界间隔的分界面，将新空间映射到输出空间，从这个角度来看，SVM 确实可以看成是一种神经网络。ELM 最初算法就如上所述，从2004 年至今，后来的学者对其进行了很多改进，主要包括对输入层和隐含层权值随即确定权值的优化、求解隐含层和输出层权值的优化（使得 ELM 更适应于噪声数据集）、核函数 ELM 以及加入了正则化项的损失函数（求解结构风险

11、而不再是经验风险）、ELM 和其他方法相结合等。ELM 为神经网络的结构设计提供了一个新的思路，使我们更好地理解神经网络，但是还有很多问题需要解决，比如隐含层节点个数的确定，正则化项的选择等等。作为一个性能很好的机器，我们也可以将其应用到诸多交叉学科的应用中。极限学习机（ELM）算法的 matlab 与 C+实现极限学习机的原理极限学习机（Extreme learning machine，ELM）是单隐层神经网络的算法，其最大特点就是能在保证学习精度的前提下比传统的学习算法快。其结构如下图所示：对于一个单隐层神经网络，假设有N 个任意的样本(Xi,ti)，其中，Xi=xi1,xi2,xinTR

12、nti=ti1,ti2,timTRm一个有 L 个隐层节点的单隐层神经网络可以表示为:i=1Lih(WiXj+bi)=ojj=1,N其中，h(x)为激活函数，Wi=wi1,wi2,winT为输入权重，i 为输出权重，bi 是第个隐层单元的偏置。WiWj 表示 Wi 和 Wj 的内积。单隐层神经网络学习的目标是使得输出的误差最小，可以表示为:j=1Nojtj=0即存在 i，Wi 和 bi 使得i=1Lih(WiXj+bi)=tjj=1,N可以矩阵表示为:H=T其中，是 H 隐层节点的输出，为输出权重，为 T 期望输出。H(W1,WL,b1,bL,X1,XL)=h(W1X1+b1)h(W1XN+b

13、1)h(WLX1+bL)h(WLXN+bL)=T1TLT=TT1TTNNm传统的一些基于梯度下降法的算法，可以用来求解这样的问题，但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM 算法中,一旦输入权重 Wi 和隐层的偏置bi 被随机确定，隐层的输出矩阵就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统H=T。并且输出权重 可以被确定。=H+T其中，H+是矩阵 H 的 Moore-Penrose 广义逆。且可证明求得的解的范数是最小的并且唯一。以一个简单的二分类为例，分别用matlab 和 c+实现。matlab 代码如下：traindata=load();feat

14、ure=traindata(:,1:2);%特征label=traindata(:,3);%标签X=feature;N,n=size(X);L=100;m=2;%二分类W=rand(n,L)*2-1;%权重-1 到 1b_1=rand(1,L);b=ones(N,1)*b_1;H=1./(1+exp(-X*W+b);temp_T=zeros(N,m);for i=1:Nif(label(i)=1)temp_T(i,1)=1;temp_T(i,2)=0;else temp_T(i,1)=0;temp_T(i,2)=1;endendT=temp_T*2-1;beta=pinv(H)*T;x_1=X

15、(:,1);x_2=X(:,2);hold onfor i=1:Nif(label(i)=1)plot(x_1(i),x_2(i),.g);else plot(x_1(i),x_2(i),.r);endc+代码如下，这里的矩阵运算采用Eigen 工具包，最难的地方就是广义逆矩阵怎么求，参照网上的资源，代码如下：#include#include#include#include#include#include using namespace std;using namespace Eigen;templatebool pseudoInverse(const _Matrix_Type_&a,_Mat

16、rix_Type_&result,double epsilon=std:numeric_limits:epsilon()Eigen:JacobiSVD svd=(Eigen:ComputeThinU|Eigen:ComputeThinV);if()tolerance).select().array().inverse(),0).matrix().asDiagonal()*().adjoint();rray().abs().maxCoeff();rray().abs().maxCoeff();result=()*().array().abs()tolerance).select().array(

17、).inverse(),0).matrix().asDiagonal()*().adjoint();return true;int main()ifstream trainfile;();vectorvector traindata;vector rowdata;double temp3;while(!()for(int i=0;i tempi;(tempi);(rowdata);(),();();MatrixXd feature(),2);VectorXd label();for(int i=0;i ();i+)for(int j=0;j 3;j+)if(j 2)feature(i,j)=t

18、raindataij;else label(i)=traindataij;int L=50;xp()+1;H=().inverse();MatrixXd temp_T,T;temp_T=MatrixXd:Zero(N,m);for(int i=0;i N;i+)if(label(i)=1)temp_T(i,0)=1;temp_T(i,1)=0;else temp_T(i,0)=0;temp_T(i,1)=1;T=temp_T*2-MatrixXd:Ones(N,m);MatrixXd result(L,N);pseudoInverse(H,result);MatrixXd beta=result*T;MatrixXd output=H*beta;for(int i=0;i N;i+)cout T(i,0);cout endl;for(int i=0;i N;i+)cout output(i,0);return 0;