Chp9 Chp9参数推断参数推断.pdf

《Chp9 Chp9参数推断参数推断.pdf》由会员分享，可在线阅读，更多相关《Chp9 Chp9参数推断参数推断.pdf（23页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、Chp9Chp9：参数推断：参数推断?主要内容主要内容?参数推断的基本概念参数推断的基本概念?参数推断的方法参数推断的方法?矩方法矩方法?极大似然估计（极大似然估计（Maximum Likelihood Estimator,Maximum Likelihood Estimator,MLEMLE）?MLEMLE的性质的性质参数推断参数推断假设已知模型的函数形式假设已知模型的函数形式其中其中为参数空间为参数空间目标：目标：估计参数估计参数，();:f x =FkR()1,.,k=例子例子?一些流行的参数模型的例子：一些流行的参数模型的例子：?线性判别分别（线性判别分别（LDALDA）(分类分类)?

2、混合高斯模型混合高斯模型(密度估计密度估计)?高斯噪声模型高斯噪声模型(回归回归)参数估计参数估计?假设有一类模型函数假设有一类模型函数，如所有的高斯函数的集合，其参，如所有的高斯函数的集合，其参数数参数空间参数空间为为。?通常我们只对一些函数通常我们只对一些函数感兴趣，如均值或均值的函感兴趣，如均值或均值的函数。因此数。因此 为为感兴趣参数感兴趣参数(parameter of interest)(parameter of interest)，为为冗余冗余参参量量(nuisance parameter)(nuisance parameter)。?有多种方法可用来估计模型的参数有多种方法可用来估

3、计模型的参数?矩估计法矩估计法?极大似然估计极大似然估计：更流行：更流行?贝叶斯方法贝叶斯方法F(),:,0=R()T 矩方法矩方法?矩方法得到的估计虽然不是最优的，但是很容易计算矩方法得到的估计虽然不是最优的，但是很容易计算?当其他方法不可用时，可用矩方法当其他方法不可用时，可用矩方法?可用作很多迭代算法的初始值可用作很多迭代算法的初始值?基本思想：矩匹配基本思想：矩匹配?对真正的矩和样本矩进行匹配对真正的矩和样本矩进行匹配矩方法矩方法?j j阶矩：阶矩：?j j阶样本矩：阶样本矩：?矩方法：取前矩方法：取前k k阶矩阶矩()()11,.,;,.,nkXXf x=真正的矩样本矩()()();

4、jjjjXx f xdx=E11njjiiXn=()()()1122 nnknk=?例：例：BernoulliBernoulli分布分布令令，一阶矩一阶矩一阶样本矩一阶样本矩所以我们得到估计所以我们得到估计()1,.,nXXBernoulli p111niniXXn=()1pXp=E11nninipXXn=例：高斯分布例：高斯分布令令，参数为，参数为，一阶矩一阶矩一阶样本矩一阶样本矩二阶矩二阶矩二阶样本矩二阶样本矩所以所以()21,.,nXXN (),=111niniXXn=()1X=E()2222X=+E()2211niiXn=()()122222111 11nninnninnninnnii

5、iXXXnXXXnn=+=极大似然估计（极大似然估计（MLEMLE）?极大似然估计极大似然估计?似然函数似然函数?对似然函数求最大值对似然函数求最大值?极大似然估计的性质极大似然估计的性质似然函数似然函数?令令为为IIDIID，其，其PDFPDF为为，似然函数似然函数定定义为义为?有时也记为有时也记为或或，表示似然函数为在给，表示似然函数为在给定定x x的情况下，参数的情况下，参数的函数的函数。?似然函数在数值上是数据的联合密度，但它是参似然函数在数值上是数据的联合密度，但它是参数数的函数，的函数，。因此似然函数通常。因此似然函数通常不满足密度函数的性质，如它对不满足密度函数的性质，如它对的积

6、分的积分不不必为必为1 1。();nxL()|nxL1,.,nXX();f x()()1;nniif X=L):0,nL似然的解释似然的解释?若若X X是离散的，则是离散的，则。如果我们比较。如果我们比较两个参数两个参数1 1和和2 2的似然值，如果的似然值，如果则观测到的样本更可能发生在则观测到的样本更可能发生在=1 1下，也就是说，相下，也就是说，相比比2 2，1 1是一个更可信的猜测。是一个更可信的猜测。?对连续的对连续的X X，?但通常我们并不将似然解释为参数但通常我们并不将似然解释为参数的概率的概率()();nxXx=PL()()12PXxPXx=()()()()1212;nnxXx

7、xxXxx+PPLL极大似然估计极大似然估计?极大似然估计极大似然估计（MLEMLE）是使得是使得最大的最大的，即，即?loglog似然函数似然函数定义为：定义为：，它和似然函，它和似然函数在相同的位置取极大值。数在相同的位置取极大值。?同样，相差常数倍也不影响似然函数取极大值的同样，相差常数倍也不影响似然函数取极大值的位置。因此似然函数中的常数项也可以抛弃。位置。因此似然函数中的常数项也可以抛弃。()()lognl=L()argmaxnn=L()nLn?例：例：BernoulliBernoulli分布分布令令，则概率函数则概率函数似然函数为似然函数为其中其中所以所以解方程解方程()1,.,n

8、XXBernoulli p()()1;1xxf x ppp=()()()()111;11iinnXn SXSniiipf Xppppp=L1niiSX=()()()loglog 1nlpSpnSp=+()()11101 nnninilpnSSpSXXpppnn=例：高斯分布例：高斯分布令令，参数为，参数为，似然函数（忽，似然函数（忽略常数项）为略常数项）为?其中其中为样本均值为样本均值?为样本方差为样本方差因为()21,.,nXXN(),=()()()()2222222211,exp21exp2expexp22niiniinXXn XnS=L1niiXnX=()221iniSnXX=()()(

9、)2222iinnniiXXXXnSn X=+=+例：高斯分布例：高斯分布loglog似然函数为似然函数为解方程解方程得到得到可以证明，这是似然函数的全局最大值。可以证明，这是似然函数的全局最大值。()()2222,log22nn XnSln=()()()223,0,0nn XllnnS =+=nnnXS=对似然函数求最大值对似然函数求最大值?对似然函数求极值（求导）对似然函数求极值（求导）?解析法（如上例中的高斯模型）解析法（如上例中的高斯模型）?数值计算：优化算法数值计算：优化算法?如梯度下降法如梯度下降法?如如EMEM算法（如下例中的混合高斯模型）算法（如下例中的混合高斯模型）?需注意的

10、问题：要找到似然函数的全局极大值需注意的问题：要找到似然函数的全局极大值?一阶导数为一阶导数为0 0只是必要条件，非充分条件只是必要条件，非充分条件?而且一阶导数为而且一阶导数为0 0只能找到函数定义域内部的局部极只能找到函数定义域内部的局部极值点。如在边界上取极值，一阶导数可能不为值点。如在边界上取极值，一阶导数可能不为0 0。因。因此还必须检验边界。此还必须检验边界。例：例：均匀均匀分布分布令令则概率函数则概率函数考虑一个固定的考虑一个固定的 值，假设对于某一个值，假设对于某一个i i，有，有，则，则因此令因此令则则所以所以()1,.,0,nXXUniform()10;0 xf xothe

11、rwise=iX()()()1;0;0 niniif Xf X=L()1max,.,nnXXX=()()()10nnnXotherwise=L()nnX=递减函数递减函数混合高斯模型混合高斯模型(GMM)(GMM)(Mixture of Gaussians Model)(Mixture of Gaussians Model)?假设有假设有K K个成分个成分?每个成分从均值为每个成分从均值为、协方差矩阵为、协方差矩阵为的高斯分布产生数据的高斯分布产生数据?假设每个数据点根据如下规则产生：假设每个数据点根据如下规则产生：?随机选择一个成分，选择第随机选择一个成分，选择第k k个成分的概率为个成分的

12、概率为?从第从第k k个成分产生数据：个成分产生数据：?即即kk()yk=P(),kkXN ()()()11;,;,KKkkkkkkkf xfxx=(),kyk=P()()()()|,;,kkkkkfxf x ykNx=1kk=混合高斯模型混合高斯模型?问题：给定问题：给定IIDIID数据数据，求参数，求参数?MLEMLE不能解析求得，因此我们通过数值计算（如不能解析求得，因此我们通过数值计算（如EMEM算法）求解。算法）求解。?将完整数据将完整数据转换为非完整数据转换为非完整数据/缺失数据缺失数据，其中，其中 为为所属的类别。所属的类别。,kkk ()()11,.,nnX YXYiYiX1,

13、.,nXX1,.,nXXEMEM?EMEM用于混合模型参数推断的具体过程请参见参考用于混合模型参数推断的具体过程请参见参考文献和参考文献和参考pptppt?再下次课上讲述再下次课上讲述?MatlabMatlab函数：函数：ecmnmleecmnmle?Mean,Covariance=Mean,Covariance=ecmnmleecmnmle(Data,(Data,InitMethodInitMethod,MaxIterationsMaxIterations,Tolerance,Mean0,Covar0),Tolerance,Mean0,Covar0)EM for GMMEM for GMM?

14、第第t t次的估计为次的估计为?则第则第t+1t+1次的估计为次的估计为()111,.,.,.,KKKttttttt=111ikkikntitintiX+=111liknttin+=()()()1|,|ikttkkikttiKttjjijjfXf k XfX=()()11111ikkkiknTtttiitikntiXX+=E步M步EMEM总结总结?总结总结?EMEM会收敛到局部极值，但不保证收敛到全局最优会收敛到局部极值，但不保证收敛到全局最优?适合的情况适合的情况?缺失数据不太多时缺失数据不太多时?数据维数不太高时（数据维数太高的话，数据维数不太高时（数据维数太高的话，E E步的计算很费时）

15、步的计算很费时）?参考文献参考文献?Jeff A.Bilmes,A Gentle Tutorial of the Algorithm and its Jeff A.Bilmes,A Gentle Tutorial of the Algorithm and its Application to Parameter Estimation for Gaussian Mixture Application to Parameter Estimation for Gaussian Mixture and Hidden Markov Modelsand Hidden Markov Models下节课内容下节课内容?MLEMLE的性质的性质