3 概率密度函数的估计.ppt

《3 概率密度函数的估计.ppt》由会员分享，可在线阅读，更多相关《3 概率密度函数的估计.ppt（49页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第3章 概率密度函数的估计n3.1 引言n3.2 最大似然估计n3.3 Bayes估计与Bayes学习n3.4 总体分布的非参数估计3.1 引言n进行贝叶斯决策的前提条件已知相关的概率分布先验概率可以较容易地进行估计重点是估计类条件概率密度n两步贝叶斯决策利用样本估计先验概率和类条件概率依据估计量进行分类决策估计量的性能先验概率类条件概率（密度）概率分布估计方法的分类依据n参数与非参数估计概率密度函数的形式是否已知n监督与非监督估计是否明确样本所属类别n综合两种不同的分类角度概率密度函数估计的基本类型n n监督参数估计监督参数估计监督参数估计监督参数估计样本所属的类别及类条件总体样本所属的类别

2、及类条件总体概率密度函数的形式为已知，而表征概率密度函概率密度函数的形式为已知，而表征概率密度函数的某些参数是未知的数的某些参数是未知的n n非监督参数估计非监督参数估计非监督参数估计非监督参数估计已知总体概率密度函数的形已知总体概率密度函数的形式但未知样本所属类别，要求推断出概率密度函式但未知样本所属类别，要求推断出概率密度函数的某些参数数的某些参数n n非参数估计非参数估计非参数估计非参数估计已知样本所属类别，但未知总体已知样本所属类别，但未知总体概率密度函数的形式，要求我们直接推断概率密概率密度函数的形式，要求我们直接推断概率密度函数本身度函数本身参数估计的几个基本概念n n统计量n n

3、参数空间n n点估计、估计量和估计值estimatorestimation valuen n区间估计3.2 最大似然估计先做几项基本假设：n n估计的参数估计的参数 是确定（非随机）而未知的量是确定（非随机）而未知的量n n样本集按类别分开，假定有样本集按类别分开，假定有 c c 类，则可分成类，则可分成 c c 个个样本集样本集 ，其中，其中 中的样本都是从概率中的样本都是从概率密度为密度为 的总体中独立地抽取出来的的总体中独立地抽取出来的n n类条件概率密度函数类条件概率密度函数 具有某种确定的函具有某种确定的函数形式；为表示同数形式；为表示同 有关有关 ，记为，记为 n n假定假定 中的

4、样本不包含关于中的样本不包含关于 的任何信息，也就的任何信息，也就是说不同类别的参数在函数上是独立的，即是说不同类别的参数在函数上是独立的，即 中中的样本只对的样本只对 提供有关的信息提供有关的信息设定这些假设的目的n分别处理C个独立的问题n独立地按照概率密度 抽取样本集，并用之去估计未知参数设：i类的类概率密度函数具有某种确定的函数形式；是该函数的一个未知参数或参数集。最大似然估计把当作确定的未知量进行估计。从i类中独立地抽取N个样本：似然函数似然函数称这N个样本的联合概率密度函数 为相对于样本集X 的的似然函数。在参数 下观测到的样本集X 的概率(联合分布)密度最大似然估计最大似然估计 根

5、据已经抽取的N个样本估计这组样本“最可能”来自哪个密度函数。（“最似”哪个密度函数）也即：要找到一个，它能使似然函数 最大化 由 求得。为一维时的最大似然估计示意图的最大似然估计量 就是使似然函数达到最大的估计量。可能有多个极值为便于分析，定义似然函数的对数为 的最大似然估计是下面微分方程的解：设i类的概率密度函数有s个未知参数，记为s维向量 此时解以上方程组即可得到的最大似然估计量。正态分布情况举例正态分布情况举例 设i类：正态分布、一维模式、概率密度函数为待估计参数为，2。因此，。若X表示从i中独立抽取的N个样本，则的似然函数为其中，得由以上方程组解得均值和方差的估计量为类似地，多维正态分

6、布情况：均值向量的最大似然估计是样本的均值；最大似然估计结果：协方差矩阵的最大似然估计是N个矩阵的算术平均。估计性能如何？3.3 Bayes估计和Bayes学习回顾一下前面讲述的最小风险回顾一下前面讲述的最小风险回顾一下前面讲述的最小风险回顾一下前面讲述的最小风险BayesBayesBayesBayes决策决策决策决策观察或测量到的观察或测量到的 d 维模式特征向量维模式特征向量状态空间状态空间决策空间决策空间 损失函数，表损失函数，表示真实状态为示真实状态为 而所采取的决策为而所采取的决策为 时所带来的某种时所带来的某种损失损失给定给定 ，我们采取决策，我们采取决策 情况下的条件期望损失：情

7、况下的条件期望损失：是特征空间是特征空间 中取任意值的随机变量，条件风险的期中取任意值的随机变量，条件风险的期望望 表示采取决策表示采取决策 总的平均损失。总的平均损失。称为称为Bayes风险，风险，使使 最小的决策最小的决策 称为最小风险称为最小风险Bayes决策。决策。Bayes决策决策 确定确定 的真实状态的真实状态 （模式类）（模式类）Bayes估计估计 根据一个样本集根据一个样本集 ，找出估，找出估计量计量 ，估计，估计 所属总体分布的某个真实参数所属总体分布的某个真实参数 使带来使带来的的Bayes风险最小风险最小Bayes决策问题Bayes估计问题样本样本集决策估计量真实状态真实

8、参数状态空间是离散空间参数空间是连续空间先验概率参数的先验分布令令 为为 代替代替 所造成的损失，对于一个观测样所造成的损失，对于一个观测样本集合本集合 ，当用，当用 作为作为 的估计时，在的估计时，在观测观测 条件下的条件期望损失为条件下的条件期望损失为考虑到考虑到 的各种取值，求的各种取值，求 在参数空间中的期望在参数空间中的期望对应决策条件风险Bayes估计的基本思想估计的基本思想：所求得的所求得的所求得的所求得的 的估计量的估计量的估计量的估计量 应使估计损失应使估计损失应使估计损失应使估计损失的期望最小，这种使的期望最小，这种使的期望最小，这种使的期望最小，这种使 或等价地使或等价地

9、使或等价地使或等价地使 取最小值的取最小值的取最小值的取最小值的 的估的估的估的估计量计量计量计量 称为称为称为称为 的的的的BayesBayes估计。对于估计。对于估计。对于估计。对于 不同的不同的不同的不同的 ，可得到，可得到，可得到，可得到不同的最佳不同的最佳不同的最佳不同的最佳BayesBayes估计。估计。估计。估计。这里假定损失函数为平方误差形式，即这里假定损失函数为平方误差形式，即这里假定损失函数为平方误差形式，即这里假定损失函数为平方误差形式，即求最小由于由于由于由于 是关于是关于是关于是关于 的二次函数，的二次函数，的二次函数，的二次函数，确使确使确使确使 或或或或 最最最最

10、小。上式表明，小。上式表明，小。上式表明，小。上式表明，的最小方差的最小方差的最小方差的最小方差BayesBayes估计是在观测估计是在观测估计是在观测估计是在观测 条条条条件下的件下的件下的件下的 的条件期望。在许多情况下，最小方差的条件期望。在许多情况下，最小方差的条件期望。在许多情况下，最小方差的条件期望。在许多情况下，最小方差BayesBayes估计是最理想的估计是最理想的估计是最理想的估计是最理想的BayesBayes最优估计器。最优估计器。最优估计器。最优估计器。对平方误差损失函数情况求解对平方误差损失函数情况求解对平方误差损失函数情况求解对平方误差损失函数情况求解BayesBay

11、es估计量的步骤如下：估计量的步骤如下：估计量的步骤如下：估计量的步骤如下：（1 1 1 1）确定）确定）确定）确定 的先验分布的先验分布的先验分布的先验分布 （2 2 2 2）由样本集）由样本集）由样本集）由样本集 求出样本联合分布求出样本联合分布求出样本联合分布求出样本联合分布（3 3 3 3）求）求）求）求 的后验分布的后验分布的后验分布的后验分布（4 4 4 4）贝叶斯估计的步骤总结贝叶斯学习迭代计算式的推导：式中除样本xN以外其余样本的集合（3-32）将其代入（3-32）式得 由 相应地有参数估计的递推贝叶斯方法，迭代过程即是贝叶斯学习的过程迭代式的使用：*给出x2，对用x1估计的结

12、果进行修改。例例 正态分布密度函数的贝叶斯估计和贝叶斯学习正态分布密度函数的贝叶斯估计和贝叶斯学习1）贝叶斯估计*逐次给出x3，x4，xN，得到 式中，有由于 有 式中，与最大似然估计形式类似式中，同前2）贝叶斯学习图3.2 均值的贝叶斯学习过程示意图可见：参数估计方法总结n最大似然估计n贝叶斯估计n贝叶斯学习n最大后验估计3.4 总体分布的非参数估计总体分布的非参数估计基本方法基本方法根据样本直接估计类概率密度函数的方法。1.出发点：基于事实，直方图累积p(x)是概率密度函数。随机向量x落入区域R的概率P为 ，设从密度为p(x)的总体中独立抽取的样本x1,x2,xN。若N个样本中有k个落入区

13、域R中的概率最大，则：希望是X落入区域R中概率P的一个很好的估计。众数概率密度高的地方产生的样本多，利用样本累积估计真实概率密度非单点直接累积，加窗概率密度函数估计的基本方法概率密度函数估计的基本方法N个样本个样本 是从概率密度函数为是从概率密度函数为 的总体的总体中独立抽取的，则中独立抽取的，则 n 个样本中个样本中 k 个样本落入区域个样本落入区域R 中中的概率符合二项分布的概率符合二项分布。类概率密度函数p(x)的估计：设p(x)连续，区域R足够小且体积为V，p(x)在R中没有变化，x是R中的点。有得 x点概率密度的估计 2.存在的两个问题1）固定V，样本数增多，则k/N以概率1收敛；但

14、只能得到在某一体积V中的平均估计。2）N固定，V趋于零，或发散到无穷大；没有意义。必须注意V、k、k/N 随N变化的趋势和极限，保持合理性。3.估计的步骤：*构造一串包含x的区域R1，R2，RN，*对R1采用一个样本估计，对R2采用两个样本，*假定VN是RN的体积，kN是落入RN内的样本数目，是 p(x)的第N次估计，有 4.为保证估计合理性应满足的三个条件 1）2）3）使频率能依概率1收敛于p(x)落入RN中的样本数始终是总数中的极小部分 能代表x点的密度p(x)5.两种非参数估计法：Parzen窗法、kN近邻估计法。Parzen窗法窗法1Parzen窗估计的基本概念窗估计的基本概念设区域R

15、N：d维超立方体，棱长：hN，则以原点为中心的超立方体 当xi落入以x为中心，体积为VN的超立方体时：否则落入超立方体内的样本数为代入 得 Parzen窗法基本公式 实质：窗函数的作用是内插，样本对估计所起的作用取决于它到x的距离。为密度函数应满足的两个条件：2窗函数的选择窗函数的选择1）方窗函数2）正态窗函数3）指数窗函数一维形式 满足条件 和 的都可以作为窗函数。最终估计效果的好坏与样本情况、窗函数以及窗函数参数的选择有关。定义 有如何选取根据经验折中考虑。限制条件：1）总体密度函数p(x)在x点连续；2）窗函数满足以下条件：3）窗函数受下列条件的约束：保证密度函数的性质 有保证有界使较快趋于零 随u的增加使体积随N的增大趋于零时，速度低于N增加的速度有估计结果：解：估计结果*具有一般性，适用于单峰、多峰形式。Parzen窗法特点：*要得到较精确的估计必须抽取大量的样本。（一般非参数估计法的共同问题）比参数估计法多得多；样本数目随模式维数一般按指数规律增长。kN-近邻估计法近邻估计法基本思想：使体积为样本数据的函数，而不是样本数N的函数。限制条件仍然是：例1和2中，用kN-近邻法估计的p(x)的结果：，。关于本章的讨论n估计量性能标准n样本有限n非直接利用概率的分类方法