第四章特征提取和选择第一次课优秀PPT.ppt

《第四章特征提取和选择第一次课优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第四章特征提取和选择第一次课优秀PPT.ppt（56页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第四章特征提取和选择第一次课第一页，本课件共有56页u在第二、三章所讨论的分类方法与分类器设计中，都是在第二、三章所讨论的分类方法与分类器设计中，都是在在d维维特征空间已经确定的前提下特征空间已经确定的前提下进行的。因此讨论的进行的。因此讨论的分类器设计分类器设计问问题是一个题是一个选择什么准则、使用什么方法，将已确定的选择什么准则、使用什么方法，将已确定的d维特征空维特征空间划分成决策域间划分成决策域的问题。的问题。u对对分类器设计方法分类器设计方法的研究固然重要，但如何的研究固然重要，但如何确定合适的特征空间确定合适的特征空间是是设计模式识别系统另一个十分重要、甚至更为关键的问题。设计模式

2、识别系统另一个十分重要、甚至更为关键的问题。u如果如果所选用的特征空间能使同类物体分布具有紧致性所选用的特征空间能使同类物体分布具有紧致性，即各类样，即各类样本能分布在该特征空间中彼此分割开的区域内，这就为成功设计本能分布在该特征空间中彼此分割开的区域内，这就为成功设计分类器提供良好的基础；如果不同类别的样本在该特征空间中混分类器提供良好的基础；如果不同类别的样本在该特征空间中混杂在一起，再好的设计方法也无法提高分类器的准确性。杂在一起，再好的设计方法也无法提高分类器的准确性。学习指南学习指南 第二页，本课件共有56页u这一章要讨论的问题就是这一章要讨论的问题就是特征空间如何设计和优化特征空间

3、如何设计和优化的问题。的问题。u对特征空间的改造和优化，主要的目的是降维对特征空间的改造和优化，主要的目的是降维，即把维数高的特，即把维数高的特征空间改成维数低的特征空间，提高其某方面的性能，降维主征空间改成维数低的特征空间，提高其某方面的性能，降维主要有两种途径。要有两种途径。一种是一种是删选删选掉一些次要的特征，问题在于如何确定特征的重掉一些次要的特征，问题在于如何确定特征的重要性，以及如何删选。要性，以及如何删选。另一种方法是使用另一种方法是使用变换变换的手段，在这里主要限定在线性变的手段，在这里主要限定在线性变换的方法上，通过变换来实现降维。换的方法上，通过变换来实现降维。第三页，本课

4、件共有56页本章主要内容本章主要内容4.1 基本概念基本概念4.2 类的可分性判据类的可分性判据4.3 基于可分性判据的特征提取基于可分性判据的特征提取4.4 主分量分析（主分量分析（PCA）4.5 特征选择方法特征选择方法第四页，本课件共有56页学习目的学习目的1.了了解解特特征征空空间间的的选选择择在在设设计计模模式式识识别别系系统统、解解决决模模式式识识别别具体问题中是至关重要的。具体问题中是至关重要的。2.掌掌握握对对特特征征空空间间进进行行优优化化的的两两种种基基本本方方法法，一一是是对对原原特特征征空空间间进进行行删删选选，即即特特征征选选择择；另另一一种种是是通通过过变变换换改改

5、造造原原特特征征空空间间，即即特征提取特征提取。3.重重点点掌掌握握运运用用线线性性变变换换对对原原特特征征空空间间优优化化的的的的基基本本方方法法，进进一一步步深深入入理理解解模模式式识识别别处处理理问问题题的的基基本本方方法法确确定定准准则则函函数数，并通过计算进行优化。并通过计算进行优化。第五页，本课件共有56页课前思考题课前思考题 1什么叫特征空间？如果我们用颜色、尺寸、重量来衡量水什么叫特征空间？如果我们用颜色、尺寸、重量来衡量水果，构造的特征空间是几维空间？果，构造的特征空间是几维空间？2如果用颜色、尺寸与重量组成的特征空间来区分红苹果与如果用颜色、尺寸与重量组成的特征空间来区分红

6、苹果与梨，你认为这三种度量中的哪种最有效？为什么？能否想梨，你认为这三种度量中的哪种最有效？为什么？能否想像这两种水果在这个三维空间的分布？如果用这个特征空像这两种水果在这个三维空间的分布？如果用这个特征空间来区分红苹果与樱桃，你想像一下这两类水果在特征空间来区分红苹果与樱桃，你想像一下这两类水果在特征空间如何分布？能否对这两种情况设计更经济有效的特征空间如何分布？能否对这两种情况设计更经济有效的特征空间？间？第六页，本课件共有56页3如果两类物体在一个二维特征空间如下图分布如果两类物体在一个二维特征空间如下图分布,能否用删除其能否用删除其中任一维来优化特征空间？有没有什么方法能得到一个对分类

7、中任一维来优化特征空间？有没有什么方法能得到一个对分类很有利的一维特征空间？很有利的一维特征空间？第七页，本课件共有56页4.上题的答案可用下图上题的答案可用下图Y1与与Y2组成的空间表示？你认为哪个组成的空间表示？你认为哪个分量可以删掉？分量可以删掉？5.你有没有办法将原在你有没有办法将原在X1、X2空间表示的数改成用空间表示的数改成用Y1、Y2空间表空间表示？示？第八页，本课件共有56页4.1基基 本本 概概 念念第九页，本课件共有56页一、一、特征的特点特征的特点 特征是用于描述模式性质的一种量，在模式识特征是用于描述模式性质的一种量，在模式识别过程中别过程中,特征应该满足以下条件特征应

8、该满足以下条件:(1)特征是可获取的。特征是可获取的。(2)类内稳定。类内稳定。(3)类间差异大于类内差异。类间差异大于类内差异。第十页，本课件共有56页二、特征的类别二、特征的类别1.物理特征物理特征 直直接接、容容易易感感知知，设设计计模模式式识识别别系系统统时时易易被被选选用。用。如如为为了了描描述述指指定定班班级级中中的的某某个个学学生生,可可以以用用以以下下物物理理特特征征:性性别别、身身高高、胖胖瘦瘦、肤肤色色等等外外在在特特征征。物物理理特特征征虽虽然然容容易易感感知知,却却未未必必能能非非常常有有效效地地表表征征分分类类对对象象。第十一页，本课件共有56页2.结构特征结构特征

9、比比物物理理特特征征要要抽抽象象一一些些,但但仍仍比比较较容容易易感感知知，如如人人的的指指纹纹特特征征、人人脸脸的的五五官官结结构构信信息息等等,是是认认定定人人的的身身份份的重要参数。的重要参数。先先将将观观察察对对象象分分割割成成若若干干个个基基本本构构成成要要素素,再再确确定定基基本本要要素素间间的的相相互互连连接接关关系系，以以此此表表达达复复杂杂的的图图像像图形信息。图形信息。结结构构信信息息对对对对象象的的尺尺寸寸往往往往不不太太敏敏感感,如如汉汉字字识识别别时时,识别系统对汉字大小不敏感识别系统对汉字大小不敏感,只对只对笔划结构笔划结构信息敏感。信息敏感。第十二页，本课件共有5

10、6页3.数字特征数字特征为为了了表表征征观观察察对对象象而而设设立立的的特特征征,如如给给每每个个学学生生设设立立一一个个学学号号,作作为为标标志志每每个个学学生生的的特特征征。由由于于学学号号是是人人为为设设定定的的,可可以以保保证证唯唯一一性性,但但这这种种特特征征是是抽抽象象的的,不容易被人感知。不容易被人感知。第十三页，本课件共有56页u对原有特征空间进行处理与加工，使之较原特对原有特征空间进行处理与加工，使之较原特征空间优化。征空间优化。u优化是为了降维优化是为了降维，要求既降低特征的维数，又能提高，要求既降低特征的维数，又能提高分类器的性能。优化后的特征空间应该更有利于后续分类器的

11、性能。优化后的特征空间应该更有利于后续的分类计算。的分类计算。三、特征形成、提取和选择三、特征形成、提取和选择第十四页，本课件共有56页特征形成特征形成：u在设计一个具体的模式识别系统时在设计一个具体的模式识别系统时,往往是先接触一些训练样本往往是先接触一些训练样本,研究模式类所包含的特征信息研究模式类所包含的特征信息,并给出相应的表述方法。并给出相应的表述方法。u这一阶段的主要目标是获取尽可能多的表述特征。在这些特征中这一阶段的主要目标是获取尽可能多的表述特征。在这些特征中,有些可能满足类内稳定、类间离散的要求有些可能满足类内稳定、类间离散的要求,有的则可能不满足有的则可能不满足,不不能作为

12、分类的依据。能作为分类的依据。u根据样例分析得到一组表述观察对象的特征值根据样例分析得到一组表述观察对象的特征值,而不论特征是否而不论特征是否实用实用,称这一步为称这一步为特征形成特征形成,得到的特征称为得到的特征称为原始特征原始特征。u对原始特征集进行处理对原始特征集进行处理,去除对分类作用不大的特征去除对分类作用不大的特征,从而可以从而可以在保证性能的条件下在保证性能的条件下,通过降低特征空间的维数来减少分类方法通过降低特征空间的维数来减少分类方法的复杂度。的复杂度。第十五页，本课件共有56页特征提取：特征提取：u 通过映射通过映射(或变换或变换)的方法获取最有效的特征的方法获取最有效的特

13、征,实现特征空间的维实现特征空间的维数从高维到低维的变换。数从高维到低维的变换。经过映射后的特征称为经过映射后的特征称为二次特征二次特征,它们它们是原始特征的某种组合是原始特征的某种组合,最常用的是最常用的是线性组合线性组合。u 需要注意需要注意,特征提取一定要进行数学变换特征提取一定要进行数学变换,但数学变换未必就是但数学变换未必就是特征提取。特征提取。u 所谓所谓特征提取在广义上就是指一种变换特征提取在广义上就是指一种变换，若，若X是测量空间，是测量空间，Y是是特征空间，则特征空间，则称称变换变换 A：X Y 为特征提取器。为特征提取器。第十六页，本课件共有56页特征选择：特征选择：u 从

14、一组特征中挑选出对分类最有利的特征，达到降低特征空间维从一组特征中挑选出对分类最有利的特征，达到降低特征空间维数的目的。数的目的。第十七页，本课件共有56页u 假设已有假设已有n 维特征向量空间维特征向量空间 u 特征选择特征选择是指删去原来是指删去原来n维特征空间中的维特征空间中的一些特征描述量一些特征描述量,得到精简后的特征空间。在得到精简后的特征空间。在这个特征空间中，样本由这个特征空间中，样本由d维的特征向量描述。维的特征向量描述。u 由于由于y是是x的一个子集，因此每个分量的一个子集，因此每个分量yi必必然能在原特征集中找到其对应的特征分量。然能在原特征集中找到其对应的特征分量。u

15、特征提取特征提取是找到一个映射关系，使新样本特是找到一个映射关系，使新样本特征描述维数比原维数降低。征描述维数比原维数降低。u 其中每个分量其中每个分量yi是原特征向量的函数。是原特征向量的函数。第十八页，本课件共有56页 思考题思考题第十九页，本课件共有56页特特征征提提取取和和特特征征选选择择的的主主要要目目的的是是在在不不降降低低或或很很少少降降低低分分类类结结果果性性能能的的情情况况下下,降降低低特特征征空空间间的的维维数数,其其主主要作用在于要作用在于:(1)简简化化计计算算。特特征征空空间间的的维维数数越越高高,需需占占用用的的计计算算机机资资源源越多越多,设计和计算也就越复杂。设

16、计和计算也就越复杂。(2)简简化化特特征征空空间间结结构构。由由于于特特征征提提取取和和选选择择是是去去除除类类间间差差别别小小的的特特征征,保保留留类类间间差差别别大大的的特特征征,因因此此,在在特特征征空空间间中中,每每类类所所占占据据的的子子空空间间结结构构可可分分离离性性更更强强,从从而而也也简简化化了了类类间间分分界界面面形形状状的复杂度。的复杂度。四、特征提取和选择的作用四、特征提取和选择的作用第二十页，本课件共有56页 4.2 类的可分性判据类的可分性判据第二十一页，本课件共有56页n特征选择与特征提取的任务是降低特征空间的维数，特征选择与特征提取的任务是降低特征空间的维数，求出

17、一组对分类最有效的特征求出一组对分类最有效的特征（所谓最有效是指在特（所谓最有效是指在特征维数减少到同等水平时，其分类性能最佳）征维数减少到同等水平时，其分类性能最佳）。n高维特征变为低维特征的方法很多，究竟哪种方法最高维特征变为低维特征的方法很多，究竟哪种方法最有效，需要通过某种标准来衡量，有效，需要通过某种标准来衡量，在数学上就要构造在数学上就要构造某种准则某种准则(或判据或判据)，这种用以定量检验分类性能的准，这种用以定量检验分类性能的准则称为则称为类别可分离性判据类别可分离性判据。n类别可分离性判据，用来检验不同的特征组合对分类别可分离性判据，用来检验不同的特征组合对分类性能好坏的影响

18、，并用来导出特征选择与特征提类性能好坏的影响，并用来导出特征选择与特征提取的方法。取的方法。第二十二页，本课件共有56页(1)与与错误概率错误概率(或错误概率的上、或错误概率的上、下界下界)有单调关系有单调关系,使判据的极大值对应错误概率的最小值或较小值。使判据的极大值对应错误概率的最小值或较小值。(2)非负性非负性,即即其中其中,Jij表示第表示第i,j两类间的可分性判据。两类间的可分性判据。(3)对称性对称性,即即 Jij=Jji可分性判据满足以下要求可分性判据满足以下要求:第二十三页，本课件共有56页(4)当特征独立时当特征独立时,判据应具有可加性判据应具有可加性,即即(5)单调性。单调

19、性。对于特征向量而言对于特征向量而言,加入新的特征分量不会减少判据加入新的特征分量不会减少判据值值,即即 第二十四页，本课件共有56页4.2.1 基于距离的可分性判据基于距离的可分性判据u基于距离度量是人们常用来进行分类的重要依据，一般情况下同类基于距离度量是人们常用来进行分类的重要依据，一般情况下同类物体内各样本由于具有共性，因此物体内各样本由于具有共性，因此类内样本间距离应比跨类样本间距类内样本间距离应比跨类样本间距离小离小。因此。因此,利用类间距离构造类别的可分性判据是可行的。利用类间距离构造类别的可分性判据是可行的。u为了有利于分类为了有利于分类,总是希望不同类之间的距离大一些总是希望

20、不同类之间的距离大一些,而同类的样本而同类的样本较集中较集中,这样类别的可分性才越好。这样类别的可分性才越好。uFisher准则的基本原理是使类间距离尽可能大同时又保持类内距离较小。准则的基本原理是使类间距离尽可能大同时又保持类内距离较小。基于距离的可分性判据的实质是基于距离的可分性判据的实质是Fisher准则的延伸准则的延伸，即，即综合考虑不综合考虑不同类样本的类内聚集程度与类间的离散程度这两个因素同类样本的类内聚集程度与类间的离散程度这两个因素。同样在。同样在特征选择与特征提取中也使用类似的原理，称为特征选择与特征提取中也使用类似的原理，称为基于距离的可分性基于距离的可分性判据判据。第二十

21、五页，本课件共有56页1.两类之间的距离两类之间的距离设两类为设两类为i、j,分别有分别有Ni、Nj个样本个样本,即即 两类间的距离两类间的距离 :其中其中,D(xir,xjs)为向量为向量xir、xjs间的距离。间的距离。类间距离也具类间距离也具有对称性。有对称性。第二十六页，本课件共有56页常用的常用的点间距离点间距离有以下几种有以下几种:(1)欧几里德欧几里德(Euclidean)距离距离:其中其中,d为向量的维数。为向量的维数。(2)加权欧几里德距离加权欧几里德距离:第二十七页，本课件共有56页(3)汉明汉明(Hamming)距离距离:(4)马氏马氏(Mahalanobis)距离距离:

22、其中其中,M为一正定阵为一正定阵,wij为矩阵为矩阵M-1的元素。的元素。第二十八页，本课件共有56页(5)明可夫斯基明可夫斯基(Minkowsky)距离距离:其中其中:当当q=1时时,D(x,y)为汉氏距离为汉氏距离;当当q=2时时,D(x,y)为欧氏距离。为欧氏距离。(6)切比雪夫切比雪夫(Chebyshev)距离距离:第二十九页，本课件共有56页2.各类样本之间的平均距离各类样本之间的平均距离设设N个样本分别属于个样本分别属于m类类,i=xik,k=1,2,Ni,i=1,2,m,各类之间的平均距离为各类之间的平均距离为(5-14)其中其中,是先验概率是先验概率P(i)的估计的估计,即即

23、N为样本总数为样本总数,即即 第三十页，本课件共有56页 若点间距离取欧氏距离的平方若点间距离取欧氏距离的平方,以表示第以表示第i类的向量类的向量平均值平均值,以表示的统计平均值以表示的统计平均值,即即(5-15)(5-16)(5-17)则式则式(5-14)可化为可化为(5-18)第三十一页，本课件共有56页且有关系式且有关系式 令令则则分别是利用有限样本集得到的类均值分别是利用有限样本集得到的类均值i、总体均、总体均值值、类内离散度矩阵类内离散度矩阵Sw和类间离散度矩阵和类间离散度矩阵Sb的估计值。的估计值。第三十二页，本课件共有56页类均值类均值i、总体均值总体均值、类内离散度矩阵类内离散

24、度矩阵Sw和类间离散度矩阵和类间离散度矩阵Sb 第三十三页，本课件共有56页 为了有效地分类，为了有效地分类，判据值越大越好判据值越大越好。基于距离的可分性判据虽然简单直观，但只是对于基于距离的可分性判据虽然简单直观，但只是对于类间无类间无重叠的情况效果较好重叠的情况效果较好，若类间存在重叠，则效果会受到影响。，若类间存在重叠，则效果会受到影响。为了使所使用的特征能够有效地进行分类为了使所使用的特征能够有效地进行分类,我们希望我们希望类间离类间离散度尽量大散度尽量大,同时类内离散度尽量小同时类内离散度尽量小,从直观上看可以构造下面从直观上看可以构造下面各种判据各种判据:第三十四页，本课件共有5

25、6页4.2.2 基于概率密度函数的可分性判据基于概率密度函数的可分性判据u样本在特征空间的分布距离作为特征提取的依据样本在特征空间的分布距离作为特征提取的依据优点：优点：原理直观，计算简便原理直观，计算简便缺点：缺点：没有考虑概率分布，因此当不同类样本在特征空间中有部分没有考虑概率分布，因此当不同类样本在特征空间中有部分交迭分布时，简单地按距离划分，无法表明与错误概率之间的联系。交迭分布时，简单地按距离划分，无法表明与错误概率之间的联系。u依据不同类别类分布概率密度函数来构造判据、优化特征空间。依据不同类别类分布概率密度函数来构造判据、优化特征空间。不同类别聚集在特征空间的不同区域，它们重迭的

26、程度越低，不同类别聚集在特征空间的不同区域，它们重迭的程度越低，越有利于分类。越有利于分类。第三十五页，本课件共有56页基于概率密度函数的可分性判据主要考虑的是两类的概率基于概率密度函数的可分性判据主要考虑的是两类的概率分布情况。分布情况。考虑两种极端情况考虑两种极端情况,图图(a)中两类是中两类是完全可分完全可分的的,图图(b)中两类是中两类是完全不可分完全不可分的的,两类概率密度函数的重叠程度反两类概率密度函数的重叠程度反映了两类的可分性映了两类的可分性,因此因此,可以利用类条件概率密度函数构造可可以利用类条件概率密度函数构造可分性判据。分性判据。一维情况下两类类条件概率密度分布情况一维情

27、况下两类类条件概率密度分布情况第三十六页，本课件共有56页 基于概率密度函数的可分性判据：用各种方式来基于概率密度函数的可分性判据：用各种方式来度量两类概率密度函数之间重迭的程度。度量两类概率密度函数之间重迭的程度。u 用用p(x|1)和和 p(x|2)之间的乘法来计算类和类间的重迭之间的乘法来计算类和类间的重迭程度，像程度，像巴氏（巴氏（Bhattacharyya）距离）距离和和切诺夫切诺夫（Chernoff）界限距离）界限距离；u 用两者间的比值，称为用两者间的比值，称为散度散度。第三十七页，本课件共有56页基于类条件概率密度函数基于类条件概率密度函数p(x|1)、p(x|2)的可的可分性

28、判据分性判据Jp应满足以下四个条件应满足以下四个条件:(1)非负性非负性:(5-32)(2)对称性对称性:(5-33)(3)最大值最大值:当两类完全可分时当两类完全可分时,Jp具有最大值。具有最大值。(4)最小值最小值:当两类完全不可分时当两类完全不可分时,Jp具有最小值具有最小值,即即Jp=0。第三十八页，本课件共有56页三种典型的基于概率密度函数的可分性判据三种典型的基于概率密度函数的可分性判据 1.巴氏巴氏(Bhattacharyya)距离距离Bhattacharyya距离的定义式为距离的定义式为(5-34)它与最小错误概率判决准则的错误概率它与最小错误概率判决准则的错误概率Pe具有如下

29、关系具有如下关系:(5-35)第三十九页，本课件共有56页证明过程如下证明过程如下:第四十页，本课件共有56页2.切诺夫切诺夫(Chernoff)界限距离界限距离Chernoff界限距离的定义式为界限距离的定义式为(5-36)由定义式可见由定义式可见,当当s=1/2时时,Chernoff界限距离就是界限距离就是Bhattacharyya距离。距离。JB是是JC的特例。的特例。第四十一页，本课件共有56页一般情况下一般情况下Jc的计算比较困难的计算比较困难,当当1、的类条的类条件概率密度函数分别为正态分布密度函数件概率密度函数分别为正态分布密度函数(i,i)和和(j,j)时时,可以推导出可以推导

30、出第四十二页，本课件共有56页3.散度散度 对于两类的分类问题对于两类的分类问题,最大后验概率判决准则可以最大后验概率判决准则可以通过似然比和某通过似然比和某个阈值的比较个阈值的比较实现实现,似然比是分类的一个重要的度量。似然比是分类的一个重要的度量。u p(x|1)/p(x|2)越大越大,对类对类1来讲可分性越好来讲可分性越好,该比值反映了两类类该比值反映了两类类条件概率密度函数的重叠程度。条件概率密度函数的重叠程度。最大后验概率判决准则：最大后验概率判决准则：最小风险判决准则：最小风险判决准则：第四十三页，本课件共有56页u 为了保证为了保证概率密度函数完全重叠时判据为零概率密度函数完全重

31、叠时判据为零,应对该应对该比值比值p(x|1)/p(x|2)取对数取对数。对对两两类问题类问题，其，其对对数似然比数似然比为为 如果对某个如果对某个x，p(x|1)=p(x|2)，则，则l12=0；反之若；反之若两者差异越大，则两者差异越大，则l12的绝对值也大。的绝对值也大。第四十四页，本课件共有56页定义类定义类1相对于类相对于类2的平均可分性信息为的平均可分性信息为 类类2相对于类相对于类1的平均可分性信息为的平均可分性信息为 对于对于1和和2两类总的平均可分性信息称为散度两类总的平均可分性信息称为散度,其定义为其定义为 以上只是对某一以上只是对某一x值而言，又因为值而言，又因为x具有不

32、同的值，为了对整个特征空具有不同的值，为了对整个特征空间概率分布的差异程度作出评价，应该考虑取均值。间概率分布的差异程度作出评价，应该考虑取均值。第四十五页，本课件共有56页4.3 基于可分性判据的特征提取基于可分性判据的特征提取第四十六页，本课件共有56页 特征提取作为一种特征空间维数压缩方法特征提取作为一种特征空间维数压缩方法,其主要特其主要特点在于通过变换的方法实现对原始特征的计算点在于通过变换的方法实现对原始特征的计算,使变换后的二使变换后的二次特征可以去掉一些分量。次特征可以去掉一些分量。从数学上看从数学上看,任何定义在原始特征任何定义在原始特征空间上的任何数学计算都是一种变换。本节

33、主要讨论线性变换。空间上的任何数学计算都是一种变换。本节主要讨论线性变换。第四十七页，本课件共有56页基于可分性判据的特征提取基于可分性判据的特征提取方法的方法的基本思路基本思路如下如下:对于对于n个原始特征构成的特征向量个原始特征构成的特征向量x=(x1,x2,xn)T,特特征提取就是对征提取就是对x作线性变换作线性变换,产生产生d维向量维向量y=(y1,y2,yd)T,dn,即即 y=wTx。式中式中,w=wnd称为特征提取矩阵或简称变称为特征提取矩阵或简称变换矩阵换矩阵。基于可分性判据的特征提取就是基于可分性判据的特征提取就是在一定的可分性判据下在一定的可分性判据下,如何求最优的变换矩阵

34、如何求最优的变换矩阵w。第四十八页，本课件共有56页一、基于距离可分性判据的特征提取方法一、基于距离可分性判据的特征提取方法 基于距离的可分性判据反映了一个基本思想基于距离的可分性判据反映了一个基本思想,即即类内距离小类内距离小和类间距离大和类间距离大的要求。的要求。设设Sw和和Sb为原始特征空间的类内离散度矩阵和类间离散度为原始特征空间的类内离散度矩阵和类间离散度矩阵矩阵,S*w和和S*b为变换后特征空间的类内离散度矩阵和类间离散为变换后特征空间的类内离散度矩阵和类间离散度矩阵度矩阵,W为变换矩阵。为变换矩阵。则有则有在变换域中在变换域中,为了求使为了求使J2(W)最大的变换最大的变换,就要

35、求就要求J2(W)对对W的各分量的的各分量的偏导数为零。偏导数为零。第四十九页，本课件共有56页n求解变换矩阵的解析解法求解变换矩阵的解析解法 设矩阵设矩阵S-1wSb的特征值为的特征值为1,2,n,按大小顺序排列按大小顺序排列为为 相应的正交化、相应的正交化、归一化的特征向量为归一化的特征向量为 选前选前d个特征向量作为变换矩阵个特征向量作为变换矩阵:第五十页，本课件共有56页二、基于概率密度函数可分性判据的特征提取方法二、基于概率密度函数可分性判据的特征提取方法多元正态分布的两类问题多元正态分布的两类问题 设设n维原始特征向量维原始特征向量x经线性变换后的二次特征向量经线性变换后的二次特征

36、向量为为y,即即在映射后的特征空间内建立某种准则函数在映射后的特征空间内建立某种准则函数,使得它为变使得它为变换矩阵换矩阵W 的函数的函数:其中其中,Jc为基于概率密度函数的可分性判据为基于概率密度函数的可分性判据,如前面介绍的如前面介绍的巴氏距离和巴氏距离和Chernoff距离等可分性判据。距离等可分性判据。第五十一页，本课件共有56页 通过求解判据的极值点即可得到使映射后的特征组可分通过求解判据的极值点即可得到使映射后的特征组可分性最好的变换矩阵。在性最好的变换矩阵。在Jc(W)可微的情况下可微的情况下,就是求解偏微就是求解偏微分方程分方程:当两类都是正态分布时当两类都是正态分布时,两类的

37、分布函数分别为两类的分布函数分别为 基于基于Chernoff距离的特征提取方法距离的特征提取方法第五十二页，本课件共有56页变换后的判据变换后的判据Jc是是W的函数的函数,记为记为Jc(W)式中式中,M=(1-2)(1-2)T。第五十三页，本课件共有56页 因为因为Jc(W)是标量是标量,可以可以对对W的各个分量求偏导的各个分量求偏导,并令并令其为零其为零,简化后的矩阵方程为简化后的矩阵方程为上式是上式是W的非线性函数的非线性函数,只能采用数值优化的方法得到近只能采用数值优化的方法得到近似最优解。似最优解。第五十四页，本课件共有56页n两种特殊情况下求解最优变换矩阵的解法两种特殊情况下求解最优

38、变换矩阵的解法 1 1)1 1=2 2=,1 12 2最优特征提取矩阵是由最优特征提取矩阵是由-1M矩阵的特征向量构成的。矩阵的特征向量构成的。矩阵矩阵M的秩为的秩为1,故故-1M只有一个非零特征值只有一个非零特征值,对应于特对应于特征值为零的那些特征向量对征值为零的那些特征向量对Jc(W)没有影响没有影响,因此可以因此可以舍去舍去,所以最优变换所以最优变换W是是-1M的非零特征值对应的特征的非零特征值对应的特征向量向量v,即即 W=W=v=-1-1(1 1-2 2)第五十五页，本课件共有56页 2)12,1=2最优特征矩阵是由最优特征矩阵是由-121满足下列关系满足下列关系:的前的前d个特征值所对应的特征向量构成的个特征值所对应的特征向量构成的,此时此时Jc(W)取最大值。取最大值。第五十六页，本课件共有56页