流形学习的统一框架及其在模式识别中的应用.pdf

《流形学习的统一框架及其在模式识别中的应用.pdf》由会员分享，可在线阅读，更多相关《流形学习的统一框架及其在模式识别中的应用.pdf（112页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、中山大学博士学位论文流形学习的统一框架及其在模式识别中的应用姓名：鲁春元申请学位级别：博士专业：信息计算科学指导教师：冯国灿20090606摘要流形学习的统一框架及其在模式识别中的应用专业：信息计算科学博士生：鲁春元导师：冯国灿教授摘要随着信息时代的到来，人们获得了方便的信息提取于段，也面临着复杂的海量数据处理的问题，尤其是面对模式识别、数据挖掘、图像处理与机器学习领域中的海量数据时。这些数据往往都呈现出高维数、高增长率、难以被人感知的特点。因此如何从这些数据中合理有效的找到对人们有用的信息成为亟待解决的问题。数据降维是一种有效的处理手段。降维就是要在保持数据信息尽量完整的条件下合理的降低数据

2、的维数。通过发现和描述数据内部的规律来降低数据维数，从而满足人们压缩、存储、感知和进一步复杂处理的需要。传统的降维方法往往都假定数据的分布具有全局线性特性。其中广泛应用的有：独立分量分析(I C A)，主成分分析(P C A)和线性判别分析(L D A)等等。显然这种假设大大限制了传统降维方法的能力。当面临的真实数据大多是呈现相互关联，非线性化的结构时，传统的降维方法显得越来越无能为力。近年来，一类具有代表性的非线性降维算法，如等距流形映射(I S o M A P)、局部线性嵌入(L L E)等方法的提出，引起了人们极大的兴趣。由于这类算法的能够发现嵌入在高维空间中的低维流形结构，所以也把这类

3、算法叫做流形学习算法。中lJ 1 人学博上学位论文流形学习的统一框架及其在模式识别r l l 的应用流形学习是一种新的机器学习与认知科学的方法。它的主要目标是发现嵌入在高维数据空间的低维光滑流形表示及其嵌入规则。目前，流形学列算法已经成为降维领域的一个研究热点，并且流形学习算法在高维数据可视化、人脸识别和文本分类等领域取得了一定的效果。本文针对几种有代表性的流形学习算法进行了深入的研究，主要探讨了流形学习的框架理论相关研究及其在模式识别中的应用。在理论方面本文做出了两方面的工作。一是构造了一个统一框架，将传统的线性降维算法如主成分分析(P C A)、线性判别分析(L D A)与流形学习算法如I

4、 S O M A P、L L E、保近邻嵌入(N P E)、拉普拉斯特征映射(L E)、保局投影(L P P)与边界费舍尔分析(M F A)等统一到这个框架之下。并在提出的统一框架下构造了一个新的流形学习算法一一子流形保形分析(S u b M a n i f o l dP r e s e r v i n gA n a l y s i s，简称S M P A)。该算法不仅适于数据可视化，也适于模式分类。实验结果表明该算法优于其他算法。二是摆脱传统核方法在核函数上的制约，构造出了数据上的最优流形核矩阵。本文通过将本文框架下的流形学习转变为一个半正定规划问题，通过半正定规划的技术构造最优核矩阵。实验

5、结果显示了该方法的有效性。在应用方面，本文针对目前流形学习算法在模式识别应用中稳定性较差，识别率不高的情况，结合A d a B o o s t 方法，提出了一套新的最优分类流形子空间的人脸识别方法。另外，本文还提出了一种基于流形分值的特征选择方法。总的来说，本文的主要贡献包括以下五个方面：1 本文对几种有代表性的流形学习算法进行了深入的研究，提出了基于度量的流形学习算法的统一框架。该框架能够将现有的降维算法(P C A、L D A 等线性算法与I S O M A P、L L E、N P E、L E、L P P、M F A 等非线性降维算法)统一起来，更好地解释与比较各个算法的优劣。2 在本文提

6、出的框架下，能够根据不同的目的衍生出不同的算法。由此本文提出了一个用于数据可视化与分类的新算法一一子流形保形分析(S M P A)。该算法旨在进行分类的情况下，保持多类数据中的子流形结I l摘要构。实验验证了该算法的有效性。3 在模式分类中，数据的特征极为关键，本文提出了基于本文框架下流形学习的流形分值特征选择。这种特征选择方法在模式识别应用上显示了较好的效果。4 本文突破传统核方法在核函数上的制约，通过半正定规划(S D P)构造最优流形核矩阵。相关实验结果显示了该方法的有效性。5 本文结合A d a B o o s t 方法，提出了一套新的最优分类流形子空间的人脸识别方法。该方法不仅能提高

7、识别率，而且具有很好的稳定性和抗光照能力。关键词：流形学习，框架，特征选择，核技巧，半正定规划，模式识别I I IA b s t r a c tAU n i f i e dM a n i f o l dL e a r n i n gF r a m e w o r ka n di t sA p p l i c a t i o n si nP a t t e r nR e c o g n i t i o nM a jo r：I n f o r m a t i c s&C o m p u t a t i o n a lS c i e n c eN a m e：L uC h u n y u a nS

8、u p e r v i s o r：P r o f F e n gG u o c a nA b s t r a c tN o w a d a y s，p e o p l ea r ef a c i n gw i t hal o to fm a s s i v ei n f o r m a t i o n，e s p e c i a l l yi nt h ef i e l d so fp a t t e mr e c o g n i t i o n，d a t am i n i n g，i m a g ep r o c e s s i n ga n dm a c h i n el e a r

9、n i n g T h eh i g hd i m e n s i o n a ld a t aa r ev e r yd i f f i c u l tt ob ep e r c e i v e d T h e r e f o r e，h o wt oe x t r a c tr e a s o n a b l e，e f f e c t i v ea n du s e f u li n f o r m a t i o nf r o mc o m p l e xd a t aa n dv i s u a ld a t aa r ei m p o r t a n tp r o b l e m

10、s D i m e n s i o n a l i t yr e d u c t i o ni sa ne f f e c t i v ef r e q u e n t l yu s e dm e t h o d T h ep u r p o s eo fd i m e n s i o n a l i t)rr e d u c t i o ni st om a i n t a i nt h ed e s i r e di n t e r n a ls t r u c t u r eo fd a t aa sm u c ha sp o s s i b l ea n dt or e d u c e

11、t h ed a t ad i m e n s i o nr e a s o n a b l y V i ad i s c o v e r ya n dd e s c r i p t i o no ft h ed a t a Si n t e r n a ls t r u c t u r e，w ec a nr e d u c et h ed a t ad i m e n s i o nt om e e tt h er e q u i r e m e n to ff e a t u r er e p r e s e n t a t i o n，d a t ac o m p r e s s i

12、o n，d a t as t o r a g e，p e r c e p t i o na n de v e nf u r t h e rc o m p l e xp r o c e s s i n g M a n yc o n v e n t i o n a lm e t h o d s，s u c ha sI n d e p e n d e n tC o m p o n e n tA n a l y s i s(I C A)，P r i n c i p a lC o m p o n e n tA n a l y s i s(P C A)，e t c w i t ht h ea s s u

13、m p t i o nt h a tt h ed a t al i eo nag l o b a ll i n e a rs t r u c t u r e I ti sc l e a rt h a tt h i sa s s u m p t i o nl i m i t st h ep o w e ro ft r a d i t i o n a ld i m e n s i o n a l i t yr e d u c t i o nm e t h o d s I nt h ep r a c t i c a lw o r l d，d a t aa r ea l w a y sS Oi n t

14、 e r r e l a t e da n dn o n l i n e a rt h a tt h et r a d i t i o n a ld i m e n s i o n a l i t yr e d u c t i o nm e t h o d sb e c o m ep o w e r l e s s V中山大学博士学位论文流形学习的统一框架及其在模式识别中的应用I nt h ep a s tf e wy e a r s，s o m ew e l l-k n o w nn o n l i n e a rd i m e n s i o n a l i t yr e d u c t

15、i o na l g o r i t h m ss u c ha sI s o m e t r i cM a p p i n g(I S O M A P)，L o c a l l yL i n e a rE m b e d d i n g(L L E)，e t c h a v ea t t r a c t e dm o r ea n dm o r ea t t e n t i o no fs c h o l a r sf r o ma l lk i n d so fr e s e a r c ha r e a s S i n c et h e s ea l g o r i t h m sa r

16、 ed e s i g n e dt of i n dt h el o w-d i m e n s i o n a lm a n i f o l d sw h i c he m b e d d e di nt h ea m b i e n th i g h-d i m e n s i o n a ls p a c e，S Ot h e ya r ea l s o c a l l e dm a n i f o l dl e a r n i n ga l g o r i t h m s M a n i f o l dl e a r n i n gi sat y p eo fn e wm e t h

17、 o d so fm a c h i n el e a r n i n ga n dc o g n i t i v es c i e n c e T h em a i ng o a li st or e c o v e rs m o o t hl o w-d i m e n s i o n a lm a n i f o l d sa n dt h ee m b e d d i n gr u l e s、i t hw h i c hd a t ai se m b e d d e di nh i g hd i m e n s i o n a ld a t as p a c e R e c e n

18、t l y,t h em a n i f o l dl e a r n i n gh a sb e c o m ear e s e a r c hs p o t l i g h ta n ds t a r t st ob ea p p l i e di ni m a g ea n a l y s i s，c o m p u t e rv i s i o n，a n dd o c u m e n t sa n a l y s i s I nt h i st h e s i s，s o m et y p i c a lm a n i f o l dl e a r n i n ga l g o r

19、i t h m sa r es u m m a r i z e df i r s t，a n dt h e nt h et h e o r i e so fm a n i f o l dl e a r n i n gh a v eb e e nd e v e l o p e da n ds o m ep r a c t i c a la p p l i c a t i o n si np a t t e mr e c o g n i t i o nh a v eb e e ni n t r o d u c e d F i r s t，w ep r e s e n t e dag e n e r

20、 a lf r a m e w o r kw h i c ho f f e r sau n i f i e dv i e wf o ru n d e r s t a n d i n ga n de x p l a i n i n gd i m e n s i o n a l i t yr e d u c t i o na l g o r i t h m ss u c h8 8P C A，L D A，I S O M A P,L L E，L a p l a c i a nE i g e n m a p(L E)，L o c a l i t yP r e s e r v i n gP r o j e

21、 c t i o n(L P P)，N e i g h b o r h o o dP r e s e r v i n gE m b e d d i n g(N P E)，a n dM a r g i n a lF i s h e rA n a l y s i s(M F A)S e c o n d，an o v e ld i m e n s i o n a l i t yr e d u c t i o na l g o r i t h m，S u b M a n i f o l dP r e s e r v i n gA n a l y s i s(S M P A)h a sb e e np

22、r o p o s e df o rc l a s s i f i c a t i o na n dv i s u a l i z a t i o nw i t h i nt h ef r a m e w o r k M o r e o v e r,w ed i s c u s sh o wt ol e a r na no p t i m a lk e m e lm a t r i xf o rh i g hd i m e n s i o n a ld a t at h a tl i e so ne x a c to rn e a ral o wd i m e n s i o n a lm a

23、 n i f o l d S oan o v e la l g o r i t h mi si n t r o d u c e db a s e do nS e m i D e f i n i t eP r o g r a m(S D P)I np r a c t i c a la p p l i c a t i o n，m a n i f o l dl e a f i n gm e t h o d sh a v es o m eg r e a td r a w b a c k s，s u c ha st h eh i g he r r o rr a t ea n dt h eu n s t

24、a b i l i t yo np a t t e mr e c o g n i t i o n I no r d e rt oc o p e谢t l lt h e s ed r a w b a c k s，an e wf a c er e c o g n i t i o nm e t h o db a s e do nm a n i f o l dl e a r n i n ga l g o r i t h ma n dA d a B o o s th a sb e e np r o p o s e di nt h i st h e s i s Af e a t u r es e l e c

25、 t i o nm e t h o db a s e do nm a n i f o l ds c o r eh a sa l s ob e e np r e s e n t e d V IA b s t r a c tT h em a i na c h i e v e m e n t si nt h i st h e s i sa r ea sf o l l o w s：1 An o v e lg e n e r a ld i m e n s i o n a l i t yr e d u c t i o nf r a m e w o r kb a s e do nt h es i m i l

26、 a ra n dd i s s i m i l a rm e t r i cl e a r n i n gi sp r o p o s e di n t h i sp a p e r W i t h i nt h ef r a m e w o r kw ec a ne x p l o i tt h eg e o m e t r yo fd a t aa n dr e d u c et h ed a t ad i m e n s i o n A l s ot h ep r o p o s e df r a m e w o r kc a nu n i f ya l m o s ta l lt h

27、 ee x i s t i n gd i m e n s i o n a l i t yr e d u c t i o na l g o r i t h m s 2 T h i sm e t r i cl e a r n i n gf r a m e w o r kC a nb eu s e da sap l a t f o r mf o re x p l o r i n gn e wd i m e n s i o n a l i t yr e d u c t i o na l g o r i t h m s U t i l i z i n gt h i sf r a m e w o r k，

28、an o v e ls u p e r v i s e dd i m e n s i o n a l i t yr e d u c t i o na l g o r i t h mn a m e dS u b-M a n i f o l dP r e s e r v i n gA n a l y s i s(S M P A)i sd e v e l o p e d 3 F e a t u r es e l e c t i o ni sv e r yi m p o r t a n tf o rp a t t e r nc l a s s i f i c a t i o n An o v e lm

29、 a n i f o l ds c o r ef e a t u r es e l e c t i o na l g o r i t h mb a s e do no p t i m a lf u n c t i o ni sp r e s e n t e di nt h i st h e s i s 4 C o m b i n i n gs e m i d e f i n i t ep r o g r a mw i t hk e r n e ls k i l l s，an o v e la l g o r i t h mh a sb e e np r o p o s e dt ol e a

30、r na no p t i m a lk e r n e lm a t r i xf o rh i g hd i m e n s i o n a ld a t aw h i c hl i e so ne x a c to rn e a ral o wd i m e n s i o n a lm a n i f o l d 5 T h i st h e s i si n t r o d u c e sab o o s t e dm a n i f o l dl e a r n i n ga l g o r i t h mt o w a r d sa u t o m a t i c2 Df a c

31、 er e c o g n i t i o nb yu s i n gA d a B o o s tt os e l e c tt h em o s tp o s s i b l ed i s c r i m i n a t i n gp r o j e c t i o nf o rm a n i f o l dl e a r n i n g T h i sa l g o r i t h me x p l o i t sb o t ht h es t r e n g t ho f A d a B o o s ta n dm a n i f o l dl e a r n i n g K e yw

32、 o r d s：M a n i f o l dl e a r n i n g，F r a m e w o r k，F e a t u r eS e l e c t i o n,K e r n e lS k i l l s，S e m i-D e f i n i t eP r o g r a m，P a a e mR e c o g n i t i o nV I I索弓索引下面给出本文中经常用到的算法以及本文中提出的算法的简称与全称，便于读者查阅。本文提出的算法在表格中高亮显示。英文简称英文全称中文全称A d a B O O s tA d a p t i v eB o o s t i n g自

33、适应提升H L L EH e s s i a nE i g e n m a p赫森特征映射I C AI n d e p e n d e n tC o m p o n e n tA n a l y s i s独立分量分析I S O M A PI S O m e t r i cM A P p i n g等距流形映射K P C AK e r n e lP r i n c i p l eC o m p o n e n tA n a l y s i s核主成分分析L D AL i n e a rD i s c r i m i n a n tA n a l y s i s线性判别分析L EL a p l

34、a c i a nE i g e n m a p拉普拉斯特征映射L L EL o c a l l yL i n e a rE m b e d d i n g局部线性嵌入L P PL o c a l i t yP r e s e r v i n gP r o j e c t i o n s保局投影【月S AL o c a lT a n g e n tS p a c eA l i g n m e n t局部切空间排列M F AM a r g i n a lF i s h e rA n a l y s i s边界费舍尔分析N P EN e i g h b o r h o o dP r e s e r

35、 v i n gE m b e d d i n g保近邻嵌入P C AP r i n c i p a lC o m p o n e n tA n a l y s i s主成分分析S D ES e m i D e f i n i t eE m b e d d i n g半正定嵌入S D PS e m i d e f i n i t eP r o g r a m半正定规划S D S M P AS e m i d e f i n i t e S u b-M a n i f o l dP r e s e r v i n gA n a l y s i s子流形保形最优核矩阵S M P AS u b-M

36、a n i f o l dP r e s e r v i n gA n a l y s i s子流形保形分析1 0 1论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：搋日期：加乎年f 月扩日学位论文使用授权声明本人完全了解中山大学有关保留、使用学位论文的规定，即：学校有权保留学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版，有

37、权将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆、院系资料室被查阅，有权将学位论文的内容编入有关数据库进行检索，可以采用复印、缩印或其他方法保存学位论文。学位论文作者签名：厮衫日期：幻D 7 年易月夕日导师签名：日期：年月日第1 章引言1 1 研究背景和意义1 1 1 模式识别概述第1 章引言我们对世界的感知是通过处理大量的感觉器官的输入信息而形成的，这些信息包括图像像素点的颜色、亮度，声音的功率谱等等。我们在感知的世界中时时刻刻都在进行着模式识别。环顾四周，我们能认出周围的物体是电脑还是书架，能分辨出草地、建筑物；听到声音，我们能区分出是人声还是猫叫，是汽车鸣笛还是键盘敲击声；闻

38、到气味，我们能判别是醋酸还是酒精。人类甚至动物所具备的模式识别能力看起来及其平常，计算机出现后，当人们企图用计算机来实现人和动物所具备的模式识别能力时，它的难度才逐步为人们所认识。什么是模式呢?广义的说，存在于时间空间中可观察的事物，如果能被人区别它们是否相同、相似或是不同，都可以称为模式，它指的是我们从事物获得的表示这一事物的信息。计算机进行模式识别，信息进入计算机之前通常要经过取样和量化，因此信息大都表现为向量或数组。通常，我们把通过对具体的个别事物进行观测所得到的具有时间和空间分布的信息称为模式，而把模式所属的类别或同一类中的模式的总体成为模式类(或模式，个别具体的模式称为样本)。模式识

39、别的主要任务就是根据样本信息判别其所属的类别。模式识别系统主要由4 个部分组成：数据获取、预处理、特征提取和选择、分类决策，如图卜1所示。中1 1 1 人学博上学位论文流形学刊的统框架及其在模式谚 别一I 一的应川图1 1 模式识别系统的基本构成常见的模式识别方法有：判别函数法、k 近邻分类法、非线性映射法、特征分析法、主成分分析法和支持向量机等等。模式识别应用广泛，如文字识别、语音识别、指纹识别、人脸识别以及纹理分类、图像分割、边界检测等等。模式识别发展至今，人们的一种普遍看法是不存在对所有模式识别问题都适用的单一模型和解决识别问题的单一技术。因此，模式识别一直朝着根据具体问题，与人工智能、

40、机器学习相结合、互相取长补短的方向发展。1 1 2 降维技术信息时代的到来，尤其随着计算机与互联网的高速发展，人们现实生活中获得的数据往往都是呈海量高维的。如全球气候模式、航天遥感数据、恒星光谱、消费市场数据、人的基因分布以及图像数据。一方面，人们获得的信息越来越纷繁复杂，寻找数据下的客观规律越来越重要；另一方面，维数膨胀引发的维数灾难问题也给数据分析带来了巨大难题。维数灾难随1 的概念是由B e l l m a n 在1 9 6 1 年提出的，它是指这样一个事实：在给定逼近精度的条件下，估计一个多元函数所需的样本点数随着变量个数的增加以指数形式增长。这个结论对高维数据统计方法的影响是极其深刻

41、的。例如，大2第l 章引言多数的密度光滑函数是基于观察数据的局部均值，但由于维数灾难所引起的高维数据空间的稀疏性，为了保证精度必须找足够多的点，从而使得多元光滑函数要延伸到很远的地方而失去了局部性。因此，无论是从提高系统效率、减少数据相关性还是从解决维数灾难的角度出发，数据降维都是数据分析中必不可少的步骤。下面对降维给出定义：假设D 维空间上的一个样本集为X=而，屯，矗I 薯R D)。定义降维问题的模型为仪F 夕，其中，x 为数据集，降维映射为FF：x 专YcR d，x t 专Y j=，(薯)称为X 到低维空间的嵌入映射。根据降维映射形式的不同，可以将降维算法分成线性和非线性的。线性降维方法有

42、主成分分析方法隋3(P r i n c i p l eC o m p o n e n tA n a l y s i s，简称P C A)、线性判别分析方法阳1(L i n e a rD i s c r i m i n a n tA n a l y s i s，简称L D A)等，这一类方法适用于处理线性结构，思想简单直观，计算方便，是大量使用的降维方法，但它们对于非线性程度较高的问题效果不好。能够实现非线性降维的方法有核主成分分析(K e r n e lP r i n c i p l eC o m p o n e n tA n a l y s i s，简称K P C A)、局部线性嵌入嘲(L

43、o c a lL i n e a rE m b e d d i n g，简称L L E)、等距流形映射(I S O m e t r i cM A P p i n g，简称I S O M A P)n 们和拉普拉斯特征映射n 订(L a p l a c i a nE i g e n m a p，简称L E)等。降维技术被广泛的应用在模式识别、机器学习、图像处理和计算机视觉等领域。由于现实中非线性降维更具适用性，因此目前对于非线性的降维方法有很多研究和发展，如：主曲线n 那叼、流形学习、神经网络、基因遗传算法等。对各个具体领域的改进的或综合的降维算法、新的降维算法、降维算法的效率等仍是研究的热点。3

44、中l l J 人学博上学位论文流形学习的统，框架及其在模式识别l f l 的应用1 1 3 流形学习为解决线性降维算法的缺陷，人们开始寻求非线性的降维方法。特别是2 0 0 0年在人脑感知认知科学方面的进展为流形学习这类非线性降维方法提供了理论基础。人脑之所以能处理极其复杂的分析推理问题是因为人脑神经元能够对输入的信号做非线性的处理。近年来，神经科学的研究取得很多重大发展。越来越多的研究表明神经元对输入信号的处理是由输入信号的内在低维结构所控制。2 0 0 0年在S c i e n c e 上，S e u n g n 钔等人就提出感知以流形方式存在，视觉记忆也是以稳态的流形(或连续吸引子)存储

45、。同年R o w e l s，S a u l 阳1 和T e n e n b a u m n 们等人提出了两种典型的非线性降维的方法，引发了流形学习和非线性降维研究的热潮。现在的流形学习的方法大致上可以分成两类：一类是全局方法(如I S O f l A P)，在降维时将流形上邻近的点映射到低维空间中的邻近点，同时保证将流形上距离远的点映射到低维空间中远距离的点；另一类是局部方法(如L L E、L E 等)，这些流形降维方法是保证流形上局部结构特性保持不变，使得近距离的点映射到低维空间中的邻近点。流形学习算法的理论基础研究涉及微分几何、图论、矩阵分析、概率、随机过程等多个数学分支，其理论研究还不

46、是很充分。目前流形学习作为一种非线性降维或数据可视化方法，已经在人脸，手写数字图像处理取得了一定的效果。1 1 4 特征选择特征选择是机器学习领域的重要问题。广义的说，特征选择也是降维方法的一类。特征选择对机器学习领域的所有问题都有重大意义，包括文本分类、数据挖掘、生物信息学、计算机视觉、信息检索和时间序列预测等。在一个学习算法通过训练样本对未知样本进行预测之前，必须决定哪些特征应该采用，哪些特征4第l 章引言应该忽略。在机器学习领域，学习算法方面已经开展了大量的研究，但特征选择方面的研究则相对较少。自二十世纪九十年代以来，特征选择方面的研究引起机器学列领域学者前所未有的重视，主要原因有以下两

47、个方面：1 许多学习算法的性能受到不相关或冗余特征的负面影响n 铂n 引。选择好的特征不仅可以减小计算复杂度，提高分类准确度，而且有助于寻找更精简更易理解的算法模型。2 大规模数据处理问题的不断出现。所谓大规模，一方面指样本数目的庞大，另一方面指描述样本的特征维数高。数据挖掘的发展对大规模数据处理的研究提出了迫切的要求，如信息检索、遗传基因分析等n5 1。如此就迫切需要特征选择算法对高维数据进行降维，而高维数据的特征选择也对已有的特征选择算法提出了严峻的挑战。由于上述原因，特征选择逐渐成为机器学习领域重要的研究方向，引起越来越多的机器学习领域学者的兴趣。1 1 5 人脸识别人脸识别是最典型的模

48、式识别。人脸识别就是对于输入的人脸图像，提取每个人脸中所蕴含的身份特征，并将其与已知人脸库中的人脸进行对比，从而识别每个人脸的身份。人脸识别技术具有广泛的应用前景，在国家安全、军事安全和公共安全领域，智能门禁、智能视频监控、公安布控、海关身份验证、司机驾照验证等有典型的应用；在民事和经济领域，各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身份验证，社会保险人的身份验证等具有重要的应用价值；在家庭娱乐等领域，人脸识别也具有一些有趣有益的应用，比如能够识别主人身份的智能玩具、家政机器人，具有真实面像的虚拟游戏玩家等等。人脸识别的研究可以追溯到上个世纪六、七十年代，经过几十年的曲折发展已日趋成熟。C

49、h e l l e p p a，W i l s o n 和S i r o h e y 详细综述了目前的人脸识别技术的中山大学博士学位论文流形学习的统。框架及其在模式识别l I 的应用不同方法b 钊。目前的识别方法主要有三大类，整体匹配的方法，基于特征(结构)匹配方法和混合方法。其中最广为人知的方法是基于E i g e n f a c e s 睛1 和F i s h e r f a c e s 拍3 的方法。他们都可以被归类为整体匹配技术。这类办法一般直接对整个面部区域进行操作。通过这种二维(平面)识别系统，可避免三维数据采集，大量的计算，光照或反射表面的敏感性问题。目前，光照敏感性和表情变化是

50、当今人脸识别的主要难题，基于视频的人脸识别也是人脸识别领域的难点，近年的研究都有在这方面探讨口3。为了检验本文后续工作中提出的流形学习框架和子流形保形分析算法，本文将在几个主要的人脸库上进行测试。1 2 本文的工作本论文的主要研究工作如下：1 本文对几种有代表性的流形学习算法进行了深入的研究，提出了基于度量的流形学习算法的统一框架。该框架能够将现有的降维算法(P C A、L D A 等线性算法与I S O M A P、L L E、N P E、L E、L P P、M F A 等非线性降维算法)统一起来，更好的解释与比较各个算法的优劣。2 在本文提出的框架下，能够根据不同的目的衍生出不同的算法。本