模式识别第一章绪论.pdf

《模式识别第一章绪论.pdf》由会员分享，可在线阅读，更多相关《模式识别第一章绪论.pdf（40页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、1模式识别模式识别引 言引 言2课程对象课程对象控制科学与技术控制科学与技术专业硕士研究生的专业基础课专业硕士研究生的专业基础课计算机应用技术计算机应用技术专业硕士研究生的专业基础课专业硕士研究生的专业基础课电子科学与技术电子科学与技术学科硕士研究生的专业基础课学科硕士研究生的专业基础课教学方法教学方法着重讲述模式识别的基本概念，基本方法和算法原理。着重讲述模式识别的基本概念，基本方法和算法原理。注重理论与实践紧密结合。注重理论与实践紧密结合。实例教学：通过大量实例讲述如何将所学知识运用到实际应用之中实例教学：通过大量实例讲述如何将所学知识运用到实际应用之中避免引用过多的、繁琐的数学推导。避免

2、引用过多的、繁琐的数学推导。3教学任务教学任务掌握模式识别的基本概念和方法。掌握模式识别的基本概念和方法。有效地运用所学知识和方法解决实际问题。有效地运用所学知识和方法解决实际问题。为研究新的模式识别的理论和方法打下基础。为研究新的模式识别的理论和方法打下基础。教材教材边肇祺，边肇祺，模式识别模式识别（第二版），清华大学出版社，（第二版），清华大学出版社，2000。R.Duda,P.Hart,D.Stork,Pattern Classification,second edition,2000（有中译本）。（有中译本）。4考核方式考核方式1.考勤（考勤（10分，课堂提问，一次没到扣分，课堂提问，

3、一次没到扣2分）分）2.大作业（共大作业（共3次，每次次，每次10分）分）方式：分组（每组方式：分组（每组6人），充分讨论，共同完成人），充分讨论，共同完成展示：每组派展示：每组派1人上台介绍工作，每组人上台介绍工作，每组15分钟分钟3.专题介绍（专题介绍（10分，每组分，每组1次）次）方式：上台介绍，从内容、形式、风貌全面考核方式：上台介绍，从内容、形式、风貌全面考核4.闭卷考试（闭卷考试（50分）分）第一章 模式识别概论第一章 模式识别概论5什么是模式（什么是模式（Pattern）？）？什么是模式？什么是模式？广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似

4、，都可以称之为模式。广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。模式的直观特性模式的直观特性:可观察性可观察性可区分性可区分性相似性相似性6模式识别的概念模式识别的概念模式识别模式识别 直观，无所不在，直观，无所不在，“人以类聚，物以群分人以类聚，物以群分”周围物体的认知：桌子、椅子周围物体的认知：桌子、椅子人的识别：张三、李四人的识别：张三、李四声音的辨别

5、：汽车、火车，狗叫、人语声音的辨别：汽车、火车，狗叫、人语气味的分辨：炸带鱼、红烧肉气味的分辨：炸带鱼、红烧肉人和动物的模式识别能力是极其平常的，但对计算机来说却是非常困难的。人和动物的模式识别能力是极其平常的，但对计算机来说却是非常困难的。模式识别的研究模式识别的研究目的：利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。目的：利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。Y=F(X)X的定义域取自特征集的定义域取自特征集Y的值域为类别的标号集的值域为类别的标号集F是模式识别的判别方法是模式识别的判别方法7模式识

6、别简史模式识别简史1929年年 G.Tauschek发明阅读机，能够阅读发明阅读机，能够阅读0-9的数字。的数字。30年代年代 Fisher提出统计分类理论，奠定了统计模式识别的基础。提出统计分类理论，奠定了统计模式识别的基础。50年代年代 Noam Chemsky 提出形式语言理论提出形式语言理论傅京荪 提出句法结构模式识别。傅京荪 提出句法结构模式识别。60年代年代 L.A.Zadeh提出了模糊集理论，模糊模式识别方法得以发展和应用。提出了模糊集理论，模糊模式识别方法得以发展和应用。80年代以年代以Hopfield网、网、BP网为代表的神经网络模型导致人工神经元网络复活，并在模式识别得到较

7、广泛的应用。网为代表的神经网络模型导致人工神经元网络复活，并在模式识别得到较广泛的应用。90年代小样本学习理论，支持向量机也受到了很大的重视。年代小样本学习理论，支持向量机也受到了很大的重视。模式识别的应用（举例）模式识别的应用（举例）生物学生物学自动细胞学、染色体特性研究、遗传研究自动细胞学、染色体特性研究、遗传研究天文学天文学天文望远镜图像分析、自动光谱学天文望远镜图像分析、自动光谱学经济学经济学股票交易预测、企业行为分析股票交易预测、企业行为分析医学医学心电图分析、脑电图分析、医学图像分析心电图分析、脑电图分析、医学图像分析8模式识别的应用（举例）模式识别的应用（举例）工程工程产品缺陷检

8、测、特征识别、语音识别、自动导航系统、污染分析产品缺陷检测、特征识别、语音识别、自动导航系统、污染分析军事军事航空摄像分析、雷达和声纳信号检测和分类、自动目标识别航空摄像分析、雷达和声纳信号检测和分类、自动目标识别安全安全指纹识别、人脸识别、监视和报警系统指纹识别、人脸识别、监视和报警系统模式识别方法模式识别方法模式识别系统的目标：在特征空间和解释空间之间找到一种映射关系，这种映射也称之为假说。模式识别系统的目标：在特征空间和解释空间之间找到一种映射关系，这种映射也称之为假说。特征空间：从模式得到的对分类有用的度量、属性或基元构成的空间。特征空间：从模式得到的对分类有用的度量、属性或基元构成的

9、空间。解释空间：将解释空间：将c个类别表示为其中为所属类别的集合，称为解释空间。个类别表示为其中为所属类别的集合，称为解释空间。9假说的两种获得方法假说的两种获得方法监督学习、概念驱动或归纳假说：在特征空间中找到一个与解释空间的结构相对应的假说。在给定模式下假定一个解决方案，任何在训练集中接近目标的假说也都必须在监督学习、概念驱动或归纳假说：在特征空间中找到一个与解释空间的结构相对应的假说。在给定模式下假定一个解决方案，任何在训练集中接近目标的假说也都必须在“未知未知”的样本上得到近似的结果。的样本上得到近似的结果。依靠已知所属类别的的训练样本集，按它们特征向量的分布来确定假说（通常为一个判别

10、函数），在判别函数确定之后能用它对未知的模式进行分类；依靠已知所属类别的的训练样本集，按它们特征向量的分布来确定假说（通常为一个判别函数），在判别函数确定之后能用它对未知的模式进行分类；对分类的模式要有足够的先验知识，通常需要采集足够数量的具有典型性的样本进行训练。对分类的模式要有足够的先验知识，通常需要采集足够数量的具有典型性的样本进行训练。假说的两种获得方法（续）假说的两种获得方法（续）非监督学习、数据驱动或演绎假说：在解释空间中找到一个与特征空间的结构相对应的假说。这种方法试图找到一种只以特征空间中的相似关系为基础的有效假说。非监督学习、数据驱动或演绎假说：在解释空间中找到一个与特征空间

11、的结构相对应的假说。这种方法试图找到一种只以特征空间中的相似关系为基础的有效假说。在没有先验知识的情况下，通常采用聚类分析方法，基于在没有先验知识的情况下，通常采用聚类分析方法，基于“物以类聚物以类聚”的观点，用数学方法分析各特征向量之间的距离及分散情况；的观点，用数学方法分析各特征向量之间的距离及分散情况；如果特征向量集聚集若干个群，可按群间距离远近把它们划分成类；如果特征向量集聚集若干个群，可按群间距离远近把它们划分成类；这种按各类之间的亲疏程度的划分，若事先能知道应划分成几类，则可获得更好的分类结果。这种按各类之间的亲疏程度的划分，若事先能知道应划分成几类，则可获得更好的分类结果。10模

12、式分类的主要方法模式分类的主要方法数据聚类数据聚类统计分类统计分类结构模式识别结构模式识别神经网络神经网络数据聚类数据聚类目标：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集。目标：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集。是一种非监督学习的方法，解决方案是数据驱动的。是一种非监督学习的方法，解决方案是数据驱动的。11统计分类统计分类基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。特征向量分布的获得是基于一个类别已知的训练样本集。特征向量分布的获得是基于一个类别已知的训练样本集

13、。是一种监督分类的方法，分类器是概念驱动的。是一种监督分类的方法，分类器是概念驱动的。结构模式识别结构模式识别该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目的。该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目的。识别采用结构匹配的形式，通过计算一个匹配程度值（识别采用结构匹配的形式，通过计算一个匹配程度值（matching score）来评估一个未知的对象或未知对象某些部分与某种典型模式的关系如何。）来评估一个未知的对象或未知对象某些部分与某种典型模式的关系如何。当成功地制定出了一组可以描述对象部分之间关系的规则后，可以应用一种特殊的结构模式识别方法当成功地制定出了一组可

14、以描述对象部分之间关系的规则后，可以应用一种特殊的结构模式识别方法 句法模式识别，来检查一个模式基元的序列是否遵守某种规则，即句法规则或语法。句法模式识别，来检查一个模式基元的序列是否遵守某种规则，即句法规则或语法。12神经网络神经网络神经网络是受人脑组织的生理学启发而创立的。神经网络是受人脑组织的生理学启发而创立的。由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以在不同的神经元之间传递增强或抑制信号。由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以在不同的神经元之间传递增强或抑制信号。增强或抑制是通过调整神经元相互间联系的权重系数来（增强或抑制是通过调整神经元相互

15、间联系的权重系数来（weight）实现。）实现。神经网络可以实现监督和非监督学习条件下的分类。神经网络可以实现监督和非监督学习条件下的分类。模式识别系统模式识别系统模式识别系统的基本构成模式识别系统的基本构成数据获取特征提取和选择预处理分类决策分类器设计13模式识别系统组成单元模式识别系统组成单元数据获取：用计算机可以运算的符号来表示所研究的对象数据获取：用计算机可以运算的符号来表示所研究的对象二维图像：文字、指纹、地图、照片等二维图像：文字、指纹、地图、照片等一维波形：脑电图、心电图、季节震动波形等一维波形：脑电图、心电图、季节震动波形等物理参量和逻辑值：体温、化验数据、参量正常与否的描述物

16、理参量和逻辑值：体温、化验数据、参量正常与否的描述预处理单元：去噪声，提取有用信息，并对输入测量仪器或其它因素所造成的退化现象进行复原预处理单元：去噪声，提取有用信息，并对输入测量仪器或其它因素所造成的退化现象进行复原模式识别系统组成单元模式识别系统组成单元特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征测量空间：原始数据组成的空间测量空间：原始数据组成的空间特征空间：分类识别赖以进行的空间特征空间：分类识别赖以进行的空间模式表示：维数较高的测量空间模式表示：维数较高的测量空间-维数较低的特征空间维数较低的特征空间分类

17、决策：在特征空间中用模式识别方法把被识别对象归为某一类别分类决策：在特征空间中用模式识别方法把被识别对象归为某一类别基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小14模式识别过程实例模式识别过程实例在传送带上用光学传感器件对鱼按品种分类鲈鱼在传送带上用光学传感器件对鱼按品种分类鲈鱼(Seabass)品种鲑鱼品种鲑鱼(Salmon)识别过程识别过程数据获取：架设一个摄像机，采集一些样本图像，获取样本数据数据获

18、取：架设一个摄像机，采集一些样本图像，获取样本数据预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开15识别过程识别过程特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量长度长度亮度亮度宽度宽度鱼翅的数量和形状鱼翅的数量和形状嘴的位置，等等嘴的位置，等等 分类决策：把特征送入决策分类器分类决策：把特征送入决策分类器161718模式分类器的获取和评测过程模式分类器的获取和评测过程数据采集数据采集特征选取特征选取模型选择模型

19、选择训练和测试训练和测试计算结果和复杂度分析，反馈计算结果和复杂度分析，反馈19训练和测试训练和测试训练集：是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。训练集：是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。测试集：在设计识别和分类系统时没有用过的独立样本集。测试集：在设计识别和分类系统时没有用过的独立样本集。系统评价原则：为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。系统评价原则：为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。20实例：统计模式识别实例：统计模式识别19名男女同学进行体

20、检，测量了身高和体重，但事后发现其中有名男女同学进行体检，测量了身高和体重，但事后发现其中有4人忘记填写性别，试问（在最小错误的条件下）这人忘记填写性别，试问（在最小错误的条件下）这4人是男是女？体检数值如下：人是男是女？体检数值如下：实例：统计模式识别（续）实例：统计模式识别（续）待识别的模式：性别（男或女）待识别的模式：性别（男或女）测量的特征：身高和体重测量的特征：身高和体重训练样本：训练样本：15名已知性别的样本特征名已知性别的样本特征目标：希望借助于训练样本的特征建立判别函数（即数学模型）目标：希望借助于训练样本的特征建立判别函数（即数学模型）21实例：统计模式识别（续）实例：统计模

21、式识别（续）由训练样本得到的特征空间分布图由训练样本得到的特征空间分布图实例：统计模式识别（续）实例：统计模式识别（续）从图中训练样本的分布情况，找出男、女两类特征各自的类别特点，从而求取一个判别函数（直线或曲线）。从图中训练样本的分布情况，找出男、女两类特征各自的类别特点，从而求取一个判别函数（直线或曲线）。只要给出待分类的模式特征的数值，看它在特征平面上落在判别函数的哪一侧，就可以判别是男还是女了。只要给出待分类的模式特征的数值，看它在特征平面上落在判别函数的哪一侧，就可以判别是男还是女了。22实例：句法模式识别实例：句法模式识别问题：如何利用对图像的结构信息描述，识别如下所示图片：问题：

22、如何利用对图像的结构信息描述，识别如下所示图片：实例：句法模式识别（续）实例：句法模式识别（续）将整个场景图像结构分解成一些比较简单的子图像的组合；将整个场景图像结构分解成一些比较简单的子图像的组合；子图像又用一些更为简单的基本图像单元来表示，直至子图像达到了我们认为的最简单的图像单元（基元）；子图像又用一些更为简单的基本图像单元来表示，直至子图像达到了我们认为的最简单的图像单元（基元）；所有这些基元按一定的结构关系来表示，利用多级树结构对其进行描述（这种描述可以采用形式语言理论）。所有这些基元按一定的结构关系来表示，利用多级树结构对其进行描述（这种描述可以采用形式语言理论）。23与模式识别相

23、关的学科与模式识别相关的学科统计学统计学概率论概率论线性代数（矩阵计算）线性代数（矩阵计算）形式语言形式语言机器学习机器学习人工智能人工智能图像处理图像处理计算机视觉计算机视觉机构、会议、刊物机构、会议、刊物机构机构1973年年 IEEE发起了第一次关于模式识别的国际会议发起了第一次关于模式识别的国际会议“ICPR”（此后两年一次），成立了国际模式识别协会（此后两年一次），成立了国际模式识别协会-“IAPR”会议会议ICCV、CVPR、ECCV、ICPR、ICIP、ACCV、BMVC、CCPR、ACPR期刊期刊IEEE Transactions on PAMIPattern Recogniti

24、on(PR)Pattern Recognition Letters(PRL)Pattern Analysis and Application(PAA)International Journal of Pattern Recognition and Artificial Intelligence(IJPRAI)Computer Vision and Image Understanding(CVIU)24人脸识别人脸识别人脸识别的过程2549人脸识别的过程人脸识别的过程登记过程识别过程一对一的验证过程一对多的辨别过程50登记过程2651一对一的验证过程一对一的验证过程52一对多的辨别过程一对多的辨

25、别过程27自动人脸识别系统自动人脸识别系统自动人脸识别系统自动人脸识别系统所谓自动人脸识别系统，是指不需要人为干预，能够自动获取人脸图像并且辨别出其身份的系统一个自动人脸识别系统至少要包含三个部分，即数据采集子系统、人脸检测子系统和人脸识别子系统“人脸识别”有时是指整个自动人脸识别系统所做的工作，有时是指人脸识别子系统所做的工作数据采集子系统数据采集子系统人脸识别子系统人脸识别子系统人脸检测子系统人脸检测子系统自动人脸识别系统识别结果：He is!人脸检测与人脸识别的研究内容人脸检测与人脸识别的研究内容(1)人脸检测（人脸检测（Face Detection）人脸检测（）人脸检测（Face De

26、tection）是指在输入图像中确定所有人脸（如果存在）的位置、大小、位姿的过程。人脸检测是自动人脸识别系统中的一个关键环节。）是指在输入图像中确定所有人脸（如果存在）的位置、大小、位姿的过程。人脸检测是自动人脸识别系统中的一个关键环节。(2)人脸识别人脸识别细分为两类，一类是回答我是谁的问题，即辨认（人脸识别人脸识别细分为两类，一类是回答我是谁的问题，即辨认（Identification），另一类是回答这个人是我吗？即确认），另一类是回答这个人是我吗？即确认（Verification）。）。显然，用于显然，用于Identification模式的识别系统对算法的运算速度的要求要高于模式的识别系

27、统对算法的运算速度的要求要高于Verification模式的识别系统。模式的识别系统。28从人脸自动识别技术所依据的理论来讲，人脸检测与人脸识别都是模式识别问题。从人脸自动识别技术所依据的理论来讲，人脸检测与人脸识别都是模式识别问题。人脸检测是把所有的人脸作为一个模式，而非人脸作为另一个模式，人脸检测的过程就是将人脸模式与非人脸模式区别开来。人脸检测是把所有的人脸作为一个模式，而非人脸作为另一个模式，人脸检测的过程就是将人脸模式与非人脸模式区别开来。人脸识别是把每一个人的人脸作为一个模式来对待，不同人的脸属于不同的模式类，人脸识别的过程是将属于不同人的脸归于各自的模式。人脸识别是把每一个人的人

28、脸作为一个模式来对待，不同人的脸属于不同的模式类，人脸识别的过程是将属于不同人的脸归于各自的模式。换句话说，人脸检测强调的是人脸之间的共性，而人脸识别则要区分不同人脸之间的差异，二者同属于模式分类问题。换句话说，人脸检测强调的是人脸之间的共性，而人脸识别则要区分不同人脸之间的差异，二者同属于模式分类问题。29虹膜识别虹膜识别虹膜识别虹膜识别虹膜虹膜虹膜虹膜 就是图像中红圈与白圈之间的环状部分。虹膜虹膜瞳孔巩膜30预处理：包括预处理：包括AD,二值化，图象的平滑，变换，增强，恢复，滤波等。二值化，图象的平滑，变换，增强，恢复，滤波等。为什么要进行预处理为什么要进行预处理?如何预处理如何预处理?3

29、1图像预处理的必要性图像预处理的必要性 正常光照下的虹膜图像 较暗光照下的虹膜图像正常光照下的虹膜图像 较暗光照下的虹膜图像 边缘检测分段线性映射增强边缘检测分段线性映射增强光照估计光照估计32特征抽取和选择：在模式识别中，需要进行特征的抽取和选择，例如，一幅特征抽取和选择：在模式识别中，需要进行特征的抽取和选择，例如，一幅64x64的图象可以得到的图象可以得到4096个数据，这种在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征。这就是特征提取和选择的过程。个数据，这种在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征。这就是特征提取和选择的过程。分类器设计：分类

30、器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。把这些判决规则建成标准库。分类器设计：分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。把这些判决规则建成标准库。分类决策：在特征空间中对被识别对象进行分类。分类决策：在特征空间中对被识别对象进行分类。33？一个具体的虹膜识别系统一个具体的虹膜识别系统模式模式模式模式1 1 1 1模式模式模式模式2 2 2 2模式模式模式模式3 3 3 3模式模式模式模式4 4 4 4模式模式模式模式5 5 5 5预处预处预处预处理理理理.分类分类分类分类器器器器识别识别识别识别结果结果结果结果特特特特征

31、征征征向向向向量量量量特征特征特征特征抽取抽取抽取抽取 预处理预处理预处理预处理 特征提取特征提取特征提取特征提取 特征匹配特征匹配特征匹配特征匹配 识别算法识别算法识别算法识别算法 图像获取图像获取图像获取图像获取图像图像图像图像获取获取获取获取活体活体活体活体检测检测检测检测34智能视觉监控智能视觉监控物体定位跟踪识别物体定位跟踪识别智能视觉监控智能视觉监控物体定位跟踪识别物体定位跟踪识别35智能视觉监控智能视觉监控物体定位跟踪识别物体定位跟踪识别智能视觉监控智能视觉监控物体定位跟踪识别物体定位跟踪识别36智能视觉监控智能视觉监控物体定位跟踪识别物体定位跟踪识别智能视觉监控智能视觉监控物体定位跟踪识别物体定位跟踪识别37智能视觉监控智能视觉监控物体定位跟踪识别物体定位跟踪识别智能视觉监控智能视觉监控物体定位跟踪识别物体定位跟踪识别38智能视觉监控智能视觉监控物体定位跟踪识别物体定位跟踪识别车辆跟踪车辆跟踪39模型获取模型获取!EndEnd!SedanSedan语义检索语义检索演示演示40教学计划教学计划绪论（3课时）贝叶斯决策理论（3课时）概率密度函数的估计（4课时）线性判别函数（4课时）非线性判别函数（2课时）近邻法（2课时）特征的选择与提取（6课时）非监督学习的方法（4课时）统计学习理论和支持向量机（4课时）模糊模式识别方法（2课时）句法模式识别（2课时）考试（4课时）