2022年模式识别复习重点总结 .pdf

《2022年模式识别复习重点总结 .pdf》由会员分享，可在线阅读，更多相关《2022年模式识别复习重点总结 .pdf（9页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、1线性判别方法（1）两类：二维及多维判别函数，判别边界，判别规则二维情况：（a）判别函数：( ) （ b）判别边界：g(x)=0; （ c）判别规则：n 维情况：（a）判别函数：也可表示为：（ b）判别边界：g1(x) =WTX=0 （ c）判别规则：（2）多类： 3 种判别方法（函数、边界、规则）(A)第一种情况：(a)判别函数： M 类可有 M 个判别函数(b)判别边界： i（i=1,2, ,n）类与其它类之间的边界由gi(x)=0确定(c)判别规则：(B)第二种情况： (a)判别函数：有M(M _ 1)/2 个判别平面(b)判别边界：(c)判别规则：(C)第三种情况：(a)判别函数：(b

2、)判别边界：gi(x) =gj(x) 或 gi(x) -gj(x) =0 (c)判别规则：32211)(wxwxwxg为坐标向量为参数，21,xxw21, 0, 0)(XXxgi12211.)(nnnwxwxwxwxgXWxgT)(为增值模式向量。，为增值权向量，TnnTnnxxxxXwwwwW) 1,.,(),.,(21121。其它MiXXWxgiTii,.,2, 1,0,0)(XWxgTii)(XWxgTijij)(0)(xgijjixgijjix0 x0)(当当权向量。个判别函数的为第式中iwwwwWTininiii),.,(121。其它MiXXWxgiTii,.,2 , 1, 0, 0

3、)(XWxgKk)(小，其它最大，当iTkixXWxg)(精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 1 页，共 9 页2分段线性判别方法1）基于距离 :（1）子类，类判别函数（2）判别规则（1）子类：把 i类可以分成li个子类 : 分成 l 个子类。子类判别函数：在同类的子类中找最近的均值（2）判别规则：这是在 M 类中找最近均值。则把x 归于 j类完成分类2）基于函数： （1）子类，类判别函数（2）判别规则（1）子类类判别函数：对每个子类定义一个线性判别函数为：（2）判别规则：在各子类中找最大的判别函数作为此类的代表，则对于M 类，可定义M

4、 个判别函数gi(x),i=1,2, .M,因此，决策规则3）基于凹函数的并： （1）析取范式，合取范式，凹函数判别规则析取范式： P=(L11 L12 L1m) (Lq1 Lq2 Lqm)合取范式： Q= (L11 L12 L1m) (Lq1 Lq2 Lqm) 凹函数： Pi=Li1Li2 Lim 判别规则：设第一类有q 个峰，则有q 个凹函数。即 P=P1P2 Pq 3非线性判别方法（1）1集中，2分散),.,(21liiiilillixxg,.,2,1min)(Mixgxgij,.,2, 1),(min)(子类的权向量。为其中lilililiwxwxg,)(jiMijxxgxg则),(m

5、ax)(,.,2, 1。每个子类的判别函数数子类。mjxqixxwLijij,.,2, 1, 0,.,2, 1, 02121,0,0 xPxP则则判别规则：协方差为均值，为其中：大小。的大小，决定超平面的判别函数定义1111111121, )()()(:kxxkxgT控制大小是个超球面由判别平面：判别规则：k0)(,0)(,0)(121xgxxgxxg精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 2 页，共 9 页（2）1, 2均集中4分类器的设计（1）梯度下降法（迭代法）：准则函数，学习规则（a）准则函数： J(W)J(Wk)+ JT(W- W

6、k)+(W- Wk)TD(W- Wk)T/2 其中 D 为当 W = Wk时 J(W)的二阶偏导数矩阵（b）学习规则：从起始值W1开始，算出W1处目标函数的梯度矢量J(W1)，则下一步的 w 值为： W2 = W1-1J(W1) 其中 W1为起始权向量，1为迭代步长， J(W1) 为目标函数，J(W1)为 W1处的目标函数的梯度矢量在第 K 步的时候Wk+1 = Wk-kJ(Wk) 最佳步长为k=| J|2/JTDJ 这就是梯度下降法的迭代公式。（2）感知器法：准则、学习规则（批量，样本）（a）准则函数：其中 x0为错分样本（b）学习规则：1.错误分类修正wk如 wkTx0 并且 x1 wk+

7、1= wk+kx 如 wkTx0 并且 x2wk+1= wk-kx 2.正确分类，wk不修正如 wkTx0 并且 x1如 wkTx0 并且 x2wk+1= wk（3）最小平方误差准则法（MSE 法） （非迭代法） ：准则、权向量解(a)准则函数：(b)权向量解：协方差，为均值，为其中：，两个判别函数：都比较集中，那么定义，如果212112212, 1)()()(iiiiTiiiixxkxg。可用来调整二类错误率判别规则：判别平面方程：21212221212211111221111211221,0,0)(0)()()(2)()()()(kkxxxgkkxxxxgxgxgTTTT0)(XXXWWJ

8、TNibiXiWTbXWeWJ1222|)(bXbXXXTWT1的伪逆（规范矩阵）称为其中XXXXTXT1精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 3 页，共 9 页（4）韦霍氏法（LMS法） （迭代法）：准则，学习规则(a)准则函数：(b)学习规则：W1任意，Wk+1=Wk+k(bk-WkTXk) Xkk随迭代次数k 而减少，以保证算法收敛于满意的W 值（5）何卡氏法（H-K 法） （迭代法） ：准则，b，W的学习规则(a)准则：它的解为：（b）b， W 的学习规则：其中c 为矫正系数， ek为误差矢量， ek=XWk-bk初始条件W1=X

9、+b1并且 b10 迭代时检测如果 ek0 时， XW b ，系统线性可分，迭代收敛如果 ek0 时， XW 0 时rk+1= 0 xk+11并且 Kk(xk+1) 0时rk+1= 1 xk+12并且 Kk(xk+1)0 时rk+1= 0 xk+12并且 Kk(xk+1) 0时rk+1= -1 51）二类问题的贝叶斯判别（1）判别函数的四种形式（2）决策规则（3）决策面方程（4）决策系统的结构（1）判别函数的四种形式：（2）判别规则：（3）决策面方程：g（x）=0 |exp-)K(1.2kkxxXX|11)K(2.2kkxxXX|sin|)K(3.22kkkxxxxXX)( ,)()(ln)(

10、)(ln)()()( ,)()()()()()()(),()()()()()()(),()()()(12211221221121取对数方法似然比形式类条件概率密度后验概率PPxPxPxgDPPxPxPxgCPxPPxPxgBxPxPxgA2112212112212122112121)()(ln)()(ln)()()()()()()()()()()()()()()(xPPxPxPxgDxPPxPxPCxPxPPxPBxxPxPA精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 5 页，共 9 页2）多类问题的贝叶斯判别（1）判别函数的四种形式（2）决策

11、规则（3）决策面方程（4）决策系统的结构（1）判别函数的四种形式：M 类有 M 个判别函数g1(x), g2(x), , gm(x). （2）决策规则：另一种形式：（3）决策面方程：6三种最小错误率贝叶斯分类器（正态分布）：判别函数，判别规则，决策面方程（1）第一种情况：各个特征统计独立，且同方差情况。(最简单情况 ) (a)判别函数：(b)判别规则：(c)决策面方程：（2）第二种情况：i 相等，即各类协方差相等。(a)判别函数：)(,)()(ln)()(ln)()()( ,)()()()()()()(),()()()()()()(),()()()(12211221221121取对数方法似然比

12、形式类条件概率密度后验概率PPxPxPxgDPPxPxPxgCPxPPxPxgBxPxPxgA),.,2, 1(,)()(max)()()(1MixPxPPxPxgijjMjiiiiijMjiiixPxPPxPxg)(ln)(lnmax)(ln)(ln)(10)()(),()(xgxgxgxgjiji即)(ln21,21)( ,)(2020iiTiiiiiTiiPwwwxwxg其中：线性判别函数ijTjMwiTiixwxwwxwxg010max)()()(ln)(210)(0)()(200jijijijijijiPPxWxxWxgxg其中)(ln21,)(1010iiTiiiiiTiiPwWw

13、xWxg其中（线性函数）精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 6 页，共 9 页(b)判别规则：(c)决策面方程：（3）第三种情况(一般情况 )：?为任意，各类协方差矩阵不等，二次项xT? x 与 i 有关。所以判别函数为二次型函数。(a)判别函数：(b)判别规则：(c)决策面方程：7最小风险贝叶斯分类器：判别函数，判别规则（1）判别函数：条件风险：i：表示把模式x 判决为 i类的一次动作期望风险：（2）判别规则：8最小最大损失准则判决（二类）：准则，判别规则，*1()P的确定（1）准则：讨论在P(i)变化时如何使最大可能风险最小；（2）

14、判别规则：风险通过最小风险与先验概率的关系曲线，确定最大风险，使最大风险最小。（3）*1()P的确定：ijTjMjiTiixwxWwxWxg010max)(0)()(xgxgjiji相邻与若)()()()()(ln)(21)(, 0)(1010jiTjijijijijiTPPxWxxW。其中)(lnln2121)()( ,21,)(10110iiiiTiiiiiiiiTiiTiPwnWnnWwxWxWxxg，维列向量矩阵其中ijTjjTMjiTiiTixwxWxWxwxWxWxxg010max)(0)()(xgxgji).(,.,2, 1,1MaaixPExRjMjjijiikiMikxxRx

15、R则若,min,.,2,1)( , 平均风险dxxPxxRR1222221211121221122212221dxxPdxxPbdxxPabPaR其中：2122221222222121112122111210.,0,dxxPaRdxxPdxxPPRb，这时候最大风险为最小即无关与使如果选择精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 7 页，共 9 页9 （ 1）贝叶斯估计算法思想：准则，求解过程(A)准则：通过对第i 类学习样本Xi的观察，使概率密度分布P(Xi/ )转化为后验概率P(/Xi) ，再求贝叶斯估计；(B)求解过程： 确定 的先验分

16、布P( ),待估参数为随机变量。 用第 i 类样本 xi=(x1, x2, . xN)T求出样本的联合概率密度分布P(xi| )， 它是的函数。 利用贝叶斯公式,求 的后验概率（2）正态分布情况下：的计算对的估计为若令 P()=N(0, 02 )=N(0,1) 9非参数估计的条件密度计算公式（1）Parzen窗口估计的三种形式，条件密度的计算（A）窗口的选择： （A）方窗函数； （B）正态窗函数； （C）指数窗函数（ B）条件密度的计算：（2）K-近邻估计的基本思想及用K-近邻法作后验概率估计的方法（A）基本思想：以x 为中心建立空胞，使v，直到捕捉到KN个样本为止。（B）用 K-近邻法作后验

17、概率估计的方法：由KN近邻估计知N 个已知类别样本落入 VN内为 KN个样本的概率密度估计为N 个样本落入VN内有 KN个， KN个样本内有Ki个样本属于i类，则联合概率密度：dPXPPXPXPiii)()|()().|()|(dXPi)|(求贝叶斯估计02022120202NXNNkkNNNkkXNN111其他.021| , 1)(uu21exp21)(2uu|exp)(uuNiNiNNNNhxxVNVNKxP1)|(11)(VNkxPNNN)(精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 8 页，共 9 页根据 Bayes公式可求出后验概率：

18、27模糊聚类分析方法1）基于等价关系（1）-水平截阵（2）等价划分（1）水平截阵：R =x| A(x) （2）等价划分：若是 E上的一个等价关系。则对任意阈值(0 1)则模糊水平集R也是 E上的一个等价关系；由小到大选取阈值(0 1)，将矩阵中相同的行的特征归为一类，得到分类；逐渐增大阈值，则分类增多，知道满足分类数目为止。2）基于相似关系（1）求传递闭包等价（2）利用等价关系聚类（1）把相似关系（相似矩阵）变成等价关系方法为：取的乘幂为（2）选择适当值，取等价关系R的 水平集，根据水平集确定样本的类别)()|(),(iiNiiNPxPvNkxPMjiNiNNiiiiiiNxPxPPxPPxPxP11),(),()()|()()|()|(kkxPNiiN)|(后验概率的估计：RRR.,842RRR44822422kk,.RRRRRRRRRRRRR就是模糊等价关系。且则若在某一步有精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 9 页，共 9 页