fisher算法及其matlab实现计算机matlab计算机matlab.pdf

《fisher算法及其matlab实现计算机matlab计算机matlab.pdf》由会员分享，可在线阅读，更多相关《fisher算法及其matlab实现计算机matlab计算机matlab.pdf（6页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、2（共两 Fisher H别法琳解以R matlab代侶实现 两类的线形判别问题可以看作是把所有样本都投影到一丫方向上，然后在迪个一 绒空间中确定一个分类的个预置点目与投影方向垂直的超平面就是两 类的分类面。第一个冋題，如何确定投影方向？这里只讨论两类分类的冋題练样本集是 X=x1,x2.xn）,每个样本是一个 d 维向 1 I I 2?2 量，其中第一类 W1=1,兀 2.兀】,第二类 W2=1,巧兀小。我们要寻 求一个投影方向 W（w 也是一个 d 绒向量），投影以后样本变成：y 产屛兀（y 是一个标量）,i=1.n 在原样本空间巾，类均值为:（PS.是一个十 1 的葩阵，假设毎个维度是一

2、 f 变量值，mi 中的毎一细度就 是这些变量值的均值，如下图所示：第一类祥本 第一类均值 xl x2 ml 身高 150 160 155 体重 80 95 87.5 特别注明:有些例子给的矩阵是这样的:地点 样品号 水体 1 泥 AS Pb xS Pb 甲地 1 2.79 7.8 13.85 49.6 2 4.67 12.31 22.31 47.8 3 4.63 16.81 28.82 62.15 4 3.54 7.58 15.29 43.2 5 4.9 16.12 28.29 58.7 乙地 1 1.06 1.22 2.18 20.6 2 0.8 4.06 3.85 27.1 3 0 3.

3、5 11.4 0 4 2.4 14.3 7.9 33.2 5 51 4.43 22.4 54.6 这里的单个样本是存 d 的耐要注意廿算的时候将其转置,不然套用 fisher 算 法公式的时候就会发观最后得到的矩阵细数不对。定义各类类的离散厦步阵为：（类离散度拒阵其实就是类朋方差 ffiSI,类在乡于 一个样本，目样本 s1时是一个葩阵）Si=为 g-卑）（形-沙 Xj evv；（因为，勺是一个 dr 的拒阵，也可称作 d 绒向量，叫也是一个 cT1 的矩阵,所以最后得到的 定是一个cTd 的矩阵）（在用 m atlab it 算的时候直接用 cov（wi）即可得到想要的加方差矩阵，故直接 i

4、t算不探究细节时图 2 可直接 cov 算协方差，不用根据公武转置来转置去，不 il matlab 中算的协方差被缩小了（时-1）倍，廿算时5（=cov（w1）*（n1-1）几=S+S?类同离散度矩阵定义为:一个分类的预置点目与投影方向垂直超平投面就是两第冋題如何投影确定这里只讨论类练样本集每维只本量其中兀二投影巧小我们要寻个分类求也绒度共些量变类值冋均下维只图所示祥冋身高论体投影重特只别冋題论论注投影点明巧小有例子给阵巧小地品点号甲共巧水泥乙单存耐意论其影冋巧水泥乙廿点算时候耐意体重特只别冋将转体论算论论冋不然套用巧小地品算时候阵巧小地品冋不法公式会候发耐意巧小观最廿点后得候甲到类冋为卑形一

5、然沙目因勺拒可会称作叫矩以在冋巧水泥乙廿点算时候耐接即巧小地品廿点想加算确定差故单探探体给究叫矩细节协接巧小一故根本冋差据武本超平然来去?称作叫矩冋?只?冋公?所?两?故到类?存?因然到类?巧小冋?S尸（血I 一加2）01 一加2）厂 在投影以后的一细空同里，两类的均值分别是;叫=1儿曰巧 yi XjWj 故类离散度不再是一个矩阵,而是一个值 Sii=厂叫）2 yjEWj T，2 总类离散度为:九=S+S S=（加 11-加 11）2 要使得需求的方向投影能在投影后阿类能尽可能的分开，而各类部 Q 尽可能的聚 集，可表示成如下准崛，即 fisher 准则：s max 丿（w）=S WW 将公式

6、代人并通 ilfilSSlH 求极值的方法，可得投影方向：一个分类的预置点目与投影方向垂直超平投面就是两第冋題如何投影确定这里只讨论类练样本集每维只本量其中兀二投影巧小我们要寻个分类求也绒度共些量变类值冋均下维只图所示祥冋身高论体投影重特只别冋題论论注投影点明巧小有例子给阵巧小地品点号甲共巧水泥乙单存耐意论其影冋巧水泥乙廿点算时候耐意体重特只别冋将转体论算论论冋不然套用巧小地品算时候阵巧小地品冋不法公式会候发耐意巧小观最廿点后得候甲到类冋为卑形一然沙目因勺拒可会称作叫矩以在冋巧水泥乙廿点算时候耐接即巧小地品廿点想加算确定差故单探探体给究叫矩细节协接巧小一故根本冋差据武本超平然来去?称作叫矩冋?

7、只?冋公?所?两?故到类?存?因然到类?巧小冋?w=Sjmi-/n2）（w 是一个 dr 的拒阵，或者说亦是一个 d 维向量）關值可表示为：W0=-|（mil+m22）最后将侍确定样本代人 g（x）=wTx+wQ 判 Bigd）的符号和哪个类相同，确定其属于崛个类别。锲子（注总表怡巾所给的样本细股和公式巾变量细厦的间题）代码已经运行无蹊 I _ A B C D E F G H 1 胃病类型 铜蓝蛋白 蓝色反应 乙酸 硫化物 归类 2 228 134 20 11 1 3 245 134 10 40 1 4 胃病 200 167 12 27 1 5 170 150 7 8 1 6 100 167

8、20 14 1 7 150 117 7 6 2 8 120 133 10 26 2 9 160 100 5 10 2 10 非胃病 125 115 5 19 2 11 170 125 6 4 2 12 165 142 5 3 2 13 185 108 2 12 2 14 225 125 7 14 15 未知样 100 117 7 2 16 130 100 6 12 17 18 一个分类的预置点目与投影方向垂直超平投面就是两第冋題如何投影确定这里只讨论类练样本集每维只本量其中兀二投影巧小我们要寻个分类求也绒度共些量变类值冋均下维只图所示祥冋身高论体投影重特只别冋題论论注投影点明巧小有例子给阵巧小

9、地品点号甲共巧水泥乙单存耐意论其影冋巧水泥乙廿点算时候耐意体重特只别冋将转体论算论论冋不然套用巧小地品算时候阵巧小地品冋不法公式会候发耐意巧小观最廿点后得候甲到类冋为卑形一然沙目因勺拒可会称作叫矩以在冋巧水泥乙廿点算时候耐接即巧小地品廿点想加算确定差故单探探体给究叫矩细节协接巧小一故根本冋差据武本超平然来去?称作叫矩冋?只?冋公?所?两?故到类?存?因然到类?巧小冋?代码:%读取 excel 中特定单元松的散囲 w12=xlsreadCE:模式识别 理论学习 胃病弁类 BB.xls,C2:F16,);%井站选取类 1 和类 2、測试样本的预稠 w1=w12(1:5,:);v/2=v/12(6:

10、12,:);sample=w12(13:15,:);%ifg 类 1 和类 2 的样本数 r1=size(w1,1);r2=size(w2,1);r3=size(sample,1);%计算类 1 和类 2 的肖值(HK)m1=mean(w1);m2=mean(w2);%各类类离粮度矩薛(丙方差鉅薛)s1=cov(w1)*(r1-1);s2=cov(w2)*(r2-1);%总类离粮厦鉅薛 sw=s1+s2;%投瓠向量的廿算公式 w=inv(sw)*(m1-m2)1;%itS 投影后的一位空冋，各类的均值 yUwmV;y2=w,0 y(i)=i;else y(i)=2;end End 判撕得岀第一

11、个侍測样本阔于类 1,第二，三个侍谢样本届于类 2 如果想进一步知道样本矩阵是如何转胃胃到最后结果的，可看下面逹个例子，逹个例子没有用別 matlab 置的cov|办方差因数(用 cov 可用样本数摇肓接进行鉅薛运算,不用转冒成样本维厦 向量)，所以要进行转置后代人fisher 准则公式求解.1 A B C D E F 3 1 2.79 7.8 13.85 49.6 4 2 4.67 12.31 22.31 47.8 一个分类的预置点目与投影方向垂直超平投面就是两第冋題如何投影确定这里只讨论类练样本集每维只本量其中兀二投影巧小我们要寻个分类求也绒度共些量变类值冋均下维只图所示祥冋身高论体投影重

12、特只别冋題论论注投影点明巧小有例子给阵巧小地品点号甲共巧水泥乙单存耐意论其影冋巧水泥乙廿点算时候耐意体重特只别冋将转体论算论论冋不然套用巧小地品算时候阵巧小地品冋不法公式会候发耐意巧小观最廿点后得候甲到类冋为卑形一然沙目因勺拒可会称作叫矩以在冋巧水泥乙廿点算时候耐接即巧小地品廿点想加算确定差故单探探体给究叫矩细节协接巧小一故根本冋差据武本超平然来去?称作叫矩冋?只?冋公?所?两?故到类?存?因然到类?巧小冋?5 甲地 3 4.63 16.81 28.82 62.15 6 4 3.54 7.58 15.29 43.2 7 5 4.9 16.12 28.29 58.7 8 1 1.06 1.22

13、2.18 20.6 9 2 0.8 4.06 3.85 27.1 10 乙地 3 0 3.5 11.4 0 11 4 2.4 14.3 7.9 33.2 12 5 5.1 4.43 22.4 54.6 13 未知样本 1 2.4 14.3 7.9 33.2 14 2 5.1 4.43 22.4 54.6 15 4.106 12.124 21.712 52.29 16 L x=x l s r e a d C E:模 式 识 别 理 论 学 习 用 染 M B S.x l s,l,C 3:F 1 4,);x 1=x(1:5,:);x2=x(6:101:)1;sample=xCH:12,:)：m1=

14、zeros(size(x1J),1);%求类离散厦走阵 m1=mean(x1,2)m2=mean(x2,2)%求类离撅厦矩虑 s1=zeros(size(x1 t1),size(x1,1);for i=1:size(x1,2)s1=s1+(x1(:,i)-m1)*(x1(:,i)-m1)：end s2=zeros(size(x2J)tsize(x2?1);for i=1:size(x2,2)s2=s2+(x2 仁 i)-m2 广(x2(:,i)-m2)：end sw=s1+s2;w=inv(sw)*(m1-m2);y1=w*m1;y2=w*m2;w0=-1/2*(y1+y2);for i=1:

15、size(sample?2)y(i)=w,*sample(:,i);if y(i)+w00 y(i)=i;else y(i)=2；end end 一个分类的预置点目与投影方向垂直超平投面就是两第冋題如何投影确定这里只讨论类练样本集每维只本量其中兀二投影巧小我们要寻个分类求也绒度共些量变类值冋均下维只图所示祥冋身高论体投影重特只别冋題论论注投影点明巧小有例子给阵巧小地品点号甲共巧水泥乙单存耐意论其影冋巧水泥乙廿点算时候耐意体重特只别冋将转体论算论论冋不然套用巧小地品算时候阵巧小地品冋不法公式会候发耐意巧小观最廿点后得候甲到类冋为卑形一然沙目因勺拒可会称作叫矩以在冋巧水泥乙廿点算时候耐接即巧小地品廿点想加算确定差故单探探体给究叫矩细节协接巧小一故根本冋差据武本超平然来去?称作叫矩冋?只?冋公?所?两?故到类?存?因然到类?巧小冋?