资源描述
Fisher线性判别实验一、 实验目的加深对Fisher线性判别的基本思想的认识和理解；编写实现Fisher线性判别准则函数的程序.二、 实验原理1线性投影与Fisher准则函数在两类问题中,假定有个训练样本其中个样本来自类型,个样本来自类型,.两个类型的训练样本分别构成训练样本的子集和.令：,是向量通过变换得到的标量,它是一维的.实际上,对于给定的,就是判决函数的值.由子集和的样本映射后的两个子集为和.因为我们关心的是的方向,可以令,那么就是在方向上的投影.使和最容易区分开的方向正是区分超平面的法线方向.2.如何得到最佳方向的解析式各类在维特征空间里的样本均值向量：,通过变换映射到一维特征空间后,各类的平均值为：,映射后,各类样本类内离散度定义为：,显然,我们希望在映射之后,两类的平均值之间的距离越大越好,而各类的样本类内离散度越小越好.因此,定义Fisher准则函数：使最大的解就是最佳解向量,也就是Fisher的线性判别式.三、 实验内容依据实验基本原理和基本方法,对实验样本数据中的类别1和2计算最优方向,画出最优方向的直线,并标记出投影后的点在直线上的位置.选择决策边界,实现新样本#1=-0.7,0.58,0.089,#2=0.047,-0.4,1.04的分类. 最优方向分别通过课本64页公式和公式两种方法求解. 4-26 4-28四、实验过程1.输入数据clc;clear all;w1=-0.4 0.58 0.089;-0.31 0.27 -0.04;-0.38 0.055 -0.035;-0.15 0.53 0.011;-0.35 0.47 0.034;0.17 0.69 0.1;-0.011 0.55 -0.18;-0.27 0.61 0.12;-0.065 0.49 0.0012;-0.12 0.054 -0.063;w2=0.83 1.6 -0.014;1.1 1.6 0.48;-0.44 -0.41 0.32;0.047 -0.45 1.4;0.28 0.35 3.1;-0.39 -0.48 0.11;0.34 -0.079 0.14;-0.3 -0.22 2.2;1.1 1.2 -0.46;0.18 -0.11 -0.49;#=-0.7 0.58 0.089;0.047 -0.4 1.04;2.求w1的均值、w2的均值以与sw,最后可得到最佳投影方向p=zeros;for i=1:10 q=w1; p=q+p;endm1=p/10;m11=m1; %得到w1的均值p=zeros;for i=1:10 q=w2; p=q+p;endm2=p/10;m22=m2;%得到w2的均值p1=zeros;for i=1:10 q=w1; q11=q; s=q11-m11; ss=s; s1=s*ss; p1=s1+p1;endp2=zeros;for i=1:10 q=w2; q22=q; s=q22-m22; ss=s; s2=s*ss; p2=s2+p2;endsw=p1+p2; %计算swsw1=inv;W=sw1* ;%得到最优投影方向3.画出样本点的空间分布与#1和#2的空间分布与投影方向 wx1=W*#;wx2=W*#;wx11=wx1*W;wx22=wx2*W;figure;plot3w1,w1,w1,r*;hold on;grid on;plot3w2,w2,w2,g*;x=-pi:0.01:pi;y=W/W*x;z=W/W*x;plot3;hold on;plot3#,#,#,k*;hold on;plot3#,#,#,c*;hold on;plot3wx11,wx11,wx11,k*;hold on;plot3wx22,wx22,wx22,c*;4.得到样本点在最优方向上的投影%关于如何设计样本点的投影可用for循环figure;x=-pi:0.01:pi;y=W/W*x;z=W/W*x;plot3;hold on;grid on;for i=1:10 wp1=W*w1; wp11=wp1*W;hold on;plot3wp11,wp11,wp11,k*;endhold on;grid on;for i=1:10 wp2=W*w2; wp22=wp2*W;hold on;plot3wp22,wp22,wp22,r*;end 5.判断#1与#2的分类w0=-;for i=1:2 x=#; gg=W*x+w0;if gg0 disp sprintf;else disp sprintf;%关于如何显示的问题endEnd6.用公式进行验证结果%-sb=*;v,d=eig;w=v;wp=sqrt;ww1=W/wp,W/wp,W/wp,;五、实验结果与分析 1.公式4.28得到的最优投影方向W=-0.7612 0.4538 -0.0938；单位化后ww1=-0.8542 0.5092 -0.1052；公式4.26得到的最优投影方向w=0.8542 -0.5092 0.1052；可知,这两种方法得到的结果相差一个负号,都能正确得出最优方向. 2. 样本点的空间分布与投影方向由图中可看出,该投影方向能够较好的区分这两类样本. 3.#1与#2结果判定：#1属于w1,#2属于w2.
展开阅读全文