用身高和体重数据进行性别分类的实验报告

用身高和体重数据进行性别分类的实验报告一、基本要求用FAMALE.TXT和MALE.TXT勺数据作为训练样本集，建立 Bayes分类 器，用测试样本数据对该分类器进行测试。调整特征、分类器等方面的一 些因素，考察它们对分类器性能的影响，从而加深对所学内容的理解和感 性认识。二、具体做法(1) 应用两个特征进行实验：同时采用身高和体重数据作为特征，分别假设二者相关或不相关，在正态分布假设下估计概率密度，建立最小错 误率Bayes分类器，写出得到的决策规则，将该分类器应用到训练/测试样本，考察训练/测试错误情况。比较相关假设和不相关假设下结果的差异。在分类器设计时可以考察采用不同先验概率(如0.5 vs. 0.5, 0.75vs. 0.25, 0.9 vs. 0.1 等)进行实验，考察对决策和错误率的影响。(2) 自行给出一个决策表，采用最小风险的 Bayes决策重复上面的实 验。三、原理简述及程序框图A. 正态分布的监督参数估计监督参数估计：样品所属的类别及类条件总体概率密度函数的形式 为已知，而表征概率密度函数的某些参数是未知的。本实验符合上述条件且在正态分布假设下估计分布密度参数故使 用正态分布的监督参数估计对于多元正态分别，其最大似然估计的结果为：1 NXkn k m1 NTXk-? Xk？ N KdB. 最小错误率Bayes分类器在多元正态模型下的最小错误率角度来分析Bayes分类器(1)假设身高与体重不相关令协方差矩阵次对角元素为零 判别函数可简化为gj (x )=xTWfx+WiTx+w0其中 吩-！，Wi-11 npZj +1 nPj具体算法步骤如下:第一步将训练样本集数据转为矩阵 FA MA第二步分别对FA MA求取协方差2，令协方差矩阵次对角元素为零，平均值 叫，并输入先验概率P 1 ,P 2 第三步将第二步所得数值代入判别函数表达式得 g x ,g2 x。第四步将待测样本集数据转为矩阵 T，将T中数值依次代 g x -g2 x，若gi x - g2 x 0，则判断其为第一类，反之，第二类。(2)假设身高与体重相关判别函数可简化为gi x = xTW(x wiTx wi0其中Wj 二-丄 ，Wj72wi0 = 丄 uT 为m 丄 In 爲 + InP (i )2 j 2具体算法步骤如下：第一步将训练样本集数据转为矩阵 FA, MA第二步分别对FA MA求取协方差 H2平均值并输入先验概率 P .1 ,P .2第三步将第二步所得数值代入判别函数表达式得 g1 x , g2 x 。第四步将待测样本集数据转为矩阵 T,将T中数值依次代gi x - g2 x， 若g1 x -g2 x 0，则判断其为第一类，反之，第二类。C. 最小风险Bayes分类器(1)在已知先验概率P和类条件概率密度P xj , j=1, -c及给出带识别的x的情况下，根据Bayes公式计算后验概率：P(X&j)Pj).P j. X-J =1； ,cS P(x )P (创)i =1(2)利用后验概率及决策表，计算条件风险 R ak xcR ：Jx：二-i-i/ j P j/x ,i =1,ai#(3) R a x二mjnR ar x , ak就是最小风险Bayes决策。其中(1)中先验概率P j根据自行输入，类条件概率密度1(1tP x.j =P Xi： d 1 expX u 、(x u)，本实验(2兀汀|打2 I 2J(1)用最小错误率Bayes决策假设身高与体重相关(以训练样本建立判别函数)性别为女生性别为男生训练样本判训练样本的测试样本判测试样本的的先验概率的先验概率错的个数错误率错的个数错误率P(1)P(2)N1H1N2H 20.10.92424%165.33%0.17( 1/6)0.83(5/6)1919%144.67%0.40.61313%248%0.50.51212%3210.67%0.750.251414%6020.00%由表可知:对于训练样本，当女生先验概率为 0.5时，判别错误率最小对于测试样本，当女生先验概率为 1/6时，判别错误率最小故可推测用最小错误率Bayes决策假设身高与体重相关当女 生先验概率等于待测样本中女生样本占待测样本的概率时， 错误率最小，且越远离此概率，错误率越大。最佳决策对于训练样本，当女生先验概率为0.5对于测试样本，当女生先验概率为1/6假设身高与体重不相关(以训练样本建立判别函数)性别为女生性别为男生训练样本判训练样本的测试样本判测试样本的的先验概率的先验概率错的个数错误率错的个数错误率PPNiH1N2H 20.10.91919%165.33%0.170.831414%175.67%0.40.61111%268.67%0.50.51212%299.67%0.750.251313%4515.00%对于训练样本当女生先验概率接近0.5时错误率最小最佳决策对于训练样本，当女生先验概率为0.5(2)用最小风险的Bayes决策性别为女生性别为男生训练样本判训练样本的测试样本判测试样本的的先验概率的先验概率错的个数错误率错的个数错误率P(1)PN1H1N2H 20.10.92626%196,33%0.250.751919%155,00%0.40.61414%196,33%0.50.51313%248,00%0.750.251616%4715,67%对于训练样本，当女生先验概率为0.5时，判别错误率最小对于测试样本，当女生先验概率为1/6时，判别错误率最小故可推测用最小风险Bayes决策假设身高与体重相关当女 生先验概率等于待测样本中女生样本占待测样本的概率时， 错误率最小，且越远离此概率，错误率越大。最佳决策对于训练样本，当女生先验概率为 0.5 对于测试样本，当女生先验概率为 1/6身高体重不相关性别为女生性别为男生训练样本判训练样本的测试样本判测试样本的的先验概率的先验概率错的个数错误率错的个数错误率P(1)P(2)N1H1N2H 20.10.91818%165.53%0.250.751414%175.67%0.40.61515%227.33%0.50.51111%268.67%0.750.251515%4113.67%最佳决策对于训练样本，当女生先验概率为0.5心得体会拿到大作业题目，我们首先对题目进行了分析，并且根据以前所学过的知识和做过的例题找到了解题方法，然后先制定解题步骤，画出解题流程图。再根据流程图编写出MATLAB码，最后进行调试, 运行，得出结果。整个过程中，我们在编程部分遇到了一些麻烦，但 很快我们就通过查找资料解决了这个问题。 再给老师审核时， 发现我 们并没有完完全全达到题目要求， 后来我们又再次修改。 通过这次大 作业， 我们从原来拿到题目时的迷茫， 到制定出解题方案， 再到最后 具体操作， 体会到了通过自己的努力解决一个问题的快乐， 同时，也 懂得了遇到任何问题， 只要通过认真分析， 最终都会得到解决的道理， 而且我们也发现审题不清是我们小组的薄弱环节， 我们将吸取教训认 真读题审题 , 且当身高体重不相关时，输出的结果可能有问题，还需 修改。%一 ? i ? a 1?,?D 士 e2ae ?u?clc;clear all ;%e ? - ?e ?e ? eP1=input(? eu ? e ? e ? ee ?;P2=in put(?D eu ? e ? e ? ee ?;%?卩匕? u 士？FH FW=textread( C;UsersxuydDesktophomeworkFEMALE.txt, %f %f );MH MW=textread( C;UsersxuydDesktophomeworkMALE.txt, %f %f);FA=FH FW;FA=FA;MA=MH MW;MA=MA;a=cov(FA)*(length(FA)-1)/length(FA);b=cov(MA)*(length(MA)-1)/length(MA);W1=-1/2*inv(a);W2=-1/2*inv(b);Ave1=(sum(FA)/length(FA);Ave2=(sum(MA)/length(MA);w1=inv(a)*Ave1;w2=inv(b)*Ave2;w10=-1/2*Ave1*inv(a)*Ave1-1/2*log(det(a)+log(P1); w20=-1/2*Ave2*inv(b)*Ave2-1/2*log(det(b)+log(P2);% syms a ;% syms b ;% h=a b;% h仁h*W1*h+w1*h+w10?D 士 eo _ey% h2=h*W2*h+w2*h+w20%2ae ? u 士？tHtW=textread(C;UsersxuydDesktophomeworktest2.txt, %f %f %*s );T=tH tW; T=T;%?2ae ?u ? i ?D士 e for j=1:300g1=T(:,j)*W1*T(:,j)+w1*T(:,j)+w10 ; g2=T(:,j)*W2*T(:,j)+w2*T(:,j)+w20 ;if g1=g2 XF(:,j)=T(:,j); else XM(:,j)=T(:,j); end end n=0; for i=1:50if XF(1,i)0 n=n+1;end end m=0; for k=51:300if XM(1,k)0 m=m+1; end end N=300-m-n; H=N/300; N H %XF %XM%一 ? i ?2? a 1?D士 e2a e ?u 士？clc;clear all ;%?e ?e ?eP1=input(? eu ? e ? e ? ee ?;P2=in put(?D eu ? e ? e ? ee ?;%?卩匕? u 士？%f ););FH FW=textread( C;UsersxuydDesktophomeworkFEMALE.txt, %fMH MW=textread( C;UsersxuydDesktophomeworkMALE.txt, %f %fFA=FH FW;FA=FA;MA=MH MW;MA=MA;a=cov(FA)*(length(FA)-1)/length(FA);b=cov(MA)*(length(MA)-1)/length(MA);a(1,2)=0;a(2,1)=0;b(1,2)=0;b(2,1)=0;W1=-1/2*inv(a);W2=-1/2*inv(b);Ave1=(sum(FA)/length(FA); Ave2=(sum(MA)/length(MA);w1=inv(a)*Ave1;w2=inv(b)*Ave2; w10=-1/2*Ave1*inv(a)*Ave1-1/2*log(det(a)+log(P1); w20=-1/2*Ave2*inv(b)*Ave2-1/2*log(det(b)+log(P2);% syms a ;% syms b ;% h=a b;% h仁 w1*h+w10?D 士 eoey% h2=w2*h+w20%2ae ? u 士？tH, %f %f %*s );tW=textread( C:UsersxuydDesktophomeworktest2.txt T=tH tW;T=T;%?2ae ?u 士 ?卩?D?for j=1:300 g1=T(:,j)*W1*T(:,j)+w1*T(:,j)+w10 ; g2=T(:,j)*W2*T(:,j)+w2*T(:,j)+w20 ;if g1=g2 XF(:,j)=T(:,j);elseXM(:,j)=T(:,j);endendn=0;for i=1:50if XF(1,i)0n=n+1;endendm=0;for k=51:300 if XM(1,k)0 m=m+1;endendN=300-m-n;H=N/300;NH%XF%XM洽？D? ?Bayes?2? ? ei ? i ? a 1?D士 e2a e ?u?clc;clear all ;%?卩匕? u 士？FH FW=textread( C:UsersxuydDesktophomeworkFEMALE.txt, %fMH MW=textread( C:UsersxuydDesktophomeworkMALE.txt, %f %fFA=FH FW;FA=FA;MA=MH MW;MA=MA;Ave1=(sum(FA)/length(FA); Ave2=(sum(MA)/length(MA);a=cov(FA)*(length(FA)-1)/length(FA); b=cov(MA)*(length(MA)-1)/length(MA);W1=-1/2*inv(a);W2=-1/2*inv(b); w1=inv(a)*Ave1;w2=inv(b)*Ave2; w10=-1/2*Ave1*inv(a)*Ave1;w20=-1/2*Ave2*inv(b)*Ave2;%2ae ? u 士？tHtW=textread( C:UsersxuydDesktophomeworktest2.txt, %f %f %*sT=tH tW;T=T;%?e ?e ?e ? ?2? 士P1=input(? eu ? e ? e ? ee ?;P2=i nput(?D eu ? e ? e ? ee ?;R=input(?2? 士 ?a o);R11=R(1,1);R12=R(1,2);R21=R(2,1);R22=R(2,2);%?2ae ?u 士 ?卩?D士 efor j=1;300 g1=T(;,j)*W1*T(;,j)+w1*T(;,j)+w10 ; g2=T(;,j)*W2*T(;,j)+w2*T(;,j)+w20 ;%f );););P1F=1/(2*pi)/(det(a)F0.5*exp(g1);P1M=1/(2*pi)/(det(b)F0.5*exp(g2);PF1=P1F*P1/(P1F*P1+P1M*P2);PM1=1-PF1;R1=R11*PF1+R12*PM1;R2=R21*PF1+R22*PM1;if R2=R1XF(:,j)=T(:,j);elseXM(:,j)=T(:,j);endendn=0;for i=1:50if XF(1,i)0n=n+1;endendm=0;for k=51:300if XM(1,k)0m=m+1;endendN=300-m-n;H=N/300;RNH洽？D? ?Bayes?2? ? ei ? i ?2? a 1?D士 e 2a e ?u?clc;clear all ;%?卩匕? u 士？%f ););FH FW=textread( C:UsersxuydDesktophomeworkFEMALE.txt, %fMH MW=textread( C:UsersxuydDesktophomeworkMALE.txt, %f %fFA=FH FW;FA=FA;MA=MH MW;MA=MA;Ave1=(sum(FA)/length(FA); Ave2=(sum(MA)/length(MA);a=cov(FA)*(length(FA)-1)/length(FA); b=cov(MA)*(length(MA)-1)/length(MA);a(1,2)=0;a(2,1)=0;b(1,2)=0;b(2,1)=0;W1=-1/2*inv(a);W2=-1/2*inv(b);w1=inv(a)*Ave1;w2=inv(b)*Ave2;w10=-1/2*Ave1*inv(a)*Ave1;w20=-1/2*Ave2*inv(b)*Ave2;%2ae ? u?tH, %f %f %*s );tW=textread( C:UsersxuydDesktophomeworktest2.txtT=tH tW;T=T;%?e ?e ?e ? ?2? iP1=input(? eu ? e ? e ? ee ?;P2=i nput(?D eu ? e ? e ? eeR=input(?2? ?a o);R11=R(1,1);R12=R(1,2);R21=R(2,1);R22=R(2,2);%?2ae ?u ?卩?Defor j=1;300g1=T(;,j)*W1*T(;,j)+w1*T(;,j)+w10 ;g2=T(;,j)*W2*T(;,j)+w2*T(;,j)+w20 ;P1F=1/(2*pi)/(det(a)F0.5*exp(g1);P1M=1/(2*pi)/(det(b)F0.5*exp(g2);PF1=P1F*P1/(P1F*P1+P1M*P2);PM1=1-PF1;R1=R11*PF1+R12*PM1;R2=R21*PF1+R22*PM1;if R2=R1XF(;,j)=T(;,j);elseXM(;,j)=T(;,j);endendn=0;for i=1;50if XF(1,i)0n=n+1;endendm=0;for k=51:300if XM(1,k)0 m=m+1;end end N=300-m-n; H=N/300; R N H