多元统计分析-判别分析

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数 学 建 模 培 训,第 十 章,多元统计分析,第 十 章,多元统计分析,主 讲：孙 中 奎,1,问题引入,2思路点拨,3判别分析方法,4DNA序列分类问题的求解,5.,参考文献,目 录,首先，我们来考虑一下2000年“网易杯”全国大学生数学建模竞赛的A题是关于“DNA序列分类”的问题,1问题引入,人类基因组中的DNA全序列是由4个碱基A，T，C，G按一定顺序排成的长约30亿的序列，毫无疑问，这是一本记录着人类自身生老病死及遗传进化的全部信息的“天书”。但是，除了这四种碱基外，人们对它所包含的内容知之甚少，如何破译这部“天书”是二十一世纪最重要的任务之一。在这个目标中，研究DNA全序列具有什么结构，由这4个字符排成的看似随机的序列中隐藏着什么规律，又是解读这部天书的基础，是生物信息学（Bioinformatics）最重要的课题之一。,虽然人类对这部“天书”知之甚少，但也发现了DNA序列中的一些规律性和结构。例如，在全序列中有一些是用于编码蛋白质的序列片段，即由这4个字符组成的64种不同的3字符串，其中大多数用于编码构成蛋白质的20种氨基酸。又例如，在不用于编码蛋白质的序列片段中，A和T的含量特别多些，于是以某些碱基特别丰富作为特征去研究DNA序列的结构也取得了一些结果。此外，利用统计的方法还发现序列的某些片段之间具有相关性，等等。这些发现让人们相信，DNA序列中存在着局部的和全局性的结构，充分发掘序列的结构对理解DNA全序列是十分有意义的。,作为研究DNA序列的结构的尝试，试对以下序列进行分类：,问题一：下面有20个已知类别的人工制造的序列（见附件1），其中序列标号110 为A类，11-20为B类。请从中提取特征，构造分类方法，并用这些已知类别的序列，衡量你的方法是否足够好。然后用你认为满意的方法，对另外20个未标明类别的人工序列（标号2140）进行分类，把结果用序号（按从小到大的顺序）标明它们的类别（无法分类的不写入）：,A类,；B类,。,问题二：请对 182个自然DNA序列（）进行分类。它们都较长。用你的分类方法对它们进行分类，并给出分类结果。,看了这道题，我们应当从何处入手呢，我们应该怎样进行分析呢,2,思路点拨,细读全题,对未知事物进行分类,问题的本 质,对另外20个未标明类别的DNA序列进行分类,根据所给的20个已知类别的DNA序列所提供的信息,对182个自然DNA序列进行分类,如果将每一个DNA序列都看作样本，那么该问题就进一步提炼成一个纯粹的数学问题：设有两个总体（类）和,，,其分布特征（来自各个总体的样本）已知，对给定的新品 ，我们需要判断其属于哪个总体（类）。,对于上面的数学问题，可以用很多成熟的方法来解决，例如：,（1）BP神经网络；,（2）聚类分析；,（3）判别分析；等等。,如何选取方法是建模过程中需要解决的另外一个问题：BP神经网络是人工神经网络的一种，它通过对训练样本的学习，提取样本的隐含信息，进而对新样本的类别进行预测。BP神经网络可以用以解决上面的DNA序列分类问题，但是，如何提取特征、如何提高网络的训练效率、如何提高网络的容错能力、如何建立网络结构是能否成功解决DNA序列分类问题的关键所在；聚类分析和判别分析都是多元统计分析中的经典方法，都可以用来将对象（或观测值）分成不同的集合或类别，但是，聚类分析更侧重于“探索”对象（或观测值）的自然分组方式，而判别分析则侧重于将未知类别的对象（或观测值）“归结”（或者说，分配）到已知类别中。显然，判别分析更适合用来解决上面的DNA序列分类问题。,3判别分析方法,判别分析是用于判别样品所属类别的一种多元统计分析方法。判别分析问题都可以这样描述：设有 个 维的总体 ，其分布特征已知（如已知分布函数分别为 或者已知来自各个总体的样本），对给定的一个新样品 ，我们需要判断其属于哪个总体。一般来说，根据判别规则的不同，可以得到不同的判别方法，例如，距离判别、贝叶斯（Bayes）判别、费希尔（Fisher）判别、逐步判别、序贯判别等。这里，我们简单介绍三个常用的判别方法：距离判别、贝叶斯（Bayes）判别和费希尔（Fisher）判别。,判 别 分 析 方 法,1.距离判别,2.贝叶斯（Bayes）判别,3.费希尔（Fisher）判别,4.判别分析模型的,显著性检验,3.1 距离判别,距离判别的基本思想：样品,X,离哪个总体的距离最近，就判断,X,属于哪个总体。,这里的“距离”是通常意义下的距离（欧几里得距离：在,m,维欧几里得空间,R,中，两点 与,的欧几里得距离，也就是通常我们所说的距离为,）吗？,带着这个疑问，我们来考虑这样一个问题,：,设有两个正态总体 ，,和 ，,现在有一个新的样品位于,A,处（参见图1）,从图中不难看出：，是否 A 处的样品属于总体 呢？,图 1,显然不是，因为从概率的角度来看，总体 的样本比较分散，而总体 的样本则非常集中，因此 处的样品属于总体 的概率明显大于属于总体 的概率，也就是说，处的样品属于总体 的“可能性”明显大于属于总体 的“可能性”！这也说明了用欧几里得距离来度量样品到总体距离的局限性。因此，需要引入新的距离概念这就是下面给出的马氏距离。,定义1（马氏距离）：设总体,G,为,m,维总体（,m,个因素或指标），其均值向量为 （这里 T 表示转置），协方差阵为,，则样品 到总体 G 的马氏距离定义为,3.1.1 两总体的距离判别,先考虑两个总体（）的情况。设有两个总体 和 ,和 分别是 和 的协方差阵，和 分别是 和 的均值。对于新的样品 ，需要判断它来自那个总体。,设来自（）的训练样本为,其中 表示来自哪个总体，表示来自总体 的样本量。,要判断新样品 来自哪个总体，一般的想法是分别计算新样品到两个总体的马氏距离 和,：,如果 则判定 ；,反之，如果 则判定 ：,即,（1）,A.时的判别方法,其中 ，,记,为了得到更简单的判别规则，我们下面计算新样品到两个总体的马氏距离,和,的差,显然，判别规则（1）式等价于,（2）,通常，称 为判别系数向量称 为线性判别函数。,注意判别准则（1）式或者（2）式将 维空间,划分成两部分：和,也即 。距离判别的实质就是：给出空间 的一个划分 和 ，如果样品 落入 之中，则判定 ；如果样品 落入 之中，则判定,。,当 时，根据判别准则（1）式，我们同样的给出判别函数 为,相应的判别规则为,（3）,B.时的判别方法,在实际应用中，总体的均值和协方差阵一般是未知的，我们所知道的仅仅是一组样本或者观测值，在这种情况下，就需要利用数理统计的知识，对 进行估计。,利用已知样本，易得 的无偏估计分别为,C.的估计,对于多个总体的情况，可以类似于两个总体的处理过程，我们给出如下的步骤：,第一步：计算样品,到每个总体的马氏距离 ；,第二步：比较 的大小，将样品 判为距离最小的那个总体。,如果均值为：和协方差：未知，可以类似两个总体的情形运用训练样本来进行估计。这里不再赘述。,3.1.2 多总体的距离判别,3.1.3 距离判别的不足,距离判别方法简单实用，容易实现，并且结论的意义明确。但是，距离判别没有考虑：,（1）各总体本身出现的可能性在距离判别中没有考虑；,（2）错判造成的损失在距离判别中也没有考虑。,在很多情况下，不考虑上面的两种因素是不合理的。贝叶斯（Bayes）判别方法克服了距离判别的不足。,与前面距离判别方法不同的是：所谓贝叶斯（Bayes）判别，就是在考虑各总体的先验概率和错判损失的情况下，给出空间 的一个划分：,，,使得运用此划分来判别归类时，所带来的平均错判损失最小。,3.2 贝叶斯判别,贝叶斯（Bayes）判别问题的数学描述为：设有 个 维的总体 ，其密度函数分别为 ，,若已知这 个总体各自出现的概率（先验概率）为 （，且 ），假设已知将本来属于总体 的样品错判为总体 所造成的损失为,。,在这样的情形下，对于新的样品 ，需要判断它来自那个总体。,为了给出贝叶斯（Bayes）判别准则，我们从下面几个方面来讨论：,先验概率表示对各总体的先知认识，或者说，事先对所研究的问题所具有的认识。一般来说，先验概率并不容易获得，其更多的来自于长期累积的经验。先验概率可以通过下面几种赋值方法得到：,基于经验或者历史资料进行估计；,利用训练样本中各种样品所占的比例,作为 的值。其中 表示第 类总体的样品数，是总训练样本数，该方法要求训练样本是通过随机抽样得到的；,3.,假定 。,A.确定先验概率,这里用 表示将本来属于总体 的样品错判为总体 的概率，即误判概率，显然，根据概率的定义，易得：（）（4）,实际上，（4）式的几何意义是很明显的，见图2。,B.确定错判概率,图2表示的是两个正态总体的误判概率示意图。,误判概率的估计方法有以下几种：,（1）利用训练样本为检验集，用判别方法对训练样本进行判断，统计误判的样本个数，计算误判样本占总样本的比例，并作为误判概率的估计值；,（2）当训练样本足够大时，从训练样本中预留一部分作为检验集，并记录判错的比率，作为误判概率的估计值；,（3）运用舍一法：每次预留一个样本来检验，用剩下 的样本建立判别准则，循环检验完所有训练样本，记录判错的比率，以此作为误判概率的估计值。,C.确定错判损失,错判必然带来损失。现实中，错判的损失一般来说很难定量给出。但是可以运用赋值法来确定：,（1）根据经验或者实际问题的特征人为,确定；,（2）假设各种误判损失都相等。,基于前面的讨论，运用概率知识：判别法 将本来属于总体 的样本错判给其它总体的平均损失为,那么，关于先验概率的平均错判损失 为,（5）,如果能找到 使得平均损失 达到最小，那么 就称为贝叶斯（Bayes）判别的解。,D.确定平均损失,定理1：设有 个总体：，已知,的联合密度函数为 ，先验概率为,，错判损失为 ，则贝叶斯（Bayes）判别的解,为,其中 （6）,下面给出贝叶斯（Bayes）判别的解的主要结论,：,3.3 费希尔判别,费希尔判别的基本思想：借助于方差分析的思想，利用投影将 元的数据投影到某一个方向，使得投影后组与组之间的差异尽可能的大，然后根据一定的判别规则对新样本的类别进行判断。,首先构造一个线性判别函数,（7）,可见上面的函数将 元的数据投影到了一个方向，系数 的确定原则是使得总体间的差异最大，总体内部的离差最小。,A.确定线性判别函数,设有 个 元总体：，它们的均值为：；协方差为：。,在 的条件下，有,令,这里,确定 ，使得 个总体间的差异最大，总体内部的离差最小，则 应该达到最大。,为了确保 的唯一性，不妨设 。因此，问题转化为：在条件 约束下，求 使得 式达到最大这是大家非常熟悉的条件极值的问题。根据拉格朗日乘子法：,求解得 （8）,由方程（8）第一式知，是 的特征根，是相应的特征向量。可以证明 （的大小可以衡量判别函数 的判别效果，故称 为判别效率）。设 的非零特征根为 ，相应的满足约束条件的特征向量为 ，显然，取 时 达到最大。,B.确定判别规则,假设系数 已经求出，那么线性判别函数 就完全确定下来，对于一个新的样品 ，可以构造下面的判别规则：,（9）,3.4 判别分析模型的显著性检验,建立了判别分析模型以后还需要对模型进行评价，这就需要对判别分析模型的显著性进行检验，主要包括两个方面：判别效果的检验和各变量判别能力的检验1，2。所谓判别效果的检验就是检验 k 个总体的均值是否有显著的差异，反映了采用判别分析模型的有效性问题；各变量判别能力的检验反映的是各指标（因素）对判别分类所起的作用时候显著。具体的检验方法因为过于复杂，这里不再赘述。,需要说明的是，作为多元统计分析中的经典方法，判别分析在许多关于多元统计分析的教材中均有详细而深刻的论述。,4DNA序列分类问题的求解,关于DNA序列分类问题的讨论和分析，我们在第1部分和第2部分已经作了详细的分析和讨论。这里，我们将根据多元统计分析的知识建立判别分析模型来求