偏最小二乘回归方法ppt课件

偏最小二乘回归方法讲演人：1；.简言之简言之 偏最小二乘回归是一种集多元线性回归分析、典型相关分析和主成分分析的基本功能为一体的新型多元统计分析方法。2；.此方法的优点：（1）能在自变量存在严重多重相关性的条件下进行回归建模；（2）允许在样本点个数少于自变量个数的条件下进行回归建模；3；.此方法的优点：（3）偏最小二乘回归在最终模型中将包含原有的所有自变量，易于辨识系统信息与噪声，而且其自变量的回归系数也将更容易解释。4；.此方法的优点：（4）偏最小二乘回归方法与其他的建模方法相比，具有计算简单、预测精度高，易于定性解释的优点。5；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导0010(,)pn pEEE0010(,)qn qFFF12(,)qn qYy yy12(,)pn pXx xx 首先将数据做标准化处理。原自变量数据表 经标准化后的数据矩阵记为原因变量数据表经标准化后的数据矩阵记6；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 第一步：记 是 的第一个成分，是 的第一个轴，它是一个单位向量,即有 。记 是 的第一个成分 ，是 的第一个轴，它是一个单位向量，即 。1t0E101tE10E111u0F10 1uF c1c0F11c7；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 如果要使 ，能很好的代表 与 中的数据变异信息，根据主成分分析原理，应该有 ，。1t1uXY 1maxVar t 1maxVar u8；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 另一方面，由于回归建模的需要，又要求 对 有最大的解释能力，由典型相关分析的思路，与 的相关度应达到最大值，即 1t1u1u11,maxr t u1t9；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 因此，综合起来，在偏最小二乘回归中，我们要求 与 的协方差达到最大，即 1t1u 111111,maxCov t uVar t Var ur t u10；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 正规的数学表述应该是求解下列优化问题，即110101,max,cEF c11111.1TTs tc c 11；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导采用拉格朗日算法，记100 111121111TTTTsE F cc c s11c12对 分别求关于 ，和 的偏导数，并令之为零，有12；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导00 111120TsE F c0012 1120TsF Ecc11110Ts 11210Tsc c（1）式（2）式（3）式（4）式13；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导由上述四个式子可以推出12100 1010 122,TTE F cEF c记 ，所以 正是优化问题的目标函数值。112100 122TTE F c114；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导把（1）和（2）式写成00 111TE F c 0011 1TF Ec20000111TTE F F E 将（6）代入（5），有（5）式（6）式（7）式15；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导同理，可得20000 111TTF E E F cc 易知，是矩阵 的特征向量，对应的特征值为 。是目标函数，它要求取最大值。10000TTE F F E21110000TTE F F E 所以，是对应于矩阵 的最大特征值的单位特征向量。16；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 易知，是对应于矩阵 的最大特征值 的单位特征向量。1c0000TTF EE F21 求得轴 和 后，即可得到成分 ，。然后，分别求 和 对 与 的三个回归方程11c101tE10 1uF c0E0F1t1u17；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导01 11TFt rF0111TEt pE*01 11TFu qF其中0 1121TE tpt01121TF uqu01121TF trt18；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导而 ，分别是三个回归方程的残差矩阵。1E*1F1F19；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 第二步：用残差矩阵 和 取代 和 。然后，求第二个轴 和 以及第二个成分 ，有1E1F0E0F22c2t2u212tE21 2uFc222211 2,TTt uE Fc20；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 是对应于矩阵 的最大特征值 的特征向量；是对应于矩阵 的最大特征值 的特征向量。22c1111TTF E E F221111TTE FF E2221；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导计算回归系数12222TE tpt12222TF trt1222TEt pE12 22TFt rF因此，有回归方程（8）式22；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导011TTmmEt pt p 如此计算下去，如果的 秩是 ，则会有01 1TTm mmFt rt rF 由于 均可以表示成 的线性组合。1,mtt010,pEEmX23；.多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 因此，（8）式还可以还原成 关于 的回归方程形式，即*0kkyF*0jjxE*1 1kkkppmkyxxFmkFmFk1,2,kq 是残差矩阵 的第 列。24；.偏最小二乘回归的简化算法偏最小二乘回归的简化算法1t （1）求矩阵 最大特征值所对应的单位特征向量 ，求成分 ，得10000TTE F F E101tE1011TEEt p其中0 1121TE tpt25；.偏最小二乘回归的简化算法偏最小二乘回归的简化算法 （2）求矩阵 最大特征值所对应的单位特征向量 ，求成分 ，得21001TTE F F E2t212tE12222TE tpt2122TEEt p其中26；.偏最小二乘回归的简化算法偏最小二乘回归的简化算法 至第h步，求成分 ，是 矩阵最大特征值所对应的特征向量。h1hhhtE1001TThhEF F E 如果根据交叉有效性，确定共抽取h个主成分 可以得到一个满意的预测模型。1,htt27；.偏最小二乘回归的简化算法偏最小二乘回归的简化算法0F1,htt则求 在 上的普通最小二乘回归方程为 01 12 2TTmFt rt rFhittFriiTi,2,1,20其中28；.交叉有效性具体的步骤：交叉有效性具体的步骤：记 为原始数据，是在偏最小二乘回归过程中提取的成分，是使用全部样本点并取h 个成分回归建模后，第 个样本点的拟合值，是在建模时删除样本点 ，ijy12,mt tthjiy()hjiyii29；.交叉有效性具体的步骤：交叉有效性具体的步骤：取 h 个成分回归建模后，再用此模型计算的 的拟合值，记ijy2111()ppnhhjijhjiijiSSSSyy2()11()pnhijhjijiPRESSyy211hhhPRESSQSS 30；.交叉有效性具体的步骤：交叉有效性具体的步骤：当 即 时，引进新的成分 会对模型的预测能力有明显的改善作用。20.0975hQ 10.95hhPRESSSSht31；.典型相关分析中的精度分析典型相关分析中的精度分析 在偏最小二乘回归计算过程中，所提取的自变量成分 ，尽可能多地代表 中的变异信息。对某自变量 的解释能力为itXitjx2(;)(,)jijiRd x trx t32；.典型相关分析中的精度分析典型相关分析中的精度分析 对某因变量 的解释能力为 对 的解释能力为itky2(;)(,)kikiRd y try titX11(;)(;)pikikRd X tRd x tp33；.对 的解释能力为11(;,)(;)hhiiRd X ttRd X t1,httX 对 的解释能力为11(;,)(;)hkhkiiRd x ttRd x t1,httkx34；.典型相关分析中的精度分析典型相关分析中的精度分析 对 的解释能力为 对 的解释能力为11(;,)(;)hhiiRd Y ttRd Y t11(;,)(;)hkhkiiRd y ttRd y t1,httY1,httky35；.谢谢！谢谢！讲演人：汤佳佳36；.