小二乘及偏最小二乘的参数估计方法-v

2020/9/25,化工过程动态数学模型（化工与环境学院）,1,化工过程动态数学模型 硕士研究生课程-2010 陈祥光,2020/9/25,化工过程动态数学模型（化工与环境学院）,2,第6章 最小二乘及偏最小二乘的参数估计方法 6.1 最小二乘整批算法 6.2 最小二乘递推算法 6.3 实验数据处理 6.4 问题提出及最小二乘原理 6.5 偏最小二乘的基本含义 6.6 偏最小二乘的重要性 6.7 应用举例 6.8 单因变量的偏最小二乘回归模型,2020/9/25,化工过程动态数学模型（化工与环境学院）,3,第6章 最小二乘及偏最小二乘的参数估计方法,最小二乘法自高斯在1795年提出以来，已有二百多年的历史，但至今仍广泛用于参数估计。其主要原因是这种方法简单方便，而且是其他几种方法的基础。,上式中：Y量测向量； 参数向量；H量测矩阵 e考虑量测误差的随机向量。,2020/9/25,化工过程动态数学模型（化工与环境学院）,4,例如：当模型形式为 Y=a1x1+a2x2+anxn,一共进行了N 次量测时：,实际过程 (或装置),2020/9/25,化工过程动态数学模型（化工与环境学院）,5,上式中R-1 是加权矩阵，在此讨论R=I（单位矩阵）时的最小二乘估计。为了使J成为最小值，取,现在要使下列目标函数J为最小时，求出参数的估计值,（6-2）,一般情况下，量测次数N远大于待估计的参数的数目n。,2020/9/25,化工过程动态数学模型（化工与环境学院）,6,（2）动态模型算法,考虑单输入单输出（SISO）线性系统，用后移差分算符q-1 表示的脉冲传递函数是：,（6-4）,考虑到量测噪声的存在，（6-4）式可写成：,（6-5）,上式中：k是采样次数，y是输出，u是输入，e是考虑噪声或不确定性的随机变量。,2020/9/25,化工过程动态数学模型（化工与环境学院）,7,该系统的框图如6-1所示：,图6-1 辨识系统示意图,假定e(k)是独立的，零均值随机变量序列，而且在 不同的k 值下有相同的分布。如果采样次数从(1-n)至k， 一共进行了(n+k)次时量测，则对y(k)可得出下列方程：,2020/9/25,化工过程动态数学模型（化工与环境学院）,8,（6-6）,可以看出，上式与（6-1）式很相似，在得到k次采样 数据后的最小二乘估计值可象（6-3）式一样求取：,2020/9/25,化工过程动态数学模型（化工与环境学院）,9,（6-7）,2020/9/25,化工过程动态数学模型（化工与环境学院）,10,上述的算法是在取得整批数据后，一次求取参数的估计值。 在采样次数k值大的时候，矩阵HTH的计算比较费时，在模型 阶次n高时，(HTH)求逆的计算工作量很大。,6.2 最小二乘递推算法,值得注意的是：如果取得新的测量数据，需对估计值进行 修正时，必须从头算起，完全不能利用原来的计算结果。,在很多应用中，在有些自适应系统中，需要依据动态模型 参数的估计值来确定控制作用，必须不断依据新的数据来修 正参数估计值。这就要求采用递推算法。,2020/9/25,化工过程动态数学模型（化工与环境学院）,11,（6-8）,（1）基本的递推算法 递推算法的一般形式是：,2020/9/25,化工过程动态数学模型（化工与环境学院）,12,（2）式（6-8）的物理意义：在收到新的量测值后，要依据实际 y值与预报值之差，对参数的估计值进行适当的修正。,在此，关键的问题是如何确定Kk+1，这在不同的算法中有 不同的解答。如果Kk+1的修正过于强烈，估计值将波动较大 ，甚至不能收敛；但如果过于微弱，则需要经过很多次采样 后，才能接近可靠的估计值。,2020/9/25,化工过程动态数学模型（化工与环境学院）,13,在式（6-10）中， 是个纯量， 项成为简单的求倒数计算，只不过要有了 ， 的计算就不困难。,（6-10）,但是，作为完整的算法，对P(k+1)也要有个递推算式，才能 满足下一采样后进一步修正估计值的计算中的需要。由矩阵 求逆引理可以导出：,（6-11）,递推算法： 已有数据求P(k)求Kk+1由 ， ,2020/9/25,化工过程动态数学模型（化工与环境学院）,14,以上的递推算法尽管在计算步骤上与整批算法不同，但计算结果是相同的，对所采集的各组数据，对最终结果起着同等程度的影响。 在许多情况下，例如对于时变的系统，需要逐步减少老数据的作用，加强新数据的地位。,一种办法是对数据组数作限制，一直规定为k，在收到第 (k+1)组数据后，把第1组数据弃掉，吐故纳新。 另一种常用的办法是引入遗忘因子 。把记忆中的数据乘 上小于1的数，犹如逐渐淡忘一样。 采用遗忘因子的算法步骤如下：,2020/9/25,化工过程动态数学模型（化工与环境学院）,15,依据过去已有的数据，求取P(k)和 ，如：,（6-12）,也可按照某些初值假定，如 ， 等,2020/9/25,化工过程动态数学模型（化工与环境学院）,16,计算新的P值,（6-15）,这样，构成一个完整的算法，一步一步计算，可设 的值 在01之间，通常取0.951。如 =1，则对新旧数据一视同仁 值越小，对旧的数据遗忘越快。,2020/9/25,化工过程动态数学模型（化工与环境学院）,17,将现场测试得到的数据直接代入回归方程，所得到的结果一般是不正确的。其原因是：目标函数同生产变量之间不一定都是线性关系，如下图6-2所示的实验数据分布：,6.3 实验数据处理,2020/9/25,化工过程动态数学模型（化工与环境学院）,18,从以上的实验数据分布图可知：只有图(a)是线性关系。 因此，在进行实验数据收集之前，建议进行有目的的试验， 以找出目标函数y同各个过程变量的定性关系。有目的试验的 最简单的方法是固定所有的有关变量，仅让其中一个变量变化，观察目标函数(或称目标变量)同此变量的关系。,2020/9/25,化工过程动态数学模型（化工与环境学院）,19,实验数据的处理通常需要从几组测定的数据（例如N个点xi,yi）去求数据拟合的问题。这种方法在有些场合称为线性回归问题，在系统辨识中称为参数据计。,6.4 问题提出及最小二乘原理,由于在实验中给出的数据总是有观测误差的，如果要求估 计曲线通过所有的点，那么会使曲线保留全部观测误差的影响，这与古典的数据拟合方法是不相符的，由于数据拟合方法不要求曲线通过所有的点（xi, yi），而是根据这些数之间的相互关系，用其它方法给出它们之间合适的数学公式，绘出一条近似曲线，以反映给定数据的一般趋势。,2020/9/25,化工过程动态数学模型（化工与环境学院）,20,假设生产过程中，某一因变量与自变量之间的关系，通过实际测定。如下表6-1所示：,表 6-1 实际测定数据表,2020/9/25,化工过程动态数学模型（化工与环境学院）,21,把x, y的观测值标在坐标纸上，每组数据（x, y）在图中以一个星点表示，这种图称为散点图，从散点图可直观地看出两个变量之间的大致关系。,x,y,图6-3 散点图,2020/9/25,化工过程动态数学模型（化工与环境学院）,22,从以上的图可以看出x与y之间大致呈线性关系，因此，可用一条直线来表示两者之间的关系，即设 y = a + b x (6-16),若取式（6-17）中的第2和第24两方程联立起来：,解得：a = -0.4, b = 0.85,2020/9/25,化工过程动态数学模型（化工与环境学院）,23,但是，当选取不同的点值时，得到的a 、b值就不同，这说明解不是唯一的！假定用某种方法把a 和 b确定下来，这时有了x就可以算出y值，可记为：,（6-18）,当然，这样得到的 与 不一定相同，把两个数据之差记为,（6-19）,可以有许多方法来确定最好的a和b参数，但常用的是最小二 乘原理，即使误差平方和达到最小。即,2020/9/25,化工过程动态数学模型（化工与环境学院）,24,为了求出a 和 b的最好值，把（6-19）式代入（6-20）式，可得,（6-20）,（6-21）,2020/9/25,化工过程动态数学模型（化工与环境学院）,25,整理（6-22）式可得：,（6-23）,2020/9/25,化工过程动态数学模型（化工与环境学院）,26,从向量和矩阵的角度来讨论最小二乘估计，即,则：,（6-25）,（6-26）,2020/9/25,化工过程动态数学模型（化工与环境学院）,27,由（6-27）式可知：,由于量测矩阵H的秩为2，与被估计量的维数相等，其逆存在，因此，利用公式（6-26）可得最小二乘估计为：,2020/9/25,化工过程动态数学模型（化工与环境学院）,28,因此：,例6-2. 对于时变系统的参数估计： y(k)+a(k)y(k-1)=b(k)u(k-1)+e(k) a(k), b(k)具有以下的数值： a(k)=0.8, b(k)=0.5, 当0k300 a(k)=0.6, b(k)=0.3, 当k300,2020/9/25,化工过程动态数学模型（化工与环境学院）,29,e(k)为零均值白噪声，利用上述的递推算法估计时变参数：,2020/9/25,化工过程动态数学模型（化工与环境学院）,30,从上面的图6-3a和6-3b可以看出：当的值取得较小时，参数 估计变化较快，但对噪声的跟踪能力也大。当的值取较大时 ，参数估计变化较慢，但最后估计精度较高。,2020/9/25,化工过程动态数学模型（化工与环境学院）,31,已知整批的最小二乘估计公式为：,（6-28）,2020/9/25,化工过程动态数学模型（化工与环境学院）,32,可以证明，从第n+1组数据就可以利用公式(6-29)、(6-30) 进行递推。,注：在利用公式(6-29)、(6-30)进行递推计算时，需要一组初 值 或 和 。通常可利用公式（6-28）计算出一组 初值，也可以根据历史数据选择一组初始值。如果没有任何 历史数据可供参考的话，那么可设 ：,2020/9/25,化工过程动态数学模型（化工与环境学院）,33,其中的 是充分大的正数，通常选择 ， 可以证明，经过相当次数的推递之后，这种初始值的影响 就逐渐消失，而得到满意的估计值。,递推最小二乘法的计算框图如下：,图6-4 递推最小二乘法程序框图,2020/9/25,化工过程动态数学模型（化工与环境学院）,34,例6-3. 基于递推最小二乘法所需要的存储单元数，考虑二阶 线性动态模型：,在输入n组数据时，从第n+1组数据开始推递计算：,2020/9/25,化工过程动态数学模型（化工与环境学院）,35,从第3组数据开始递推： 从上面的计算过程可见，递推最小二乘法，每一步需要存储 单元的数目是：,2020/9/25,化工过程动态数学模型（化工与环境学院）,36,6.5 偏最小二乘的基本含义,偏最小二乘回归是一种新型的多元统计分析方法, 它于1983 年由伍德（S.Wold）和阿巴诺（C.Albano）等人首次提出。 伍德教授执教于瑞典的Umea大学有机化学系，在他的指导 下，发表了多篇有关偏最小二乘回归理论和应用的论文，并开 发了相关软件，用以支持偏最小二乘回归的计算和结果解释。 也正因此，偏最小二乘回归首先在化工领域得到广泛应用。 1996年10月在法国巴黎召开一次有关偏最小二乘回归方法 理论与实践的学术研讨会。美国密西根大学（Michigan Univer- sity）的弗耐尔（Fornell）教授称偏最小二乘回归为第二代回归 分析方法。,2020/9/25,化工过程动态数学模型（化工与环境学院）,37,6.6 偏最小二乘的重要性,偏最小二乘回归方法在统计应用中的重要性有： 偏最小二乘回归是一种多因变量对多自变量的回归建模 方法；特别当各变量集合内部存在较高程度的相关性时，用偏 偏最小二乘回归进行回归建模分析，对比逐个因变量进行多元 回归更加有效，其结论更加可靠，整体性更强。 偏最小二乘回归可以较好地解决许多以往用普通多元回 归无法解决的问题；最典型的问题是自变量之间的多重相关性 。如果采用普通的最小二乘回归方法，这种变量多重相关性就 会严重危害参数估计，扩大模型误差，并破坏模型的稳健性。,2020/9/25,化工过程动态数学模型（化工与环境学院）,38,而采用偏最小二乘回归方法，是利用对系统中的数据信息 进行分解和筛选的方式，提取对因变量解释性最强的综合变量 ，辨识系统中的信息与噪声，从而更好地克服多重相关性在系 统建模中的不良作用。 另一方面，在使用普通最小二乘回归时经常受到样本点数 的限制（样本点不宜太少）。一般统计书上介绍该数目应是变 量个数的两倍以上，但由于费用、时间等条件的限制，所能得 到的样本点个数却少于变量的个数，此时采用普通的多元回归 方法无能为力，而采用偏最小二乘回归方法可得到较好解决。,2020/9/25,化工过程动态数学模型（化工与环境学院）,39,偏最小二乘回归方法可以实现多种数据分析方法的综 合，所以被称为第二代回归方法。 偏最小二乘回归可以集多元线性回归分析、典型相关分 析和主成分分析的基本功能为一体，将建模预测类型的数据 分析方法与非模型式的数据认识性分析方法有机地结合起来， 即,偏最小二乘回归多元线性回归分析+典型相关分析 +主成分分析,2020/9/25,化工过程动态数学模型（化工与环境学院）,40,应用举例1：主元分析法在原油储罐测控系统中的应用,（1）目的 为了确保安全生产，实时监控原油集输过程中的变量， 基于主元分析方法研究原油储罐各参数的变化规律，建立了主 元回归模型，分析影响原油储罐正常运行的主要因素，对生产 过程工艺参数的不正常状态实现有效的识别。,在现代化生产过程中，要求操作人员同时监视大量的过程 变量是比较困难的。如能将很多相关的过程变量压缩为少数的 独立变量，而这些少数独立变量又涵盖了整个过程的大部分信 息，那么操作人员通过对这少数独立变量的监视，以实现对整 个生产过程的监控。,2020/9/25,化工过程动态数学模型（化工与环境学院）,41,（2）概述 主元分析（Principal Component Analysis）就是将相关的变 量转化为少数几个相互独立变量的一个有效的方法。 基于主元分析(PCA)的方法是多元（变量）统计过程控制 (Multivariable Statistic Process Control )方法的一个重要工具。 MSPC的主要内容是建立多元统计模型(如PCA模型)，将生产过 程中存在的高度相关的过程变量通过多元统计投影映射到少量 隐变量定义的低维空间中，使过程监控、故障检测与诊断以及 相应的研究得以简化。,通过对原油储罐内原油的各参数（如液位、压力、界面、 温度等）进行监控，可以有效的预防原油冒罐、原油罐被抽瘪 等事故发生。,2020/9/25,化工过程动态数学模型（化工与环境学院）,42,2020/9/25,化工过程动态数学模型（化工与环境学院）,43,2020/9/25,化工过程动态数学模型（化工与环境学院）,44,2020/9/25,化工过程动态数学模型（化工与环境学院）,45,2020/9/25,化工过程动态数学模型（化工与环境学院）,46,2020/9/25,化工过程动态数学模型（化工与环境学院）,47,2020/9/25,化工过程动态数学模型（化工与环境学院）,48,2020/9/25,化工过程动态数学模型（化工与环境学院）,49,2020/9/25,化工过程动态数学模型（化工与环境学院）,50,2020/9/25,化工过程动态数学模型（化工与环境学院）,51,2020/9/25,化工过程动态数学模型（化工与环境学院）,52,2020/9/25,化工过程动态数学模型（化工与环境学院）,53,2020/9/25,化工过程动态数学模型（化工与环境学院）,54,2020/9/25,化工过程动态数学模型（化工与环境学院）,55,2020/9/25,化工过程动态数学模型（化工与环境学院）,56,2020/9/25,化工过程动态数学模型（化工与环境学院）,57,2020/9/25,化工过程动态数学模型（化工与环境学院）,58,应用举例2：偏最小二乘法在高炉冶炼中的应用,高炉冶炼过程包含着众多的子工序, 包括配料、上料、布料、鼓风、富氧、喷煤、出渣、出铁等。 在生产过程中, 包含着众多的影响参数, 使得高炉铁水含硅量发生剧烈波动。这些影响参数本身之间存在着复杂的线性相关。 为了对高炉冶炼过程进行平稳控制, 大量的非线性方法包括神经网络、模糊数学、混沌和分形时间序列方法得到了广泛的应用, 并取得了一定的成果。然而, 这些方法仅仅考虑单一的因素( 铁水含硅量) 或少数几个关键参数, 造成了大量有用信息的丢失, 因而存在一定的局限性。,2020/9/25,化工过程动态数学模型（化工与环境学院）,59,目前处理高维复杂数据应用最广泛的方法是主成分回归( PCR) 和偏最小二乘法( PLS)。主成分回归的主要目的是要提取隐藏在矩阵X 中的相关信息, 然后用于预测变量Y 的值。这种做法可以保证只使用那些独立变量, 噪音将被消除, 从而达到改善预测模型质量的目的. 当然, 它也有一定的缺陷, 由于高炉数据过于复杂, 导致主成分分析所提取的成分数过多从而造成预测模型精确度不够。 偏最小二乘法则可以避免主成分回归在预测中的缺陷, 同时对变量X 和Y都进行分解, 从变量X和Y中提取成分( 通常称为因子) , 再将因子按照它们之间的相关性从大到小排列。将主成分回归和偏最小二乘法结合起来, 一方面可以有效分析各个运行参数对铁水含硅量的影响, 另一方面可以准确预测铁水含硅量, 对指导高炉生产有着较大的意义。,2020/9/25,化工过程动态数学模型（化工与环境学院）,60,（1）偏最小二乘法,偏最小二乘法的思路是: 首先, 从自变量X 中提取相互独立的成分th ( h= 1, 2, , ) , 从因变量Y中提取相互独立的成分uh ( h= 1, 2, , ) 。然后建立这些成分与自变量的回归方程. 与主成分回归不同的是, 偏最小二乘回归所提取的成分既能较好地概括自变量系统中的信息, 又能很好地解释因变量并排除系统中的噪声干扰。因而有效地解决了自变量间多重相关性情况下的回归建模问题。 当因变量Y的阶数为1 时, 为单变量偏最小二乘回归模型( PLS1) , 阶数大于1 时为多变量偏最小二乘回归模型。此例是讨论的是单变量模型, 对于多变量模型, 处理的方法也类似。,2020/9/25,化工过程动态数学模型（化工与环境学院）,61,2020/9/25,化工过程动态数学模型（化工与环境学院）,62,2020/9/25,化工过程动态数学模型（化工与环境学院）,63,2020/9/25,化工过程动态数学模型（化工与环境学院）,64,2020/9/25,化工过程动态数学模型（化工与环境学院）,65,图6-10 error相对于所取成分数的变化,2020/9/25,化工过程动态数学模型（化工与环境学院）,66,图6-11 某高炉Si 预测结果图,在高炉冶炼过程的控制中, 过去的模型大多根据经验提取少数几个参数或者仅利用铁水含硅量数据进行建模, 这样造成了大量的信息丢失。在此采用了偏最小二乘方法对高炉冶炼过程进行分析,不仅有效降低了数据的维数, 而且分析得到了各个变量对冶炼过程的贡献, 从而得到了较好的预测结果。,2020/9/25,化工过程动态数学模型（化工与环境学院）,67,6.8 单因变量的偏最小二乘回归模型,1引言 当因变量个数只有一个时, 偏最小二乘回归模型就是单因变 量的。目前, 国际上有一些流行的缩写记号, 比如单因变量的偏 最小二乘回归模型被记为PLSl模型, 而多因变量的偏最小二乘回 归模型被记为PLS2模型。显然,PLSl模型是PLS2模型的一种特 例。 当在自变量之间存在严重多重相关性时, 会使普通最小二乘 法失效,破坏参数估计, 扩大模型误差, 并使模型丧失稳健性。然 而, 偏最小二乘回归却较好地解决了这一问题。它与传统的多元 线性回归模型相比,有以下几个突出的特点：,2020/9/25,化工过程动态数学模型（化工与环境学院）,68,（1）能够在自变量存在严重多重相关性的条件下进行回归建 模； （2）允许在样本点个数少于变量个数的条件下进行回归建模； （3）偏最小二乘回归在最终模型中将包含原有的所有自变； （4）偏最小二乘回归模型更易于辨识系统信息与噪声（甚至 一些随机性噪声）； （5）在偏最小二乘回归模型中，每一个自变量xj回归系数将 更容易解释。,2020/9/25,化工过程动态数学模型（化工与环境学院）,69,2020/9/25,化工过程动态数学模型（化工与环境学院）,70,2020/9/25,化工过程动态数学模型（化工与环境学院）,71,2020/9/25,化工过程动态数学模型（化工与环境学院）,72,2020/9/25,化工过程动态数学模型（化工与环境学院）,73,3. 简化算式,2020/9/25,化工过程动态数学模型（化工与环境学院）,74,2020/9/25,化工过程动态数学模型（化工与环境学院）,75,4. 应用举例,2020/9/25,化工过程动态数学模型（化工与环境学院）,76,6-2,2020/9/25,化工过程动态数学模型（化工与环境学院）,77,这8个变量的相关系数矩阵见表6-3。从相关系数矩阵中可以 看出，在自变量之间存在严重的多重相关性，例如r(x1,x3)= 0.999, r(x4,x7)=0.92, r(x1,x6)=-0.80。实际上，这7个自变量之 间有如下关系： x1+x2+x7=1,6-3,2020/9/25,化工过程动态数学模型（化工与环境学院）,78,用偏最小二乘回归方法建立回归模型,2020/9/25,化工过程动态数学模型（化工与环境学院）,79,2020/9/25,化工过程动态数学模型（化工与环境学院）,80,2020/9/25,化工过程动态数学模型（化工与环境学院）,81,2020/9/25,化工过程动态数学模型（化工与环境学院）,82,2020/9/25,化工过程动态数学模型（化工与环境学院）,83,思考题： 24. 在递推最小二乘法中，修正矩阵的物理意义是什么？为什么要引入遗忘因子？ 25. 整批最小二乘法与递推最小二乘法的区别是什么？ 26. 偏最小二乘法的基本思想是什么？,