近红外光谱建模中的化学计量学方法研究

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,Laboratory of,Chemoinformatics,Nankai,University (NKU),南开大学 化学信息学实验室,近红外光谱建模中的化学计量学方法研究,邵学广,化学信息学实验室,南开大学化学系,天津，300071,Laboratory of,Chemoinformatics,Department of Chemistry,Nankai,University,Tianjin, 300071, P.R. China,http:/,chinfo,.,nankai,.,edu,.,cn,近红外光谱（,NIRS）,Near-infrared (NIR) spectroscopy has become one of the most popular and important techniques for quantitative analysis of various samples or industrial products.,It enables rapid and nondestructive analysis with little or no sample preparation.,It can be used for analysis of very complex samples.,近红外光谱分析,建模,(,modeling),预测,(,prediction),建模方法非常关键 ！,近,红外光谱的特点,Background,Overlapping,Multicomponent,数据处理非常必要 ！,烟叶的组成4,000种化合物。,烟气的组成6,000种化合物。,近红外光谱分析中的问题,Contents = spectra, coefficients,建模方法,PLS、ANN、SVR、,光谱预处理,背景扣除、数据压缩,变量筛选 / 波长筛选,建模样本筛选,代表性、均匀分布、涵盖预测样本、奇异样本检测,模型转移,NIR,建模中的化学计量学方法研究,建模方法,PLS、,SVR,、,consensus modeling,光谱预处理,背景扣除、数据压缩 ,小波变换(,WT),变量筛选 / 波长筛选 ,WT-UVE、WT-IPOW,建模样本筛选,一、小波变换用于数据压缩和背景扣除,小波变换,内积 卷积,投影 滤波,数据压缩 滤噪、不同分辨率成分提取,小波变换用于数据压缩,WT,Thresholding,IWT,Keep bigger coefficients,小波变换用于背景扣除,1.1 近红外光谱的背景扣除,CWT with,Symmlet,(2),a,=20,Experimental Spectra of 50 tobacco samples,Chemometrics,and Intelligent Laboratory Systems, 2003, 69(1-2):157-165,Journal of Chemical Information and Computer Sciences, 2004,44(3):907-911,烟草样品中氯原酸,(,chlorogenic,acid),的测定,Relationship between the measured concentration (%) and the predicted results,by using the PLS models with,(left,) CWT preprocessing and (,right,) without preprocessing (52 samples as training set, 26 samples as prediction set),Analytical Sciences, 2004,20(3):451-454,1.2,CWT-,mIPOW,用于,NIRS,的变量筛选和奇异样本删除,IPOW iterative predictors and objects weighting,M.,Forina,; C.,Casolino,;,E. M.,Almansa,Chemometr,.,Intell,. Lab.,Syst,.,2003, 68(1-2) :29-40,X, original matrix of predictors (variables),y, original vector of response (contents),Z, predictor weight (diagonal matrix), object weight,(diagonal matrix),mIPOW, Modified iterative predictors and objects weighting,CWT was used for background removal.,Calculation of the weighting matrices ( ) was modified.,CWT-,mIPOW,-PLS applied to prediction of alkaloids content of tobacco samples,83,NIR spectra,Training set: 63,Prediction set: 20,Method,factor number,selected variables,deleted samples,RMSEP,PLS,13,519,-,0.265,CWT-,mIPOW,-PLS,6,15,38, 40, 42,0.183,1.3,近红外光谱数据的压缩,小波基（滤波器）：,Daubechies,分解尺度：5,阈值的大小：保留142个系数,WT-UVE,*,方法用于,NIRS,的变量筛选,*,UVE = Uninformative Variables Elimination,V.,Centner, D.L.,Massart, O.E. de,Noord,et al, Anal. Chem., 68 (1996) 3851,数据压缩,WT-UVE-PLS,的,预测结果,(a) TS, (b) TA, (c) TN,Samples:70 samples; 50 as training set;20 as prediction set,Prediction:TS: Total SugarTN: Total NitrogenTA: Total Alkaloid,PLS,和,WT-UVE-PLS,的预测结果比较,计算速度,明显提高！,预测精度,有一定改善！,二、近红外光谱分析中的建模方法研究,2.1、小波变换-支持向量回归(,CWT-SVR),2.2、,基于独立成分的局部回归,2.3、共识（,consensus）,算法,2.1、小波变换-支持向量回归(,CWT-SVR),114个粗烤烟叶样品，预测目标：总糖、总植物碱和总氮含量。,采用留半交叉验证法对奇异点进行检验，删除8个奇异样本，保留106个样本。将106个样本随机分为校正集（50个）和预测集（56个）。,分别建立全谱的,PLS,模型、,SVR,模型以及,CWT-SVR,模型。在所有模型的建立过程中均以校正集的预测均方根误差（,RMSEP）,进行了参数的优化。,对预测集的样本进行预测。,2.2、基于独立成分的局部回归,样品在独立成分(左)和主成分(右,),空间的分布,局部建模方法用于烟草样品分析,362个烟叶样品，预测目标：尼古丁。,将362个样品的数据随机地分为三部分，其中212个样品的光谱数据用作校正集，44个样品的光谱数据用作检验集，其余106个样品的光谱数据用作预测集。,2.3、共识（,consensus）,算法,传统的多元校正技术，如,PLS、PCR，,一般采用单一模型，即首先采用一定的训练集建立一个最优模型然后用于预测，当训练集样本数目有限或存在较大误差时模型的预测精度与稳定性往往达不到满意的效果。,共识策略(,consensus strategy),采用同一训练集中的不同子集建立多个模型同时进行预测，将多个预测结果通过简单平均或加权平均作为最终的预测结果，可获得更高的预测精度和稳定性。,共识算法的误差公式,A Consensus PLS (,cPLS,),(1),设置,cPLS,的有关参数，如训练集与检验集的样本数、成员模型数、成员模型的接纳标准等；,(2)将训练集样本随机地分为训练子集和检验集；,(3)以训练子集的样本建立,PLS,模型；,(4)用所建立的模型预测检验集；,(5)根据检验集预测结果与实验值之间的平均相对误差确定该模型是否接纳为,cPLS,的成员模型；,(6)重复(2)-(5)步至,cPLS,的模型数达到预定值。,PLS,和,cPLS,的比较,Stability,RMSEPs,obtained by,cPLS,(,) and PLS (,) in 15 runs of prediction,烟草样品中氯含量的预测,58,tobacco samples,20 as prediction set,38 as training set,and test set,PLS,和,cPLS,的比较,Final Prediction,Relationship between the measured contents and the average results predicted by PLS (a) and,cPLS,(b) in 15 runs,The points labeled with star are smallest & largest recovery.,CDL-PLS,Consensus Dynamic Local Partial Least Squares,Consensus modeling,Local modeling,Consensus dynamic local modeling - CDL,在主,成分空间中，首先确定与某预测样本邻近的,m,个样本；然后再以这,m,个样本为中心寻找邻近的,n,个样本，并分别建立,m,个模型。最后利用,m,个模型进行预测(取,m,个预测值的平均值或加权平均值,)。,CDL-PLS,用于烟草样品中尼古丁含量的预测,100次运算结果的比较,CDL-PLS,LOO-PLS,GIND-PLS,LIND-PLS,373,烟叶样本,187训练集,186预测集,Reviews & Books,1 邵学广, 蔡文生, 化学信息学，科学出版社：北京, 2001.6，第二版，2005.4,2,Foo,-,tim Chau,Yi,-,zeng Liang,Junbin Gao,Xue,-,guang Shao,Chemometrics,: From Basics to Wavelet Transform, Wiley-,Interscience, 2004.4,3,邵学广，第7章，许禄主编，化学计量学，科学出版社：北京，2004.2,4 许禄，邵学广，化学计量学方法(第二版)，科学出版社：北京, 2004.9,1,Xueguang Shao,Wensheng Cai,Wavelet analysis in analytical chemistry,Reviews in Analytical Chemistry,1998, XVII(4), 235-285,2,Xue,-,Guang Shao, A. K.-M. Leung,Foo,-Tim,Chau,Wavelet: a new trend in chemistry,Accounts of Chemical Research,2003, 36 (4):276-283,Thanks for Your Attention !,国家自然科学基金委 杰出青年基金 (,No.20325517),国家自然科学基金委 面上项目 (,No.20575031),教育部 “高校青年教师奖”(2002年，第3届,),教育部 博士点基金(,20050055001),Acknowledgements,