基于学习的图像增强技术章-课件9

单击此处编辑母版标题样式,第八章基于重构方法的超分辨率研究,第九章基于重构方法的超分辨率研究,9.1 基于主成分分析重构的超分辨率算法,9.2,基于流形学习重构的算法,9.3,实验结果与分析,9.4,本章小结,9.1,基于主成分分析重构的超分辨率算法,通过主成分分析,(PCA),算法可使人脸图像由加权的特征脸,(Eigenfaces),组成。通常把长宽为,m,n,的人脸图像表示为一个,m,n,=,H,维的矢量。假设有,N,幅的人脸图像集合,x,1,x,2,x,3,x,N,其中,x,i,R,H,。,PCA,的目的是获得一个线性变换矩阵,使得原始的,H,维投影到特征空间,L,维,其中,H,L,。新的特征矢量,y,i,R,L,。线性投影变换如下式：,y,k,=,W,T,(,x,k,x,),k,=1,2,N,(9-1),其中,W,是一个,H,L,的变换矩阵,并且它的列是正交的,N,是人脸图像的数量,W,T,表示,W,的转置,x,表示平均脸。,x,的计算公式如下：,(9-2),把平均脸从所有的人脸图像中去除,得,(9-3),为了获得特征脸,需要计算下式的特征向量：,(9-4),直接计算矩阵,C,的特征向量比较困难,(,C,是,H,H,的矩阵,),。通常采用计算矩阵,R,=,L,T,L,的特征向量,(,R,的大小为,N,N,),。,计算,R,的特征向量：,(,L,T,L,),V,=,V,(9-5),其中,V,为,R,的特征向量矩阵,是,R,的特征值矩阵。对等式,(9-5),两边同时乘上,L,得,(,LL,T,),LV,=,LV,(9-6),由此,矩阵,C,的特征向量可以通过下式计算：,(9-7),对于一幅输入的人脸图像,x,test,将它投影到特征脸空间,(,即,W,),上,就会获得,PCA,系数,y,test,。,(9-8),人脸图像可以通过下式重构：,(9-9),将式,(9-7),代入式,(9-9),可得：,(9-10),其中,可以将式,(9-10),改写为,(9-11),基于,PCA,重构的方法主要思想是分别对训练库中的高、低分辨率图像分别提取主成分,EigV,H,和,EigV,L,再将待复原的低分辨率图像向低分辨率主成分,EigV,L,投影获得重构系数,然后保存重构系数不变,通过训练库中的高分辨率图像的主成分,EigV,H,重构获得超分辨率图像。,基于,PCA,重构的超分辨率算法的基本流程框图如图,9-1,所示。它利用了,PCA,算法的一个重要特点,即重构误差最小化。误差最小化准则函数可表示为,(9-12),图,9-1,基于,PCA,重构的超分辨率算法的基本流程框图,9.1.1,基于整幅图像的,PCA,重构算法,基于整幅图像的,PCA,重构算法的实现分为两个过程,即训练过程和学习过程。具体算法的步骤如下：,1.,训练过程,将输入的每一幅低分辨率训练样本图像表示为一个向量,构成一个向量矩阵,Im,L,=,Im,i,L,i,=1,2,N,其中,Im,i,L,表示对训练库中第,i,幅低分辨率图像构成的向量,N,为样本数目。同样将其对应的高分辨率训练样本图像构成一个向量矩阵,Im,H,=,Im,i,H,i,=1,2,N,。,(,假设,Im,i,L,和,Im,i,H,分别进行了去除平均脸,),分别对向量矩阵,Im,L,和,Im,H,提取主分量,EigV,L,和,EigV,H,。,2.,学习过程,(1),将待复原的低分辨率图像,x,test,(,假设,x,test,去除了平均脸,),向,EigV,L,空间投影获得重构系数,y,test,：,y,test,=,EigVT,L,x,test,(9-13),(2),保持重构系数,y,test,不变,在,EigV,H,空间重构高分辨率图像,x,H,test,：,x,H,test,=,EigV,H,y,test,(9-14),9.1.2,基于分块的,PCA,重构算法,基于分块的,PCA,重构算法的基本思想与基于整幅图像的,PCA,算法基本相同,主要区别在于是否在进行,PCA,算法前进行了分块处理。基于分块的,PCA,重构算法分为两类：位置相关的分块,PCA,重构算法,;,位置无关的分块,PCA,重构算法。由于人脸图像是一类特殊的图像,(,人眼、鼻子、嘴巴位置相对来说在人脸中的位置是固定的,),因此可以先将人脸图像进行对齐预处理。对人脸图像进行了对齐预处理后,可以采取对每个位置的分块提取主分量,(,如鼻子、嘴巴、眼睛部分提取各自的主分量,),在重构中利用该位置的主分量进行重构。这就是位置相关的分块,PCA,重构算法。,位置无关的分块,PCA,重构算法是在对图像分块时不考虑图像块的位置,对每一个图像块都进行相同的处理,也就是将每一个分块图像都看做整幅图像,进行与整幅图像,PCA,重构算法相同的处理。对于如何分块这个问题,本节采用固定大小分块,(,类似于,jpeg,压缩编码中的固定大小分块方式,),即将图像划分为相同大小的块。基于分块的,PCA,重构算法的实现同样分为两个过程,即训练过程和学习过程。,1.,位置无关的分块,PCA,重构算法的步骤,1),训练过程将输入的每一幅低分辨率训练样本图像划分成,k,个,n,n,(,例如,33),的图像块,所有图像的图像块构成一个向量矩阵,B,L,=,Block,i,L,i,=1,2,s,其中,Block,i,L,表示对训练库中低分辨率图像划分的块构成的一维向量,;,s,=,k,N,k,为每幅图像的图像块数,N,为图像数量。同样对应高分辨率训练样本图像划分为多个,(,zn,)(,zn,),的块,(,其中,z,表示放大倍数,),构成一个向量矩阵,B,H,=,Block,i,H,i,=1,2,s,。分别对向量矩阵,B,L,和,B,H,提取主分量,BEigV,L,和,BEigV,H,。,2),学习过程将输入的待复原的低分辨率图像划分成,k,个,n,n,的图像块,对每一图像块进行如下步骤：,(1),将输入低分辨率的图像块向,BEigV,L,空间投影,获得重构系数。,(2),保持重构系数不变,在,BEigV,H,空间重构高分辨率图像块。,(3),将每一个复原的图像块按照顺序拼接,复原出高分辨率图像。,2.,位置相关的分块,PCA,重构算法的步骤,1),训练过程将输入的每一幅低分辨率训练样本图像划分成多个,n,n,(,例如,33),的图像块,对于每一个块,可以将其表示为一个一维向量,Block,L,i,j,k,其中,i,j,表示块在图像中的位置,k,表示第,k,个训练样本。每一个位置为,i,j,都可以构成一个向量矩阵,B,i,j,L,=,Block,L,i,j,k,k,=1,2,N,。同样对应高分辨率训练样本图像划分为多个,(,zn,)(,zn,),的块,可以将其表示为一个一维向量,Block,H,i,j,k,。每一个位置为,i,j,都可以构成一个向量矩阵,B,H,i,j,=,Block,H,i,j,k,k,=1,2,N,。分别对每一个位置的向量矩阵,B,L,i,j,和,B,H,i,j,提取主分量,EigV,L,i,j,和,EigV,H,i,j,。,2),学习过程将输入的待复原的低分辨率图像划分成多个,n,n,的小块。对每一位置,i,j,上的图像小块实施如下步骤：,(1),提取输入低分辨率的图像块并向,EigV,i,j,空间投影,获得重构系数。,(2),保持重构系数不变,在,EigV,H,i,j,空间重构高分辨率图像。,(3),对每一个复原的图像块按照顺序拼接,复原出高分辨率图像。,9.2,基于流形学习重构的算法,9.2.1 LLE,算法的基本原理,流形学习的数学定义：在,R,d,空间,(,D,d,),中存在由某个随机过程生成的数据,经过某个函数,f,可以映射形成,R,D,空间中的观测数据,x,i,=,f,(,y,i,),。流形学习是要在观测数据,x,i,中重构,f,和数据,y,i,以达到数据压缩和降维的目的。与以往的机器学习不同之处是,流形学习强调了整体结构,要通过局部和整体相结合来发现和重构数据的内在规律性。目前的流形学习算法主要有,LLE,、,ISOMAP,等。局部线性嵌入,(LLE),是流形学习中一种主要的算法。,LLE,算法是一种从高维空间非线性映射到低维空间的非监督方法,可以广泛地应用于图像数据的分类与聚类、多维数据的可视化等领域。,LLE,算法的主要思想是：对于一组具有嵌套流形的数据集,在嵌套空间与内在低维空间局部邻域间的点的关系应该不变,也就是说,在嵌套空间每个采样点可以用它的近邻点线性表示,在低维空间中保持每个邻域中的权值不变,重构原数据点,使重构误差最小。图,9-2,是一个,LLE,应用于降维的例子。,LLE,将三维空间的数据,(,图,9-2(b),映射到二维空间,(,图,9-2(c),中。,图,9-2 Swissroll,的,LLE,降维实验,LLE,的具体算法实现为：设在高维欧氏空间,R,D,中有数据集,X,=,x,1,x,2,x,N,该方法希望将,X,嵌入到一个相对低维的空间,R,d,中,(,d,D,),同时尽可能地保持原数据的拓扑结构,(,通过每点的邻域关系确定,),。,LLE,算法流程图如图,9-3,所示。,LLE,算法可以归纳为如下的三个步骤：,(1),寻找,R,D,空间中每一个样本点,x,i,(,i,=1,2,N,),欧氏距离最近的,K,个近邻点。,K,为预先设定的参数。,(2),认为空间中的每一个样本点,x,i,可以用它的,K,个近邻线性表示,即每一个样本点用它的,K,个近邻点重构。由每个样本点的近邻计算出该样本点的权值矩阵。定义代价函数：,(9-15),图,9-3 LLE,算法流程图,W,ij,可以看做每个近邻点对重构样本点作出的贡献,并且权值要满足。因此有,(9-16),其中,Q,jm,=(,x,i,x,ij,),T,(,x,i,x,im,),x,im,(,m,=1,2,K,),为,x,i,的,K,个近邻点，,W,im,为,x,i,和,x,im,的权值关系。,求最优权值就是对公式,(9-15),在约束条件下求解最小二乘问题。利用拉格朗日乘子法,即可求出局部最优重构权值矩阵：,(9-17),其中，,R,i,=(,Q,i,),1,(9-18),(3),保持权值不变,在低维空间,R,d,(,d,D,),中对原数据点重构。将所有的样本点映射为低维空间中的数据点,并使输出数据在低维空间中保持原有的拓扑结构。设低维空间的数据点为,y,i,可以通过求最小的代价函数得到：,(9-19),9.2.2,基于流形学习的超分辨率基本原理,基于学习的超分辨率技术就是输入一幅低分辨率图像,I,l,t,通过训练样本图像集,(,低分辨率,I,l,s,(,s,=1,2,m,),和高分辨率,I,h,s,(,s,=1,2,m,),图像对,其中,s,表示第,s,幅训练样本图像,m,是训练样本的数量,),估计出它的高分辨率图像,I,h,t,。将每一幅低分辨率图像和每一幅高分辨率图像划分成一定数量的图像块,在此分别把输入的低分辨率图像,I,l,t,、待求的高分辨率图像,I,l,t,、训练库中的低分辨率图像,I,l,s,(,s,=1,2,m,),、训练库中的高分辨率图像,I,h,s,(,s,=1,2,m,),的图像块分别表示为,B,l,t,、,B,h,t,、,B,l,s,、,B,h,s,。,在高分辨率图像中的块不仅与对应的低分辨率图像中的块有关,而且与高分辨率的相邻块有关。,Chang,等人假设高、低分辨率的图像块的流形结构是相似的,并且实验的结果也验证了这一点。也就是说,如果高分辨率的图像块相邻,那么其降质后的低分辨率图像块也相邻。这样高分辨率的图像块与降质后的低分辨率的图像块满足,LLE,的核心概念。与,LLE,算法对应,高分辨率的图像块对应高维数据,而其降质后的低分辨率的图像块对应降维后的低维数据。获得输入的低分辨率的图像块,B,l,t,与训练样本的低分辨率的图像块,B,l,s,之间的重构关系,即权值矩阵,W,(,该关系可以通过,LLE,算法求得,),。然后保持重构