第十章-基于超完备字典的图像稀疏表示理论的超分辨率复原课件

单击此处编辑母版标题样式,第十章基于超完备字典的图像稀疏表示理论的超分辨率复原,第十章基于超完备字典的图像稀疏表示理论的超分辨率复原,10.1 概述,10.2 信号稀疏分解算法,10.3 超完备字典学习算法,10.4 基于图像稀疏表示的单幅图像超分辨率算法,10.5 实验结果及分析,10.6 本章小结,第十章基于超完备字典的图像稀疏表示理论的超分辨率复原10.,10.1 概 述,10.1.1 信号的稀疏表示及其研究现状,在信号处理中,人们希望把信号变换到适当的域,然后利用信号在这个域的稀疏逼近替代原始信号。信号的稀疏表示有两方面的作用：一方面能够提供数字信号的压缩特性;另一方面能够有效地抓住信号的本质特征,为后续的信号处理提供便利。传统的信号处理通常将已知信号在给定的函数集上进行分解。例如,将信号在余弦函数上进行分解,得到该信号在频域上的展开;将信号在小波函数上进行分解,得到该信号小波域的展开。然而对于自然信号,采用单一的函数集或者函数集的联合往往不能有效地模拟出信号的结构。因此,一直以来,人们希望找到一种更为灵活的方式,它不仅能有效地表示出自然信号的结构,同时使用尽可能少的基函数。在数字信号处理领域,这种简洁、 有效的信号表示方式,能够有效地降低信号处理成本,提高信号压缩率,具有重要的意义。,10.1 概 述10.1.1,基于超完备字典的信号稀疏分解成为近年来研究的热点。这种新的信号表示理论用一种称为字典的超完备基去代替传统的正交基,由于字典的选择没有任何限制,它能够更加有效地表达出原始信号的结构。字典的每一列元素称为一个原子,信号的稀疏分解就是从给定的或者自适应建立的字典中选择最佳线性组合的一定数量原子,去稀疏逼近或者非线性逼近原始信号。对于哺乳类动物的视觉系统的一系列研究表明,视觉皮层对刺激的表达符合超完备稀疏表示的原则。在非线性逼近理论中,超完备系统能得到比传统正交基更好的逼近也得到了证明。,基于超完备字典的信号稀疏分解成为近年来研究的热点。这种新,皮层对刺激的表达符合超完备稀疏表示的原则。在非线性逼近理论中,超完备系统能得到比传统正交基更好的逼近也得到了证明。基于超完备字典的信号稀疏分解理论出现于20世纪90年代, Mallat和Zhang在1993年首次提出了这种信号分解思想并引入了一种贪婪算法匹配跟踪(Marching Pursuit,MP)算法来求解这个问题。随后出现了基于MP算法的各种改进,例如正交匹配跟踪(Orthogonal Matching Pursuit, OMP)算法等。1999年,Donoho等人巧妙地用l1范数代替l0范数问题求解,提出了基追踪(Basis Pursuit, BP)算法,并在2001年给出了利用BP算法对信号进行稀疏分解唯一解的边界条件。,皮层对刺激的表达符合超完备稀疏表示的原则。在非线性逼近理,基于超完备字典的信号稀疏分解算法复杂、 计算量巨大,阻碍了其在工程实践中的应用。目前信号超完备稀疏分解研究主要集中于以下几个方面： 设计逼近程度更好且时间效率更高的信号稀疏表示算法; 根据信号结构,设计超完备字典学习算法,字典对于原始信号的稀疏表示能够得到更高的信噪比,能够得到更快的收敛。目前已经出现很多优秀的超完备字典学习算法,例如K-SVD算法、 在线字典学习(Online Dictionary Learning,ODL)算法和优化方向方法(Method of Optimized Directions, MOD)等。,基于超完备字典的信号稀疏分解算法复杂、 计算量巨大,阻碍,10.1.2 信号稀疏性表示,稀疏性是信号表示的一种普遍属性。在信号表示中,信号常常由大量疑似因素中的少量因素决定。一种信号的稀疏性表示与表示手段和度量方式有着密不可分的联系。考虑空间,R,M,由一组线性独立的矢量,=,i,N,i,组成基,它们张成整个空间。对于,R,M,中的任意给定信号,X,R,M,都可以用,i,N,i,的线性组合来表示：,(10-1),由于张成空间,R,M,的基向量,i,N,i,是线性独立的,这样的展开式是唯一确定的。进一步说,如果,i,j,i,j,则,i,N,i,称为一组正交基。同样的,可以得到下式的矩阵形式：,X,=, ,(10-2),10.1.2 信号稀疏性表示稀疏性是信号表示的一种普,10.1.3 超完备字典的基本概念,1993年由Mallat 和Zhang首次提出了超完备字典的概念,它实质是一种超完备基。超完备字典的优越性能引起了人们的重视,并在最近几年得到了快速的发展。目前超完备字典的研究主要集中在超完备字典学习算法、 基于超完备字典信号稀疏分解算法及它们的应用领域上。给定一个集合,D,=,d,r,r,=1,2,3,K,它的每一个元素是张成希尔伯特空间,=,R,N,的单位矢量,其中,K,N,D,称为超完备字典,它的每一列元素称为一个原子。对于任意给定的信号,X,希望在字典中自适应地选择一定数量的原子对信号进行逼近,即信号表示为字典原子的一组线性组合：,X,=,D ,(10-3),10.1.3 超完备字典的基本概念1993年由Mal,其中,为稀疏系数矩阵,它只包含少量的非零元素。从示意图10-1中可以看到,信号,X,可以由字典,D,中三个原子的线性组合来稀疏表示,此时可以用只包含三个非零项的稀疏表示矩阵,来描述信号,X,。在数学上,可通过最小化,l,0,范数问题求解稀疏表示：,(10-4),在实际运算中,通常在三种约束条件下解决稀疏表示这个问题。第一种是以稀疏度,L,为约束条件：,(10-5),第二种是以求解信号残差为约束条件：,(10-6),其中,为稀疏系数矩阵,它只包含少量的非零元素。从示意图10,图10-1 信号在超完备字典上的稀疏表示,图10-1 信号在超完备字典上的稀疏表示,第三种是综合考虑稀疏度和信号残差：,(10-7),第三种是综合考虑稀疏度和信号残差：(10-7),10.2 信号稀疏分解算法,10.2.1 引 言,近年来,人们对找到一种新的信号表示方法表现了极大的兴趣。从传统的傅立叶基到小波基,随后涌现出大量基于字典的信号表示法,例如分段小波、 Gabor字典、 多尺度Gabor字典、 小波包、 余弦包等等。目前出现的很多新的信号表示方法都是基于超完备字典的。基于这种超完备字典的信号分解不是唯一确定的,但是这样的不确定性又同时保证了信号分解的自适应性。一种最优的自适应信号分解算法需要同时满足以下三个条件：(1) 稀疏性。(2) 分辨率。(3) 时间效率。,10.2 信号稀疏分解算法10.2.1 引,10.2.2 框架算法,框架算法(MOF)指出,在所有解中,如果系数矩阵满足最小化l2范数：,(10-8),这样的解就是唯一确定的,记为,。式(10-8)的所有解为,RN,的子空间,框架算法就是在这个子空间中找到最逼近原信号的原子,通常把它称为最小长度解(Minimum Length Solution)。已知一个矩阵,它是,D,在广义上的一个倒置，求最小长度解就是在线性系统中解决下列问题：,(10-9),10.2.2 框架算法框架算法(MOF)指出,在所有,10.2.3 匹配追踪算法,匹配追踪(MP)算法是一种局部最优的贪婪算法,它通过局部求解,l,0,范数问题代替全局求解来减少计算复杂度。匹配追踪算法是一种迭代的过程,在每一次迭代的过程中从字典中选取最能够匹配原信号结构的原子,在约束条件下通过这种迭代获得信号的一组稀疏分解。设原始信号为,f,字典,D,=,d,r,r,=1, 2, 3，,K,中的所有原子的范数为1,初始残余项,R,0,=,f,。匹配追踪算法首先将原始信号,f,投影到字典的一个原子,d,r,0,上,得到,d,r,0,R,0,d,r,0,这时信号可以分解为,R,0,=,d,r,0,R,0,d,r,0,+,R,1,(1010),10.2.3 匹配追踪算法匹配追踪(MP)算法是一种,由于,R,1,和,d,r,0,是正交的,有下式：,(10-11),为了使残余量,R,1,最小,需要求得|,d,r,0,R,0,|的极大值,设定：,(10-12),(10-13),(10-14),这时通过对剩余量进行,M,次迭代,可以得到,(10-15),其中剩余量RM满足,(10-16),由于R1和dr0是正交的,有下式：(10-11)为了使残,此时有定理指出：对于任意,0,当,m,趋于无穷时,有|,R,m,f,|2,m,|,f,|,可知|,R,m,f,|按指数收敛到0。最后可以得到,(10-17),这样就完成了对原始信号,f,在字典,D,上的分解。很多类似的算法也不断涌现出来,Qian和Chen提出了一种基于Gabor字典的分解方法,Villemoes提出了一种基于Walsh字典的分解算法。匹配追踪算法只需要比较少次数的迭代就能够得到足够稀疏的信号分解,可以通过设定信号分解的目标稀疏度和信号的逼近误差来终止算法迭代。,此时有定理指出：对于任意0,当m趋于无穷时,有|Rmf,10.2.4 最佳正交基算法,对于一个特定的字典,可以根据字典的特点设计信号分解算法,最佳正交基(BOB)算法就是这样一个例子。BOB算法由Coifman 和Wickerhauser提出,它在很多基中自适应选择一个单独的正交基底作为“最佳基”。如果定义(,s,I,),I,为正交基,中的基,s,的系数向量,定义熵：,(10-18),其中,e,(,s,)是标量函数。算法通过解决下面问题来得到信号的稀疏分解：,(10-19),10.2.4 最佳正交基算法对于一个特定的字典,可以,10.2.5 全局最优算法,最常用的全局最优算法是基追踪(BP)算法,它把最小化,l,0,范数问题放松为l1范数问题,然后通过解决一个凸优化(Convex Optimization)问题得到信号在超完备字典上的稀疏表示：,(10-20),l,1,范数问题则可以通过线性规划(Linear Programming, LP)的方法求解。可以看到,与MOF算法把,l,0,范数问题转换为,l,2,范数问题类似,BP算法把,l,0,范数问题转化为,l,1,范数问题,然而这种简单的差异却导致相差很大的算法效果。MOF算法在线性等式的约束下解决最小二次优化问题,本质还是在线性系统下面求解。而BP算法需要求解的则是凸优化问题,这样一种凸优化问题显得更复杂,但是能够得到更好的效果。,10.2.5 全局最优算法最常用的全局最优算法是基追,把BP算法和线性规划(LP)问题建立联系,LP就是在标准形式下解决一个约束优化问题：min,c,T,x,s.t.,Ax,=,B,x,0(10-21)其中,x,R,m,是一组变量,c,T,x,是目标函数,Ax,=,B,是一个约束等式,x,0是设定的一个边界,核心问题是找到为零的那些变量。把标准形式(10-21)通过下列约束关系转换为一个线性规划问题：,(10-22),把BP算法和线性规划(LP)问题建立联系,LP就是在标准,10.3 超完备字典学习算法,10.3.1 常用的字典学习算法,字典学习算法首先从训练集开始。设,X,为一组训练集,当,X,长度有限时,把它放入一个,N,L,的矩阵中,即,X,R,N,L,。字典训练算法的目标就是同时求得字典,D,R,NK,和对应的稀疏表示系数,R,KL,这时的约束条件为保证信号残差,=,X,D,和稀疏表示系数,的非零项均为最小：,(10-23),10.3 超完备字典学习算法10.3.1 常用,1. K-SVD字典学习算法,K-SVD字典学习算法由Michal Aharon在2006年提出,随后它在图像压缩、 图像去噪、 图像超分辨等领域得到了广泛的运用。K-SVD算法是一种自适应字典学习算法,它通过迭代的升级字典来得到信号X更为稀疏的表示,在迭代终止时解决式(10-23)中的优化问题。K-SVD算法包含两个基本步骤：(1) 给定一个初始化的字典,D,0,把信号,X,在这个初始化的字典上进行稀疏分解,得到稀疏表示系数,。(2) 升级字典原子,得到信号,X,在该新字典上的稀疏表示系数。,1. K-SVD字典学习算法K-SVD字典学习算法,信号的稀疏分解通过正交匹配跟踪(OMP)算法实现,在字典升级过程中,通常只对字典中的一个原子单独进行,此时其他原子保持不变。K-SVD算法的主要创新来自字典原子升级步骤,字典的升级过程始终在式(10-23)的约束条件下进行。定义,I,为用字典中第,j,个原子表示的信号,X,的索引,字典升级通过在字典原子和稀疏表示矩阵的对应行上解决下列优化问题：,(10-24),问题的结果可以通过下面一个简单的逼近问题得到：,(10-25),(10-26),信号的稀疏分解通过正交匹配跟踪(OMP)算法实现,在字典,2. MOD算法和迭代最小二乘字典学习算法,MOD(Method of Optimized Directions)算法和迭代最小二乘字典学习(Iterative Least Squares Dictionary Learning Algorithms, ILS-DLA)算法属于MOD算法族,都可以被应用于解决式(10-23)中的优化问题。与K-SVD算法类似,它们包含以下两步迭代过程：(1) 首先初始化字典,D,0, 保持字典不变,求解信号在字典上的稀疏表示系数,。(2) 保持稀疏表示系数,不变,升级字典,D,原子。可表示为,D,=(,X,T,)(,T,),1,=,BA,1,(10-27),2. MOD算法和迭代最小二乘字典学习算法MOD(,为了更方便地定义这个等式,设,B,=,X,T,A,=,T,。MOD算法中迭代的第一步计算量大,这样字典原子每次升级一次都伴随着大量的计算,字典学习过程的时间效率较低,当训练样本较大时更是如此。MOD算法的一类改进是当训练样本较大时,改进MOD算法,提升字典学习的时间效率,可把这类改进称为large-MOD算法。在这种改进中,训练集被随机分为,m,个相同大小的子集, 记为,B,i,i,=1, ,m,。在迭代过程的第一步,算法只取一个或者少部分子集参与计算,这些子集通常是随机选取的或者按最长时间未使用的原则选择。通过这样的处理,在迭代算法的第一步,求解得到的只是部分训练集在字典,D,上的稀疏表示系数,就有效地减少了计算量。在迭代过程的第二步,A,矩阵和,B,矩阵则变为,(10-28),为了更方便地定义这个等式,设B=XT,A=T。MOD算,最小二乘字典学习算法(Least Squares Dictionary Learning Algorithms,LS-DLA)是MOD算法大类中的另一种具体算法,它包含一个遗忘因子(Forgetting Factor),i, 0,i,1,通过设定,可以影响初始化字典被升级替换的速度。LS-DLA算法可以训练无限大的训练集。设下标,i,表示第,i,次迭代过程中相应的训练子集为,X,i,这样建立起迭代次数和相应训练子集的关系。,D,i,-1,用来求解稀疏逼近问题,得到稀疏表示系数i,字典升级的步骤可以表示为,A,i,=,i,A,i,1,+,i,T,i,B,i,=,i,B,i,1,+,X,i,T,i,D,i,=,B,i,A,1,i,(10-29)上式是相当灵活的,如果训练集是完整且有限的,X,i,=,X,i,=0,这时算法退化为MOD算法。另一方面,当每一个训练集为一个向量时,X,i,=,X,i,=1,这时算法和递归最小二乘字典学习(RLS-DLA)算法一致,与在线字典学习算法非常相似。,最小二乘字典学习算法(Least Squares Dic,3. 在线字典学习算法,在线字典学习算法(Online Dictionary Learning, ODL)能用式(10-29)进行解释,当训练集为一个向量,x,i,或者为小批量(mini-batch)训练集,X,i,时,对应的稀疏表示系数,i,通过式(10-29) (,i,=1)得到。在ODL算法中,字典每列(原子)的升级通过下式得到：,d,j,d,j,+(,b,j,Da,j,)/,a,j,(,j,),j,=1, 2, ,K,(10-30)其中,d,j,、,b,j,和,a,j,分别为,D,、,A,i,和,B,i,的列,值得注意的是,当式(10-30)重复计算时,字典学习通常是在很少步骤的迭代后就会收敛为最小平方问题：,D,i,=,B,i,A,i,1,。,3. 在线字典学习算法在线字典学习算法(Onlin,4. 递归最小二乘字典学习算法,递归最小二乘字典学习算法(Recursive Least Squares Dictionary Learning Algorithm, RLS-DLA)与ODL算法类似,在一次迭代过程中只处理一个训练向量,在第,i,次迭代过程中,当前的字典,D,i,1,用来求取对应的稀疏表示系数,i,。与LS-DLA算法相比,RLS-DLA算法的主要改进在于字典升级过程不是求解一个最小平方问题,通过下面的一个简单的式子得到：,C,i,=,A,1,i,=(,C,i,1,/,i,), uu,T,D,i,=,D,i,+,i,u,T,(10-31),4. 递归最小二乘字典学习算法递归最小二乘字典学习,10.3.2 超完备字典学习算法的比较1. 常用超完备字典学习算法的性能对比,取一个164000的矩阵,X,作为训练样本,目标稀疏度设为4。用超完备字典学习算法对训练样本,X,进行训练,计算得到一个超完备字典和非零元素为4的稀疏表示系数,这时训练样本X能用字典中四个原子的线性组合表示。此时通过稀疏表示信号的信噪比和算法的收敛曲线来对比几种常用超完备字典学习算法的性能。K-SVD算法、 ILS-DLA(MOD)算法、 RLS-DLA算法的迭代次数都被设定为200次,且能够基本达到收敛,它们的收敛曲线如图10-2所示。,10.3.2 超完备字典学习算法的比较1. 常用超完,图10-2 K-SVD算法、 ILS-DLA算法和RLS-DLA算法性能对比,图10-2 K-SVD算法、 ILS-DLA算法和RLS-,2. 遗忘因子对RLS-DLA算法性能的影响,在上一节中提到遗忘因子的大小关系到初始字典原子更新的速率,同时也对算法性能产生影响。这一节里,将讨论遗忘因子对RLS-DLA算法性能的影响,第一个实验设,为固定值,可得到一组RLS-DLA算法的收敛曲线,如图10-3所示。,2. 遗忘因子对RLS-DLA算法性能的影响在上一,图10-3 对RLS-DLA算法性能的影响,图10-3 对RLS-DLA算法性能的影响,从收敛曲线可以看出不同的对算法性能影响相当大,可通过调整来改善算法性能,但是这通常来说是相当困难的。在上一节提到RLS-DLA算法呈现一种搜索并收敛的思路,通过不断地增大使得算法在合理的迭代次数后得到收敛,第二个实验将自适应地改变的值,这时RLS-DLA算法的收敛曲线为图10-4所示。由图可知,当自适应增长时,RLS-DLA算法性能相较于固定时有很大提升。增长率对算法收敛速度影响很大,增长率为0.25时算法收敛速度最快。同时可以看到,不同的增长率对稀疏表示信号的信噪比影响不大,但是几种情况都表现出优异的性能,信号信噪比超过了K-SVD算法和ILS-DLA算法。,从收敛曲线可以看出不同的对算法性能影响相当大,可通过调,图10-4 增长率对RLS-DLA算法性能的影响,图10-4 增长率对RLS-DLA算法性能的影响,10.4 基于图像稀疏表示的单幅图像超分辨率算法,图像超分辨率重建的目标是从一幅或多幅低分辨率(Low Resolution, LR)图像重建出高分辨率(High Resolution, HR)图像,传统的基于重建的图像超分辨率算法需要同一场景的多幅超分辨率图像作为输入, 每一幅低分辨率图像给出了一组关于未知高分辨率图像的线性约束条件,当输入的低分辨率图像数量足够多时,这样的多组线性约束条件就能够求得一个唯一确定的解,可以通过这个解重建出高分辨率图像。然而在实际应用中,得到同一场景的多幅低分辨率图像是相当困难的,且当目标放大倍数较大时,重建效果急剧下降。由于传统图像超分辨率重建算法的诸多局限性,单幅图像(基于学习的)超分辨率重建算法得到了更广泛的应用。,10.4 基于图像稀疏表示的单幅图像超分辨率算法图,在基于学习的图像超分辨算法中,低分辨率图像块和高分辨率图像块的映射关系(先验知识)通过一个包含低分辨率和高分辨率图像块对的训练库学习而来,这样的映射关系被应用到输入的单幅低分辨率图像,重建出它对应的最有可能的高分辨率版本。基于学习的图像超率算法打破了传统的基于重建的图像超分辨率算法的诸多限制,但是它同时也表现出一些缺点： 一方面,不同于传统的图像超分辨率算法,基于学习的图像超分辨率算法重建出的图像高分辨细节信息不能保证是完全真实的;另一方面,基于学习的图像超分辨率重建算法通常需要一个包含大量低分辨率和高分辨率图像块对的训练库来学习得到先验知识,当训练库包含的样本数目过少时,重建效果急剧下降。针对这两个弊端,本节算法采取了以下策略：,在基于学习的图像超分辨算法中,低分辨率图像块和高分辨率图,(1) 超分辨率重建所需的先验知识应该尽可能由输入的单幅高分辨率图像提供而不是额外的训练样本,这样就在一定程度上保证了重建高分辨率信息的真实性。(2) 超分辨率算法不要过于依赖训练库样本的数目,甚至不需要提供附加的训练库。,(1) 超分辨率重建所需的先验知识应该尽可能由输入的单幅,10.4.1 自训练字典学习的算法框架,在自训练字典学习的算法框架下,图像超分辨率重建问题可以描述为： 单幅低分辨率图像,I,l,作为输入,在没有附加训练库提供先验知识的情况下,重建出相应的高分辨率图像,I,h,。与其他的基于学习的超分辨重建算法类似,把图像分解为图像块进行处理。单幅低分辨率图像,I,l,分解为图像块,p,l,R,l,l,例如33的像素块,目标为重建出相应的高分辨率图像块,p,h,R,h,h,。定义超分辨重建操作为,Q,此时重建的约束条件可以表示为,p,h,=,Q,(,p,l,)(10-32),10.4.1 自训练字典学习的算法框架在自训练字典学,超分辨率重建操作,Q,与Freeman的方法类似,可以抽象地理解为两个步骤： 首先,通过插值算法(例如,双三性插值算法)把单幅输入的低分辨率图像放大到目标分辨率大小,得到一张模糊的且缺乏高频信息的插值图像;其次,把重建得到的高频信息,例如边缘、 纹理信息等,填入上一步得到的插值图像。最后可以得到目标分辨率大小且具有丰富高频信息的高分辨率图像。由于从低分辨率图像,I,l,重建出相应的高分辨率图像,I,h,(图像高频信息)是一个高度病态的问题,因此可通过这两个步骤来解决这个问题。,超分辨率重建操作Q与Freeman的方法类似,可以抽象地,1. 通过自训练字典学习得到先验知识,由于没有附加的训练样本,本节将通过输入的低分辨率图像块,p,l,来获取进行超分辨重建的先验知识。定义,B,为一种模糊操作(点扩展函数),s,为图像下采样操作。假设每一个低分辨率图像块,pl,都可以通过对应的高分辨率图像块,p,h,模糊后下采样得到：,p,l,=(,p,h,*,B,),s,(10-33)其中, *为卷积操作。用高斯低通滤波器作为本节算法的模糊函数,它是一个2维的33模板：,(10-34),1. 通过自训练字典学习得到先验知识 由于没有附加,对于输入的低分辨率图像块,p,l,可以模糊和下采样得到,p,ll,以此用来模拟超分辨率重建的反过程：,p,ll,=(,p,l,*,B,),s,(10-35)由式(10-33)和式(10-35)可知通过,p,ll,和,p,l,的关系来预测,p,l,和,p,h,是合理的。基于图像稀疏表示理论,定义,D,l,=,d,r,r,=1, 2, 3,K,为通过输入低分辨率图像训练得到的超完备字典,它的原子,d,r,张成整个希尔伯特空间,H,=,R,N,K,其中,K,N,。这时,可把,p,ll,看做低分辨率图像块,同时把,p,l,看做对应的高分辨率图像块,那么相应的低分辨率图像块,p,ll,可以在低分辨率字典,D,l,上得到稀疏表示：,p,ll,=,D,l,(10-36),对于输入的低分辨率图像块pl,可以模糊和下采样得到pll,其中,为包含很少非零分量的稀疏表示系数。希望在,D,l,中自适应地选择,m,个原子去非线性逼近图像块,p,ll,由于,D,l,是冗余的(,K,N,), 这样的稀疏表示系数,不是唯一确定的。求解稀疏表示系数,转换为求解一个基于错误容差的优化问题：,(10-37),式中,|,|,0,表示非零分量的数目,表示非线性逼近的错误容差,这是一个,l,0,范数问题。在前面已经阐述了解决,l,0,范数问题的两类方法,在这里可通过优化的正交匹配追踪(OMP)算法来求解稀疏表示系数,。根据Yang算法的基本思想,高分辨率图像块,p,l,可以用同样的稀疏表示系数,在高分辨率字典,D,h,上得到稀疏表示：,p,l,=,D,h,(10-38),其中, 为包含很少非零分量的稀疏表示系数。希望在Dl中自适,由高分辨率图像块,p,l,和稀疏表示系数,可以求得高分辨率字典,D,h,。这个等式的实质是训练高分辨率图像得到高分辨率字典,具体训练算法将在下一节中详述。此时通过输入低分辨率图像得到低分辨率字典,D,l,和高分辨率字典,D,h,的联合就组成了先验知识(,D,l,D,h,)。在自训练字典学习框架下获取先验知识的过程如图10-5所示。,由高分辨率图像块pl和稀疏表示系数,可以求得高分辨率字,图10-5 在自训练字典学习的框架下获取先验知识,图10-5 在自训练字典学习的框架下获取先验知识,2. 利用先验知识重建高分辨率图像,得到由自训练字典学习得到的先验知识(,D,l,D,h,)后,接下来就是利用这个先验知识重建对应的高分辨率图像块,p,h,。 与上一个步骤不同,这里把,p,l,看做低分辨率图像块,同时把,p,h,看做对应的高分辨率图像块。低分辨率图像块,p,l,在低分辨率字典,D,l,上得到稀疏表示：,p,l,=, D,l,(10-39)新的稀疏表示系数,通过求解下列一个基于错误容差的优化问题得到：,(10-40),2. 利用先验知识重建高分辨率图像得到由自训练字典,此时需要重建的高分辨率图像块,p,h,可由同样的稀疏表示系数在高分辨率字典上得到重建：,p,h,=, D,h,(10-41)这样得到的高分辨率图像,I,h,的每个图像块,p,h,R,h,h,都通过这样的步骤得到重建,最后把这些图像块融合起来可得到完整的高分辨率图像,I,h,。通过先验知识重建出高分辨率图像,I,h,的过程如图10-6所示。,此时需要重建的高分辨率图像块ph可由同样的稀疏表示系数在高分,图10-6 利用先验知识重建出高分辨率图像,(a) 低分辨率图像在低分辨率字典上得到稀疏表示,(b) 用同样的稀疏表示系数在高分辨率字典上重建出高分辨率图像,图10-6 利用先验知识重建出高分辨率图像(a) 低分辨率,10.4.2 由粗到精的图像放大过程,一般来说,超分辨率算法的重建效果随着目标放大倍数的增大会迅速下降。为了解决这个问题,本章算法引入“由粗到精”的概念到高分辨图像重建的整个过程, 并且引入反向投影(Back Projection, BP)算法作为全局约束条件,保证每次重建得到的高分辨率图像,I,hn,(,n,=0, 1, )与输入的单幅低分辨率图像,I,l,保持一致。输入单幅低分辨率图像,I,l,本节中不直接把它放大到目标分辨率,而是采取一种逐渐放大的过程,在这个过程中用于重建的先验知识(,D,l,D,h,)不断更新。具体来讲,可定义超分辨重建的目标放大倍数为,m,它需要,n,(,n,2)次放大过程去达到目标放大倍数。那么对于每一次放大过程,放大倍数则为,m,1/,n,：,(10-42),10.4.2 由粗到精的图像放大过程一般来说,超分辨,假设,n,=2,即输入单幅低分辨率图像,I,l,需要两次放大过程才能达到目标放大倍数,m,那么每次放大过程的放大倍数为 。输入的单幅低分辨率图像,I,l,通过自训练字典学习的方法得到初始先验知识(,D,l,0,D,h,0,),然后利用这个先验知识重建出第一次放大过程的高分辨率图像,I,h,0,具体计算如上一节所述。这时为了保证第一次放大过程得到的高分辨率图像,I,h0,和输入单幅低分辨率图像的一致性,防止第一次放大过程引入的错误像素不被扩散,可用反向投影算法来校正第一次重建高分辨率图像,I,h,0,中的高分辨像素。,假设n=2,即输入单幅低分辨率图像Il需要两次放大过程才,反向投影算法主要分为两个步骤。第一步,把第,n,次放大过程得到的高分辨率图像,I,hn,通过下采样操作,s,得到(,I,hn,),s,(,I,hn,),s,的分辨率与输入的单幅低分辨率图像,I,l,保持一致。第二步为,I,hn,高分辨率像素校正的步骤。首先计算(,I,hn,),s,与,I,l,的差值图像,I,diff,：,I,diff,=,I,l,(,I,hn,)s(10-43)其次,把差值图像,I,diff,通过插值操作,b,(例如双三性插值)得到(,I,diff,)b, 它与,I,hn,分辨率一致。最后,(,I,diff,),b,与一个高斯低通滤波器,B,进行卷积,把结果与,I,hn,求和,最终得到高分辨率像素校正后的图像,I,hn,(,BP,)：,I,hn,(,BP,)=,I,hn,+(,I,diff,),b,*,B,(10-44),反向投影算法主要分为两个步骤。第一步,把第n次放大过程得,输入低分辨率图像,I,l,和校正后的高分辨率图像,I,h,0,(,BP,)经过字典训练算法得到更新后的先验知识(,D,l,1,D,h,1,)。此时再用这个先验知识去重建第二阶段放大的图像,I,h,1,I,h,1,通过反向投影算法投影到原始输入低分辨率图像上,经过高分辨率像素校正后得到,I,h,1,(BP,),I,h,1,(BP,)即最终重建出的高分辨率图像。为了达到目标放大倍数,m,输入的低分辨率图像Il通过两次放大过程逐渐达到目标分辨率,并且每次放大过程得到的高分辨率图像都用反向投影算法进行约束,保证了和输入单幅高分辨率图像像素信息一致性的同时有效减少差错的扩散。当放大次数,n,2时,情况与上述类似,最终重建的高分辨率图像要经历多次放大过程和先验知识更新。这样一种“由粗到精”的图像放大过程,使得本章算法在目标放大倍数较大时仍然能够重建出效果满意的高分辨率图像,具体实验结果将在后面详述,整个图像放大过程如图10-7所示。,输入低分辨率图像Il和校正后的高分辨率图像Ih0(BP),图10-7 “由粗到精”的图像放大过程,图10-7 “由粗到精”的图像放大过程,10.4.3 低分辨率和高分辨率超完备字典学习算法,K-SVD算法及其优化方法已经在前面进行过详述,本节将阐明如何利用K-SVD算法在自训练字典学习的算法框架中得到低分辨率和高分辨率超完备字典,它们联合组成了用于超分辨率重建的先验知识。超分辨率重建操作,Q,可以抽象地分为两步： 第一步为插值放大过程,第二步为在插值图像中填入高频信息得到高分辨率图像。第一步插值放大过程可以通过插值算法(例如双三性插值)把输入低分辨率图像放大到目标分辨率,插值算法简单且容易实现。第二步通过字典学习得到的先验知识来重建出高分辨率图像的高频信息,再把这些信息填入插值图像重建得到高分辨率图像。,10.4.3 低分辨率和高分辨率超完备字典学习算法K,超分辨率重建的关键是如何有效地计算出高分辨率图像中的高频信息。因此,在本章算法中不直接对灰度图像块进行训练,而是专注于这些图像块中的特征(高频信息),建立低分辨率图像块和高分辨率图像块中特征的映射关系,这样可更准确地得到高频信息的先验知识,重建出高分辨率图像。,超分辨率重建的关键是如何有效地计算出高分辨率图像中的高频,1. 低分辨率字典学习,算法不是直接对低分辨率图像分解得到的低分辨率图像块,p,i,l,i, (,i,=1, 2, ,m,)进行训练,而是对获得的低分辨率图像的特征集进行训练。设,Fl,和,Fh,分别为低分辨率和高分辨率图像块的特征提取操作，将该操作分别应用于高低分辨率图像块,则可以得到低分辨率图像块特征,F,l,p,i,l,i, (,i,=1, 2, ,m,)和高分辨率图像块特征,F,h,p,i,h,i, (,i,=1, 2, ,m,)。基于图像稀疏表示理论,低分辨率图像块特征可以在低分辨率字典,D,l,上得到稀疏表示：,F,l,p,i,l,i,=,D,l,i,i,R,K,(10-45),1. 低分辨率字典学习算法不是直接对低分辨率图像分,算法把优化的K-SVD算法应用到低分辨率图像块特征,问题可以转换为求解如下一个优化问题：,(10-46),对于上述等式, 低分辨率字典,Dl,和低分辨率图像块特征在其上的稀疏表示系数,通过K-SVD算法计算得到,K-SVD算法的具体步骤已经在第四章中详述过。,算法把优化的K-SVD算法应用到低分辨率图像块特征,问题,2. 高分辨率字典学习,根据Yang的基本思想,高分辨率图像块特征,F,h,p,i,h,i, (,i,=1, 2, ,m,)也可以用同样的稀疏表示系数在高分辨率字典上得到稀疏表示：,F,h,p,i,h,i,=,D,h,i,(10-47)这个问题可以通过计算下列一个伪逆计算式求得：,D,h,=,F,h,p,i,h,i,+,i,=,F,h,p,i,h,i,T,i,(,i,T,i,),1,(10-48)这样就得到了高分辨率字典,D,h,。通过对低分辨率字典和高分辨率字典的学习,可得到用于重建的先验知识(,D,l,D,h,)。,2. 高分辨率字典学习根据Yang的基本思想,高分,10.5 实验结果及分析,本节将把本章算法的超分辨率重建效果与其他超分辨率算法对比,随后将讨论影响重建效果的一些因素,比如图像特征提取算法、 目标放大倍数、 超完备字典尺寸等。由于人眼对亮度信息比对色度信息更为敏感,本章算法只对YUV色彩空间的亮度分量进行处理。同样的,峰值信噪比(Peak Signal to Noise Ratio,PSNR)的计算结果也只在Y通道上给出,PSNR的计算公式为,(10-49),10.5 实验结果及分析本节将把本章算法的,(10-50),其中,MSE是均方根误差,I,n,定义为原始图像的第,n,个像素,P,n,是处理后图像对应位置上的像素。PSNR的计算值越高,意味着重建出来的图像质量越高。,(10-50)其中,MSE是均方根误差, In定义为原始,10.5.1 文本图像放大实验,在本节实验中将对单幅文本图像进行超分辨率实验。给定一幅600600的文本图像作为原始图像,通过对其下采样2倍得到一幅300300的低分辨率图像作为单幅输入图像。图像目标放大倍数设为2倍,在自训练字典学习的框架下,输入单幅300300的低分辨率图像作为唯一的训练样本,通过字典学习算法对样本的训练可得到用于超分辨率重建的先验知识。同时,将输入的低分辨率图像通过双三性插值算法、 最近邻插值算法放大2倍后作为本节实验结果的对比。,10.5.1 文本图像放大实验在本节实验中将对单幅文,低分辨率图像和高分辨率图像的特征提取算法如前面所述,对低分辨率图像采用4个梯度滤波器联合拉普拉斯滤波器进行特征提取,对于高分辨率图像则直接移除它的低频成分得到特征图像。K-SVD字典学习算法迭代次数设为40次,字典尺寸设定为30300,即字典包含300个原子。目标稀疏度设为4,每个图像块可以用字典中4个原子的线性组合来得到稀疏表示。本章算法、 双三性插值算法和最近邻插值算法超分辨重建效果对比如图10-8所示。,低分辨率图像和高分辨率图像的特征提取算法如前面所述,对低,图10-8 文本放大实验,图10-8 文本放大实验,通过图10-8可以看出,本章算法重建结果在视觉效果上明显优于插值算法的结果。最近邻插值算法结果最差,失真明显;双三性插值算法的结果过于模糊且缺乏高频信息。对重建结果图像进行PSNR分析(如图10-8所示)可得,本章算法相较最近邻插值算法取得了3.31 dB的提升,相对于双三性插值算法取得了2.17 dB的提升。,通过图10-8可以看出,本章算法重建结果在视觉效果上明显,10.5.2 与其他基于学习超分辨率算法对比,在上小节中,主要把本章算法和基于插值算法进行了对比,本章算法的超分辨率重建效果明显好于简单的插值算法。在这里将把本章算法和Yang的基于图像稀疏表示理论的超分辨率算法作对比。在本小节以下的所有实验中,对于Yang算法,超完备字典尺寸设置为1000,图像块设置为55,每个图像块之前有4个像素点的交叠。在本章算法中,K-SVD算法在自训练字典学习的框架下,通过40次迭代达到收敛,字典尺寸设定为50;每个33的图像块之间有1个像素点的交叠,且每个图像块能用字典中的3个原子进行稀疏表示。在与Yang算法的对比实验中,先对一幅256256的标准Lena图像进行超分辨率实验,目标放大倍数为2倍。几种算法重建效果与原始图像的对比如图10-9所示。,10.5.2 与其他基于学习超分辨率算法对比在上小节,图10-9 Lena标准图像放大实验,图10-9 Lena标准图像放大实验,对取自南加州大学(University of Southern California, USC)SIPI图像库的14幅图像,分别用本章算法、 双三性插值算法和Yang算法进行处理。目标放大倍数设置为2倍,超分辨率重建效果(选取其中的5幅图像)对比如图10-10所示。可以看到本章算法重建出来的图像在视觉效果上比双三性插值算法有明显提升,相较于Yang算法,本章算法重建的高分辨率有效减少了人工痕迹,呈现的高频信息更加自然, 重建效果更加接近于原始图像。实验结果的PSNR结果对比如表10-1所示,可以看到在PSNR评价上,本章算法相较于Yang算法也取得了0.36 dB的提升。,对取自南加州大学(University of South,图10-10 SIPI图像库放大实验视觉效果对比,图10-10 SIPI图像库放大实验视觉效果对比,表10-1 SIPI图像库放大实验的PSNR值对比,表10-1 SIPI图像库放大实验的PSNR值对比,10.5.3 图像特征提取算法对重建效果的影响,在本小节实验中,将对比不同的图像特征训练算法对重建效果的影响并进行分析。在字典学习阶段,字典学习算法不是直接对训练样本进行训练,而是它们的特征向量。基于学习的图像超分辨率算法的基本思想为利用先验知识预测高分辨率图像的高频信息,先验知识的有效性直接影响高分辨率图像的重建效果。先验知识主要对训练样本进行学习得到,这时如果直接对训练样本的特征进行学习,则可以更好地抓住图像的高频分量之间的联系,得到更为准确的预测,所以,一种有效的图像特征提取算法就显得至关重要。实验中把几种不同的图像特征提取算法应用到本章算法框架中,并对SIPI图像库中的14幅图像进行放大实验,平均PSNR值由表10-2给出。拉普拉斯联合一阶、 二阶梯度滤波作为低分辨率图像的图像特征提取算法能取得更高的PSNR值,同时它也是本章算法的图像特征提取算法。,10.5.3 图像特征提取算法对重建效果的影响在本小,表10-2 图像特征提取算法对PSNR值的影响,表10-2 图像特征提取算法对PSNR值的影响,10.5.4 目标放大倍数对重建效果的影响,在本小节实验里,对一幅卫星遥感图像用不同的目标放大倍数进行放大,重建图像视觉效果对比如图10-11所示。由图可以看到,当放大倍数增大时,几种算法的视觉效果均有下降。由于本章算法是“由粗到精”的图像放大过程,在目标放大倍数增大时能够取得更为稳定的视觉效果。当目标放大倍数增加时,几种不同算法的PSNR值对比如表10-3所示,可以看到本章算法在图像客观评价上相较于其他算法也显示出一定的优势。,10.5.4 目标放大倍数对重建效果的影响在本小节实,图10-11 目标放大倍数对重建视觉效果的影响,图10-11 目标放大倍数对重建视觉效果的影响,表10-3 目标放大倍数对PSNR(dB)值的影响,表10-3 目标放大倍数对PSNR(dB)值的影响,10.5.5 超完备字典尺寸对本章算法的影响1. 超完备字典尺寸对重建效果的影响,字典尺寸对重建图像的PSNR值的影响如图10-12所示。由图中的曲线可以看到,整个曲线呈现出类抛物线趋势。当字典尺寸在100以下时,重建图像的PSNR值对字典尺寸变化表现得比较敏感;字典尺寸为10时,PSNR值为36.34 dB;当字典尺寸上升为50时,PSNR值则迅速增加为36.55 dB;当字典尺寸增大为300时,获得最高PSNR值(36.66 dB)。随后,随着字典尺寸的不断增加,重建图像的PSNR值不断下降,当字典尺寸为1500时,到达最低PSNR值(36.18 dB)。,10.5.5 超完备字典尺寸对本章算法的影响1. 超,图10-12 字典尺寸对重建图像PSNR值的影响,图10-12 字典尺寸对重建图像PSNR值的影响,2. 超完备字典尺寸对重建时间效率的影响,字典尺寸越小,相应的字典学习阶段的时间消耗就越少,超分辨率重建算法的时间效率也越高。字典尺寸对算法时间效率的影响如图10-13所示。,图10-13 字典尺寸对算法时间效率的影响,2. 超完备字典尺寸对重建时间效率的影响字典尺寸越,10.6 本 章 小 结,基于学习的超分辨率算法突破了传统基于重建超分辨率算法的诸多限制,但是由于学习模型复杂度高,导致算法时间效率低,阻碍了其在工程领域的应用。同时,高分辨率图像的重建效果也对学习模型的有效性提出了新的要求。针对这两方面要求,本章通过图像稀疏表示理论进行深入和系统的研究,介绍了一种基于图像稀疏表示学习模型的图像超分辨率算法。(1) 介绍了一种基于自训练字典学习的图像超分辨率算法。与其他基于学习的图像超分辨率算法不同,本算法不需要附加的训练样本。,10.6 本 章 小 结基于学习的超分辨,(2) 介绍了一种“由粗到精”的图像放大方法。应用该方法到图像放大过程,能够达到更高的目标放大倍数,更好地保证重建高分辨率图像和输入单幅低分辨率图像的一致性。(3) 本章的算法框架的时间效率得到明显提升。通过合理调整算法参数,本章算法的时间消耗可以低至1秒左右,相较于其他基于学习的超分辨率算法在时间效率上有明显提升,使得其在工程领域的应用成为可能。通过实验证明,本章算法相较于插值算法和Yang的超分辨率算法在重建图像视觉效果和图像客观评价上均显示出相当大的优势,同时算法时间效率也得到明显提升。就本章介绍的算法而言,仍有如下几方面值得继续深入探讨：,(2) 介绍了一种“由粗到精”的图像放大方法。应用该方法,(1) 在本章算法的超完备字典训练阶段,为了对先验知识得到更准确的预测,训练样本为图像特征。对于低分辨率图像,本章算法使用了一阶、 二阶梯度滤波联合拉普拉斯的图像特征提取器;对于高分辨率图像,则简单地去除其低频成分。对高分辨率图像如何更加有效地提取出其图像特征,以及更加有效地建立起与低分辨率图像高频成分之间的联系,有必要进行更深入的研究。(2) 本章算法图像降质模型为模糊操作并下采样的过程,模糊操作使用的是高斯模糊滤波器。降质模型模拟了图像放大的反过程,合理地调整高斯模糊滤波器的参数或者选取更加有效的模糊操作值得进一步研究。,(1) 在本章算法的超完备字典训练阶段,为了对先验知识得,(3) 本章算法通过反向投影算法(BP)对重建的高分辨率图像进行全局约束,保证了重建图像和输入图像的一致性,然而BP算法对于高分辨率错误像素的校正表现出相当大的局限性,约束条件单一。因此,找到一种更好的全局约束条件和局部约束条件,并配合对高分辨率重建图像进行校正,是下一步的研究重点。,(3) 本章算法通过反向投影算法(BP)对重建的高分辨率,