低质量监控视频人脸超分辨率

选自：低质量监控视频人脸超分辨率从观测到的低分辨率图像推测合成高分辨率图像是一个典型的病态求逆问题。现有的超分辨率算法试图用不同的方法来解决这个病态问题，超分辨率算法按照技术手段可以分成三类:基于重建的超分辨率算法、基于插值的超分辨算法、基于学习的超分辨率算法。基于重建的图像超分辨方法需要从同一场景的多帧低分辨率图像中恢复出高分辨率图像。需要对输入的多帧图像进行配准，然后通过多帧信息将低分辨率图像中的像素点安排到高分辨率图像的网格中去，从而实现对低分辨率图像的分辨率增强。基于重建的超分辨方法受到配准精度、降质模型误差和信号噪声的影响，从而导致其重建高分辨率图像的能力受到限制。相关文献己经证明在一般情况下，基于重建的超分辨率算法有效的放大倍数仅为1.6倍。但是基于重建的超分辨率算法有较好的信号还原能力，在图像配准精度较高的遥感图像领域应用范围广泛，取得了良好的重建效果。基于插值的超分辨率重建的核心思想是将低分辨率图像安排在高分辨率图像的网格，利用邻近插值点像素点计算待插值点的像索值，这类方法的计算复杂度低，容易实现，己经成为应用最为广泛的超分辨率算法。但是，基于插值的方法对噪声比较敏感，对于图像的边缘部分的处理存在过一平滑现象，特别在放大倍数比较大的情况下，难以取得理想的效果。基于学习的超分辨率算法，这类方法通过样木库中的先验知识来约束重建过程，将机器学习与统计学习的理论和方法借鉴到超分辨率算法中去，样本的先验给重建提供了更多的信息来源，从而提升了超分辨率重建的主客观质量。近年来由于其良好的重建效果而受到了广泛的关注，成为图像超分辨率研究的热点方向。选自：多帧影像超分辨率复原重建关键技术研究对于多帧影像超分辨率复原重建，根据算法对数据的处理方式一般可分为频域法和空域法两大类算法。早期的基于傅立叶频谱的方法和后来发展的基于DCT域、小波域等变换域的方法都可以归为频域法这一类。空域法主要指在直接在空间域对数据进行处理的方法，这一大类方法很多，如2.1.1节所述，主要有非均匀插值法、IBP方法、基于集合论的方法、基于概率理论的方法、自适应滤波方法、基于Delaunay三角网的方法、正则化的方法等。选自：混合图像超分辨率重建算法研究在图像处理领域，如何提高图像的视觉效果或者分辨率一直是学者们研究的一个方向。常用的方法包括在理论以及实际应用方面都比较成熟的图像恢复(image restoration)和图像重建(image reconstruction)技术。它们可以完成图像的去噪、去模糊以及增强图像的视觉效果。但是，处理后的图像要么是依据先验知识重新找回了损失的信息，要么突显了已有的信息，实质上并没有增加新的信息，图像的分辨率并没有提高。另外，人们有时通过图像内插(interpolation)的方法增加图像的大小或者尺寸，以便提高视觉效果。但是图像内插一般需要选定插值核(interpolation kernel)，这实际上就是假设了原有像素与新像素之间的数学关系。如果假设与实际图像一致，插值的效果就比较好;如果实际图像与假设不一致，插值结果就会出现失真。由于图像像素之间的关系是事先无法准确预知的，因此用图像插值提高图像分辨率有较大局限性。与图像恢复、图像重建以及图像插值不同，图像超分辨率重建能够给处理后的图像增加新的信息，不但体现在分辨率的提高上，而且视觉效果也令人满意。图像超分辨率重建的最初思想是由多帧已经获取的低分辨率(low resolution, LR)图像来重新构造一帧或多帧高分辨率(high resolution, HR)图像。它在不改变成像系统硬件设备的情况下，用软件方法提高输出图像的分辨率。其实质是将相互之间具有差异的多帧低分辨率图像的信息集合起来，构建一幅新的高分辨率图像。首先在频率域进行多帧图像超分辨率重建的是Tsai和Huang，他们通过推导数学公式，表明了低分辨图像之间的位移关系以及低分辨图像与期望得到的分辨率图像之间的关系。由于这个算法是基于频域分析的，理论上简洁明了;而此算法便于并行处理，降低了系统复杂度。频域算法的不足之处在于推导出的关系式仅适用于全局平移以及线性模糊模型。将频率域推广到变换域，例如利用小波变换(wavelet) , contourlet变换等，同样可以进行图像超分辨率重建。与变换域算法相对应，也可以直接在空间域处理图像超分辨率重建问题，这就是非均匀样点内插方法(non-uniform interpolation)。这类算法最为直观，容易理解，实现起来比较简便;它们通常包含图像配准、图像融合以及去模糊、去噪三大步骤。这三步可以依次完成，也可以俩俩组合完成。非均匀样点内插方法是图像超分辨率重建问题的基本算法，经常被拿来与其它算法进行对比。如果将图像看成是随机信号，那么从概率统计理论的角度理解，以贝叶斯( Bayesian)原理作为框架，用理想图像的先验信息作为约束条件，可以构建出最大后验概率估计器(maximum a posteriori possibility, MAP )和最大似然估计器(maximum likelihood, ML ) 。进一步讲，如果将图像看成是随机场，如马尔科夫随机场(Markov random field, MRF)，则随机场的先验知识就可以做为约束条件加入到重建过程中，进一步提高结果图像的质量。通常而言，偏微分方程组(partial differential equations, PDE)比较适合图像处理，主要原因是:(1)许多变分问题或其正则化的逼近都可以用Eider-Lagrange方程组来计算;(2)偏微分方程组可以有效地描述、建模和仿真许多动态的及平衡态的现象，这就包括了图像的几何特征。基于偏微分方程组的图像超分辨率重建算法能够约束图像边界的连续性并且重建合适的尖锐图像边界。这些对保证重建图像的质量非常重要。另外Irani等人借鉴医学图像领域常用的后向投影方法，并引入迭代的概念，提出了后向投影迭代算法(iterative back proj ection, IBP ) 。这个算法的优点是直观，便于理解和实现。不足之处是不便添加图像的先验知识作为约束条件，而且收敛的结果可能不唯一。尽管如此，后向投影迭代算法仍然得到了广泛认可和应用。在遥感图像处理领域，神经网络(neural network)技术通过使网络的能量函数最小化来提取图像序列内亚像素级别的共同特征，这就相当于获得了超过原始图像分辨率的目标辨识和分类能力。因此，基于神经网络的图像超分辨率技术被经常用于冰图绘制，云层移动估计和洋流跟踪等遥感图像领域。从数学角度讲，图像超分辨率重建算法的研究对象是一个病态的反问题，其解可能不存在或者即使存在也不唯一。而Tikhonov等人提出的关于病态问题的解法，也适用于解决图像超分辨率重建问题。于是，一些先验知识通过正则化约束条件被用于求解图像超分辨率问题，这就是正则化图像超分辨率算法。另外一方面，前面叙述的问题都是针对具有多幅低分辨率图像情况，通常称为多帧图像超分辨率重建。然而，在某些特殊情况下，获取的低分辨率图像的数目可能不多，甚至只有一张。那么在这种情况下，就是一类新的问题，称为单帧图像超分辨率重建问题。对于这个问题，一般使用基于学习或基于范例的图像超分辨率重建方法。一般而言，这类算法首先建立训练图像库，并依照某种原理建立学习规则，通过学习获得先验知识，建立高分辨率图像和低分辨率图像之间的对应关系，进而由输入的低分辨率图像重建出希望的高分辨率图像。基于学习的图像超分辨率重建方法理论性强，效果较好，近年来一直受到学者们的关注。 总之，在经历了将近30年的发展，众多学者提出的图像超分辨率重建算法种类繁多，分类也比较复杂。通常，按照算法的理论基础分类，有基于插值的算法、基于学习的算法、基于小波的算法、基于概率统计的算法等等;按照算法运算的空间分类，有空间域算法、频率域算法、变换域算法等等;按照算法是否包含反馈，有迭代算法和非迭代算法;按照应用领域分类，有针对医学图像的、遥感图像的、红外图像、人脸图像的、视频序列的以及自然图像的算法等等。从不同角度理解，就有不同的分类方法，这是图像超分辨率重建算法多样性的一个体现。另外，有些算法并非单纯地属于某一个分类，而是同时具有几个类别特点，这也是图像超分辨率重建算法复杂性的一个体现。 另外，最近几年来图像超分辨率重建算法的国际及国内主流研究方向出现一个明显的趋势就是由多帧超分辨率转向单帧超分辨率，由基于图像融合转向基于图像学习。这一转变的一个重要原因是稀疏表示(sparse representation)作为一种新兴的图像建模理论受到广泛关注。利用稀疏表示，图像能够以简洁的方式表示出来，而且在其表示系数中体现图像主要特征和本质属性的非零分量数量较少，并且表示系数对噪声和误差有一定的冗余度。这样的图像模型为图像处理带来了很大便利，激发了压缩感知(compressed sensing或compressive sensing ) 、机器学习等理论在图像超分辨率重建领域内的新一轮研究热潮。随着对稀疏表示理论研究的不断深入，许多亚待解决的理论和实际问题也随之浮出水面，其中主要有:字典设计、图像特征分类、快速图像特征搜索和查找、图像块匹配原则等等，都很有可能是未来图像超分辨率重建算法研究的热点。选自：基于贝叶斯理论的图像复原算法研究 经过很多研究者的共同努力，图像复原技术已经在很多方面得到了较广泛的应用。就目前而言，偏微分方程、小波变换和概率统计这三大数学思想方法已被深入应用在图像复原研究领域中。其中，确定性算法(detcministic algorithm)包括基于偏微分方程图像复原算法和基于小波变换的图像复原算法这两种，而随机性算法(stochastic algorithm)指的是基于概率统计的图像复原算法，所以，从这个角度来看，图像复原算法是分为确定性算法和随机性算法两大类的。但是很多具体问题表现出明显的随机性，比如图像和点扩散函数的特征，并且在实际中也是随机的出现噪声，所以导致无法获知其确切的强度、深度、范围等有用图像信息。处理这些随机信号，通常首先要考虑选择合适的数学统计模型，用这些数学模型来描述其统计特征，利用统计规律进行后续处理。因此，应用随机性算法处理图像复原问题，往往在很多方面具有其他方法不可比拟的优势。贝叶斯方法(包括最大似然估计(Maximum Likelihood Estimation,MLE)、最大后验概率估计(Maximum a Posteriori Estimation,MAPE)和贝叶斯估计(Bayesian Estimation,BE)等)、期望最大化(Exception-Maximum, EM)方法, Monte-Carlo模拟法、马尔科夫随机场方法(Markov Random Field, MRF)等都是比较常用的随机性图像复原算法。在这些方法中比较特别且重要的一种就是贝叶斯方法，因为它可以提供各种概率分布预测机制、不同的对模型参数进行估计的算法、估计图像复原过程中的不确定因素等信息，因而被广泛应用于图像处理的各个相关领域。 作为图像处理的一个分支，图像复原技术的研究有着特殊的地位，近年来，国内外学者在图像复原关键技术的改进方面做了大量研究。总结这些研究成果，可以归纳出图像复原主要涉及三个方面的内容:(1)如何有效构建退化图像成像数学模型;(2)如何提出高效的改进图像复原算法;(3)采用什么类型复原图像评价标准。由于不同类型成像数学模型、系统优化规则、问题求解空间和最优化问题求解方法的存在，这些将会导致不同的复原算法，也会适用于不同的应用研究领域。现有的图像复原方法可以大致概括为以下三种类型:图像盲反卷积算法、线性代数复原算法、去卷积复原算法等，其他复原类型方法基本都是这三类算法的衍生或改进。这三大类型算法方法都是非常经典的图像复原方法，但是都需要某些先验信息要求，比如有或者部分有关于原始图像、降质算子的先验知识，并且需要噪声平稳性的先决条件，所以它们基本上只适合于线性空间不变系统及噪声与信号不相关的情形，但是当降质算子是病态的时候，图像复原结果往往达不到理想的效果。 另外，近年来，小波的理论也得到了迅速的发展，并日趋成熟，在图像复原技术中也得到广泛应用。小波变换是上世纪八十年代发展起来的一种新的信号处理技术，改进了傅里叶变换在实际中应用的某些局限性。基于小波变换理论的图像复原算法和基于正则化理论的图像复原算法进行融合，就可以得到一些综合算法，新的算法具有抑制噪声的增长和保留图像的重要边界等两个方面的优势，在实际图像复原中取得了不错的效果。Belge等人经过研究发现如果小波系数的先验分布采用广义高斯分布模型，并且结合一些正则化技术，就可以得到一种边缘保持的方法，主要是采用了小波域理论，但其复原结果对于图像质量的提高并没有十分显著。另外也有一些改进算法，一般复原效果得到了改进，但是还是不能避免计算量大的缺点。选自：基于去模糊的图像超分辨率复原算法研究图像超分辨率算法旨在从成像场景的多个低分辨率成像样本，恢复单幅图像在采集时丢失或者受到退化过程影响而未直观表现出来的信息。图像的超分辨率算法可以分为两类:图像超分辨率复原(CSR Restoration)算法和图像超分辨率重建(CSR Reconstruction )算法。重建算法从传统数字信号处理的角度出发，从亚采样获得的图像亚采样信号，通过传统数字信号的去棍叠技术重建原始图像信号。而复原算法则基于数字图像成像的降质模型，旨在通过建模并估计数字成像系统的PSF，对低分辨率图像中丢失的信息进行复原。Tsai和Huang在1984年针对只存在全局平移的简单情况，基于低分辨率图像序列(Low Resolution Images LRs)的离散傅里叶变换(DFT)和连续傅里叶变换(CFT)之间的频谱搬移和交叠性质，实现了无噪声情况下的图像超分辨率重建。基于Tsai和Huang提出的思想，Kim等人将噪声和空域的模糊模型纳入到算法之中，采用最小二乘标准进行图像重建;后来他们通过引入Tikohonov正则算子对其算法做了进一步扩展。此后基于低分辨率序列(LRs)频谱关系的超分辨率算法偶尔被提出，但是由于全局平移模型的局限性以及对于空域先验知识的低容纳能力使其不再是研究主流。而最大后验(Maximum a Posteriori, MAP)概率和POCS(Projection onto Convex Sets, POCS)等空域算法则能够引入先验知识，对图像超分辨率技术的病态问题进行有效约束，成为研究主流。基于LRs之间存在的相关特性，衍生了一类非均匀插值算法。这类算法是对图像超分辨率复原的最直观理解:LRs作为成像场景的成像样本，可以利用它们彼此之间的空域关系，通过配准后进行基于相关性加权的非均匀插值，获取原始成像场景的高分辨率(High Resolution, HR)表示。除了空域非均匀插值算法之外，还有基于其他表示方法的插值算法，如小波插值和三角网格插值等。非均匀插值算法直观易懂，计算量也比较小;但是和频域方法一样，非均匀插值算法未将HR图像的先验知识引入算法模型中。MAP算法基于贝叶斯理论，将图像的超分辨率过程建模为一个贝叶斯统计模型;把LRs作为已知信息，旨在获取满足最大后验概率统计特性的HR图像。MAP算法的推导过程在第三章中有详尽描述，算法的结果最终会依赖于高分辨率图像的先验性分布模型。在吉布斯模型(公式(3-20)中，HR的均匀分布先验知识的假设衍生出了MAP算法的特例一一最大似然算法(Maximum Likelihood, ML ) .Tom等人基于ML模型，采用迭代投影的方法在最大期望(Expectation Maximum,EM)准则下求取HR。迭代反(向)投影法(Iterative Back-Projection, IBP)在很多文献中被列为单独的一类超分辨率算法，其实这类算法基础理论可以用ML算法进行描述。Hardie等人1g提出了基于高斯马尔科夫随机场(Gaussian MarkovRandom Field GMRF)先验模型的联合MAP超分辨率算法;Schultz等人19j提出了基于Huber马尔科夫随机场(Huber MR只HMRF)先验模型的MAP超分辨率算法。总变分(Total Variation, TV)算子作为对HR图像梯度场的一种衡量算法，被Capel等人2用于ML模型下，通过正则算子的形式，作为先验信息对超分辨率求解问题进行限制。ML算法衍生出的正则化21-22算法在很多文献中也被单独列为的一类算法，从第三章的有关推导可以看出这类算法的原始模型是ML算法。在第三章中将把 MAP, ML和正则化算法统一归为统计学算法，IBP算法作为实现这些算法的具体手段，也未在文中进行过多描述。POCS算法基于集合理论，不过其基木思想与正则化算法类似:POCS使用集合的形式描述图像先验信息和特征，对图像的各种特性进行限制，并认为HR图像属于这些限制集合的交集。这些特性包括图像的正定性、光滑性和有限能量性质等。在SR领域，最早的POCS算法由Stark和OskouiC23提出;Eren等人1241在Stark的方法基础上提出了基于图像目标的Pocs超分辨率算法;算法中对运动估计的投影进行了有效性鉴别，同时对图像进行基于物体和目标的分割处理，进而进行较为准确的SRo Elad和Fever等人25对ML, MAP和POCS算法做了分析和比较，提出了一种联合算法。此外还有许多其他的新的技术，比如基于样本学习的超分辨率复原算法，基于图像稀疏表示的超分辨率复原等等。