第5章-图像复原课件

第五章第五章 图像复原图像复原恢复降质的图像恢复降质的图像图图像像平平滑滑图图像像增增强强图图像像锐锐化化伪伪彩彩色色处处理理灰灰度度级级修修正正如何实现恢复？如何实现恢复？运动形成的模糊运动形成的模糊复原后图像复原后图像离焦形成的模糊离焦形成的模糊原始图像原始图像图像的降质或者退化图像的降质或者退化产生原因产生原因光学系光学系统中的统中的衍射衍射传感器传感器非线性非线性畸变畸变光学系光学系统的像统的像差差摄影胶摄影胶片的非片的非线性线性大气湍大气湍流的扰流的扰动效应动效应图像运图像运动造成动造成的模糊的模糊几何几何畸变畸变亚采样亚采样 第第5章章 图像复原图像复原目的：目的：尽量减少或去除获取图像或处理图像过尽量减少或去除获取图像或处理图像过程中的图像降质程中的图像降质(图像退化图像退化)，恢复其本来面，恢复其本来面目。目。确定损坏过程，并尝试其逆过程进行复原确定损坏过程，并尝试其逆过程进行复原类似于图像增强，但更加客观类似于图像增强，但更加客观图像增强：图像增强：旨在改善图像质量。提旨在改善图像质量。提高图像的可懂度。高图像的可懂度。图像复原：图像复原：力求保持图像的本来面力求保持图像的本来面目，以保真原则为前提，提高图像目，以保真原则为前提，提高图像的逼真度。的逼真度。方法：方法：要弄清楚降质或退化的原因，分析引起要弄清楚降质或退化的原因，分析引起降质或退化的因素，建立相应的数学模降质或退化的因素，建立相应的数学模型，并沿着图像降质的逆过程恢复图像。型，并沿着图像降质的逆过程恢复图像。图像增强：图像增强：空间域，频率域。空间域，频率域。图像复原：图像复原：空间域，频率域。空间域，频率域。图像复原的关键问题图像复原的关键问题首先建立降质首先建立降质模型，其次进行空间域或频率域上模型，其次进行空间域或频率域上的数值求解。的数值求解。5.1 图像降质的数学模型图像降质的数学模型图像复原的关键是对降质系统图像复原的关键是对降质系统H的基本了解。的基本了解。系统是某些元件或部件以某种方式构造而成系统是某些元件或部件以某种方式构造而成的整体。的整体。系统本身所具有的某些特性构成了通过系统系统本身所具有的某些特性构成了通过系统的输入信号与输出信号的某种联系。的输入信号与输出信号的某种联系。n线性系统：线性系统：多个激励情况下的输出求解简单多个激励情况下的输出求解简单 图像上任一点通过该系统的响应只取决图像上任一点通过该系统的响应只取决于该点的输入值，而与该点的位置无关于该点的输入值，而与该点的位置无关移不变移不变5.1 图像降质的数学模型图像降质的数学模型f(x,y)f(x,y)n(x,y)n(x,y)g(x,y)g(x,y)简单的通用退化复原简单的通用退化复原模型模型5.1.1连续图像退化的数学模型连续图像退化的数学模型退化系统或退化系统或降质系统降质系统图像图像f(x,y)降质图像降质图像g(x,y)假设：假设：n系统是线性的；系统是线性的；n噪声不存在该系统中噪声不存在该系统中.描述一个系统的性能通常用：描述一个系统的性能通常用：冲激响应函数或者传递函数冲激响应函数或者传递函数冲激响应函数冲激响应函数h(x,y)传递函数传递函数H(u,v)傅立叶变换对傅立叶变换对5.1.1连续图像退化的数学模型连续图像退化的数学模型对于非线性、空间变化系统，当输入是对于非线性、空间变化系统，当输入是函数时，有：函数时，有：这类系统，求解、分析都非常困难这类系统，求解、分析都非常困难,图像图像处理常不予考虑。处理常不予考虑。5.1.1连续图像退化的数学模型连续图像退化的数学模型对于一个理想的线性移不变系统对于一个理想的线性移不变系统(全通系全通系统统)，当输入是，当输入是函数时，有：函数时，有：对于一个非理想对于一个非理想(频带频带)的线性移不变系统，的线性移不变系统，当输入是当输入是函数时，有：函数时，有：5.1.1连续图像退化的数学模型连续图像退化的数学模型当输入是图像当输入是图像f(x,y)时，其输出表示为：时，其输出表示为：一幅连续的输入图像一幅连续的输入图像f(x,y)可以看作是由一可以看作是由一系列点源表示，即有：系列点源表示，即有：5.1.1连续图像退化的数学模型连续图像退化的数学模型费雷德霍姆积费雷德霍姆积分分5.1.1连续图像退化的数学模型连续图像退化的数学模型线性系统线性系统H可由其冲激响应来表征可由其冲激响应来表征经过理想线性移不变系统，输出保持不变经过理想线性移不变系统，输出保持不变考虑系统受到噪声考虑系统受到噪声n(x,y)的影响，对于线性的影响，对于线性移不变系统，退化模型数学表达式为：移不变系统，退化模型数学表达式为：退化或降质退化或降质系统系统h(x,y)图像图像f(x,y)降质图像降质图像g(x,y)噪声信号噪声信号n(x,y)在频率域上，退化模型：在频率域上，退化模型：退化过程退化过程 T f g 或或 F G 复原过程复原过程 T-1 g f 或或 G F?5.1.1连续图像退化的数学模型连续图像退化的数学模型5.1.2几种典型的退化模型几种典型的退化模型一、孔径衍射造成的图像退化一、孔径衍射造成的图像退化小孔衍射造成的模糊小孔衍射造成的模糊系统是线性移不变的系统是线性移不变的 图像退化效果图像退化效果散焦对应的点扩展函数散焦对应的点扩展函数光学散焦系统的传递函数为：光学散焦系统的传递函数为：d是是散散焦焦点点扩扩展展函函数数的的直直径径,J1()是是第一类贝塞尔函数。第一类贝塞尔函数。由于透镜的有限大小及厚度非均匀性导致图由于透镜的有限大小及厚度非均匀性导致图像质量退化。像质量退化。二、目标相对运动造成的图像退化二、目标相对运动造成的图像退化运动形成的模糊示例运动形成的模糊示例运动模糊的点扩展函数示例运动模糊的点扩展函数示例图像退化效果图像退化效果 假设照相机或摄像机的曝光介质所产假设照相机或摄像机的曝光介质所产生的图像退化除受相对运动影响之外，不生的图像退化除受相对运动影响之外，不考虑其它因素的变化。考虑其它因素的变化。只研究匀速直线运动造成模糊图像的只研究匀速直线运动造成模糊图像的恢复，非匀速直线运动在一定条件下可以恢复，非匀速直线运动在一定条件下可以看成多段匀速直线运动的合成结果。看成多段匀速直线运动的合成结果。目标相对运动降质的传递函数目标相对运动降质的传递函数设物体设物体f(x,y)在一平面运动，令在一平面运动，令x(t)和和y(t)分分别是物体在别是物体在x和和y方向上的分量，方向上的分量，t表示运动表示运动的时间。记录介质的总曝光量是在快门打的时间。记录介质的总曝光量是在快门打开到关闭这段时间的积分。则模糊后的图开到关闭这段时间的积分。则模糊后的图像为：像为：对上述式两边求傅立叶变换：对上述式两边求傅立叶变换：设设:x-x0(t),=y-y0(t)则：则：x=+x0(t),y=+y0(t)代入上式，有代入上式，有令令上式可表示成：上式可表示成：这就是匀速直线运动所造成的图像模糊系这就是匀速直线运动所造成的图像模糊系统的传递函数，进行反傅立叶变换就可以统的传递函数，进行反傅立叶变换就可以得出系统的点扩展函数。得出系统的点扩展函数。如果只有如果只有x方向的匀速运动，在方向的匀速运动，在T时间里时间里物体运动水平位移为物体运动水平位移为a，则在任意，则在任意t时间时间里物体在里物体在x方向上的分量方向上的分量x0(t)=at/T,则图则图像系统的传递函数为：像系统的传递函数为：三、大气湍流造成的图像退化三、大气湍流造成的图像退化C是与湍流性质有关的常数。是与湍流性质有关的常数。只考虑长时间作用情况下，大气湍流降质图只考虑长时间作用情况下，大气湍流降质图像的系统传递函数像的系统传递函数5.1.3离散图像退化的数学模型离散图像退化的数学模型一、一维离散情况退化模型一、一维离散情况退化模型设设f(x)、h(x)分别具有分别具有A个和个和B个采样点。个采样点。离散循环卷积是针对周期函数定义的，避免离散循环卷积是针对周期函数定义的，避免离散循环卷积的周期性序列之间发生相互重叠现离散循环卷积的周期性序列之间发生相互重叠现象（卷绕效应），象（卷绕效应），分别对分别对f(x)、h(x)进行填进行填0延伸延伸成成MAB1的周期函数。的周期函数。A-1M-1B-1M-1fe(x)、he(x)均是长度为均是长度为M的周期性离散函数，的周期性离散函数，其卷积为其卷积为ge(x)也是长度为也是长度为M的周期性离散函数。的周期性离散函数。若把若把fe(x)、ge(x)表示成向量形式：表示成向量形式：循环卷积写成矩阵形式：循环卷积写成矩阵形式：g=HfH是是MM的矩阵。的矩阵。利用周期性：利用周期性：he(x)=he(x+M)循环矩阵：方阵，每一行是前一行循环循环矩阵：方阵，每一行是前一行循环右移一位的结果。右移一位的结果。二维空间二维空间f(x,y)、h(x,y)均匀采样，样均匀采样，样本数分别为本数分别为AB，CD。周期性地延拓。周期性地延拓成成MN样本。样本。二、二维离散情况退化模型二、二维离散情况退化模型则循环卷积为则循环卷积为 f、g是是MN维向量，维向量，H是是MNMN矩阵，矩阵，H是分是分块循环矩阵。块循环矩阵。矩阵形式矩阵形式:Hj是由延拓函数是由延拓函数he(x,y)的第的第j行构成行构成考考虑虑到到噪噪声声影影响响，并并设设n是是MN 维维噪噪声声向向量，则离散图像的退化模型为：量，则离散图像的退化模型为：g=Hf+n5.2 无约束图像复原无约束图像复原一、无约束代数复原法一、无约束代数复原法二、逆滤波二、逆滤波一、无约束代数复原法一、无约束代数复原法方法：不同的误差最优准则，就得到不同方法：不同的误差最优准则，就得到不同的复原方法的复原方法目的：已知降质图像目的：已知降质图像g以及降质系统的循以及降质系统的循环矩阵环矩阵H，包括对噪声，包括对噪声n的了解或假设，估的了解或假设，估计原始图像计原始图像 ,使得某种事先确定的误差使得某种事先确定的误差最小。最小。使得使得 最小的准则称为最小二乘方准最小的准则称为最小二乘方准则，此时的复原方法是无约束的图像复原。则，此时的复原方法是无约束的图像复原。根据范数定义有：根据范数定义有：使得准则函数最小：使得准则函数最小：根据向量微分性质有：根据向量微分性质有：循环矩阵对角化：循环矩阵对角化：H=WDW-1简化运简化运算算利用系统对角化矩阵利用系统对角化矩阵D来描述，可以写成：来描述，可以写成：可由降质图像可由降质图像g和降质系统的冲激响应和降质系统的冲激响应的逆矩阵的逆矩阵H-1或对角化矩阵或对角化矩阵D得到得到循环矩阵对角化：循环矩阵对角化：H=WDW-1二、逆滤波二、逆滤波G(u,v)=F(u,v)H(u,v)H(u,v)不为不为0二、逆滤波二、逆滤波考虑噪声：考虑噪声：避免为零值避免为零值,限制滤波频率限制滤波频率使其接近原点使其接近原点值。值。当退化为零或当退化为零或很小时很小时,N(u,v)/H(u,v)会变得很大会变得很大H(u,v)M(u,v)F(u,v)F(u,v)G(u,v)逆滤波模型逆滤波模型令令 ，它是，它是H(u,v)的逆，的逆，代表滤波器的转移函数，代表滤波器的转移函数，该恢复方法取名该恢复方法取名为逆滤波。为逆滤波。逆滤波模型逆滤波模型F(u,v)H(u,v)M(u,v)G(u,v)N(u,v)逆滤波图像复原的病态性质逆滤波图像复原的病态性质 当当H(u,v)很小或等于零，即出现了零点，很小或等于零，即出现了零点，就会导致不定解。就会导致不定解。即使没有噪声，一般也不可能精确地复即使没有噪声，一般也不可能精确地复原原f(x,y)。如果考虑噪声项。如果考虑噪声项N(u,v)，则出现零，则出现零点时，噪声项将被放大，零点的影响将会更点时，噪声项将被放大，零点的影响将会更大，对复原的结果起主导地位。大，对复原的结果起主导地位。掌握掌握退化系统的传递函数退化系统的传递函数H(u,v)频率逆滤波器传递函数逆滤波器传递函数改改进进的的逆逆滤滤波波器器传传递递函函数数 逆滤波器零点的影响及其改进逆滤波器零点的影响及其改进M(u,v)频率M(u,v)频率逆滤波器零点影响和改进逆滤波器零点影响和改进1另一种改进是考虑到退化系统的传递函数另一种改进是考虑到退化系统的传递函数H(u,v)的带宽比噪声的带宽要窄的多，其的带宽比噪声的带宽要窄的多，其频率特性具有低通性质，取恢复转移函数频率特性具有低通性质，取恢复转移函数M(u,v)为为 存在振铃现象存在振铃现象2可以用下式消除振铃现象可以用下式消除振铃现象 逆滤波逆滤波改进后的逆滤波改进后的逆滤波3采用有约束复原采用有约束复原5.3 有约束图像复原有约束图像复原5.3.1 有约束代数复原方法有约束代数复原方法5.3.2 维纳滤波维纳滤波5.3.3 功率谱均衡复原功率谱均衡复原5.3 有约束图像复原有约束图像复原 逆滤波图像复原是一种无约束复原，它逆滤波图像复原是一种无约束复原，它除了寻找一个最优估计图像，使得准则函除了寻找一个最优估计图像，使得准则函数最小外，不受任何其它约束数最小外，不受任何其它约束。只要了解降质系统的传递函数或点扩只要了解降质系统的传递函数或点扩展函数，就能利用前面分析的方法进行展函数，就能利用前面分析的方法进行复原。复原。但是由于传递函数存在零点的问题，复但是由于传递函数存在零点的问题，复原只能局限在离原点不太远的有限区域内原只能局限在离原点不太远的有限区域内进行，使得无约束图像复原具有相当大的进行，使得无约束图像复原具有相当大的局限性。局限性。有约束图像复原技术是指除了要有约束图像复原技术是指除了要求了解关于退化系统的传递函数之外，求了解关于退化系统的传递函数之外，还需要知道某些噪声的统计特性或噪还需要知道某些噪声的统计特性或噪声与图像的某些相关情况。声与图像的某些相关情况。根据所了解的噪声先验知识的不根据所了解的噪声先验知识的不同，采用不同的约束条件，从而得到同，采用不同的约束条件，从而得到不同的图像复原技术。最常见的是有不同的图像复原技术。最常见的是有约束的最小二乘方图像复原技术约束的最小二乘方图像复原技术。在约束最小二乘法复原问题中，令在约束最小二乘法复原问题中，令Q为为f的线性算子，要设法寻找一个最优估计的线性算子，要设法寻找一个最优估计，使形式为，使形式为 、服从约束条件、服从约束条件 的函数最小化。的函数最小化。5.3.1 有约束代数复原方法有约束代数复原方法拉格朗拉格朗日系数日系数求导并使求导并使 ，则，则 式中式中=1/，这个量必须调整到，这个量必须调整到约束条件被满足为止。约束条件被满足为止。n求解最优估计求解最优估计 核心就是选择一个核心就是选择一个合适的变换矩阵合适的变换矩阵Q；n不同的不同的Q对应不同类型的有约束的最对应不同类型的有约束的最小二乘法图像复原方法。小二乘法图像复原方法。一、能量约束一、能量约束当当Q矩阵为单位矩阵时，即矩阵为单位矩阵时，即 其物理意义是：当有若干个可能的解时，其物理意义是：当有若干个可能的解时，能量最小的解为最佳解能量最小的解为最佳解，此时约束条件，此时约束条件 最小。最小。当当为为0时，为无约束复原。时，为无约束复原。二、特征约束二、特征约束 特征约束是以图像空间的滤波特征为特征约束是以图像空间的滤波特征为依据确定约束矩阵，令依据确定约束矩阵，令 上述的上述的Q表示在垂直方向和水平方向都取二表示在垂直方向和水平方向都取二阶差分，则此时的解是在所有解中二阶差分阶差分，则此时的解是在所有解中二阶差分最小的解就是该约束条件的解。最小的解就是该约束条件的解。5.3.2 维纳滤波维纳滤波维纳滤波是一种最小均方误差滤波器；图维纳滤波是一种最小均方误差滤波器；图像像f(x,y)与与 间的均方误差达到最间的均方误差达到最小的准则函数来实现图像复原。小的准则函数来实现图像复原。5.3.2 维纳滤波维纳滤波 核心就是如何选用一个合适的变换矩核心就是如何选用一个合适的变换矩阵阵Q。选择。选择Q形式不同，就可得到不同类形式不同，就可得到不同类型的有约束的图像复原方法。型的有约束的图像复原方法。如果选用图像如果选用图像f和噪声和噪声n的相关矩阵的相关矩阵Rf和和Rn表示表示Q就可以得到维纳滤波复原方法。就可以得到维纳滤波复原方法。即：即：QTQ=Rf-1Rn Rf和和Rn分别是图像分别是图像f和噪声和噪声n的相关矩阵的相关矩阵 Rf=Ef fT Rn=EnnT 假设典型的相关矩阵只在主对角线方向上假设典型的相关矩阵只在主对角线方向上有一条非零元素带，而在右上角和左下角的区有一条非零元素带，而在右上角和左下角的区域将为零值。域将为零值。利用循环矩阵的对角化，可以写成：利用循环矩阵的对角化，可以写成：Rf=W A W-1 Rn=W B W-1 A和和B分别对应于分别对应于Rf和和Rn 相应的对角矩阵，相应的对角矩阵，根据循环矩阵对角化的性质，根据循环矩阵对角化的性质，A和和B中的诸元中的诸元素分别为素分别为Rf和和Rn中诸元素的傅立叶变换，并中诸元素的傅立叶变换，并用用Sf(u,v)和和Sn(u,v)表示表示 括号内都括号内都是对角阵是对角阵1、如果、如果=1，称为维纳滤波器，称为维纳滤波器；为变量，为变量，则称为参变滤波器。则称为参变滤波器。2、无噪声时，、无噪声时，Sn(u,v)=0。退化成逆滤波。退化成逆滤波器。因此，逆滤波器可看成是维纳滤波器器。因此，逆滤波器可看成是维纳滤波器的一种特殊情况。的一种特殊情况。3、如果不知道噪声的统计性质，即、如果不知道噪声的统计性质，即当当Sf(u,v)和和Sn(u,v)未知时：未知时：5.3.3 功率谱均衡复原功率谱均衡复原 如使估计图像的功率谱与原图像如使估计图像的功率谱与原图像f(x,y)的的功率谱功率谱Sf(u,v)相等，即相等，即 则导出功率谱均衡复原滤波器。则导出功率谱均衡复原滤波器。维纳滤波和功率谱均衡复原异同维纳滤波和功率谱均衡复原异同：1、基本形式相同，无噪声时，都能简化成逆滤波器；、基本形式相同，无噪声时，都能简化成逆滤波器；2、无信号时，两种信号完全截止、无信号时，两种信号完全截止不同之处：不同之处：在在H(u,v)=0处，维纳滤波器恢复转移函数强迫响应为处，维纳滤波器恢复转移函数强迫响应为零，而功率谱均衡复原滤波器恢复转移函数不为零。零，而功率谱均衡复原滤波器恢复转移函数不为零。因此维纳滤波器的频率响应曲线有较大剧变，其点扩因此维纳滤波器的频率响应曲线有较大剧变，其点扩展函数有更多旁瓣和细微结构易引起假象。展函数有更多旁瓣和细微结构易引起假象。因此，功因此，功率谱均衡复原滤波器具有较强的图像复原能力，优于率谱均衡复原滤波器具有较强的图像复原能力，优于维纳滤波器。维纳滤波器。维纳滤波器和功率谱均衡滤波器比较维纳滤波器和功率谱均衡滤波器比较(a)维维纳纳滤滤波波器器恢恢复复转转移函数移函数频率频率M(u,v)(b)功功率率谱谱均均衡衡滤滤波波器器恢恢复复转转移函数移函数频率频率M(u,v)n维纳滤波的结果非常接近原始图像比逆滤波要维纳滤波的结果非常接近原始图像比逆滤波要好好逆滤波复原图像逆滤波复原图像改进的逆滤波复原图像改进的逆滤波复原图像维纳滤波复原图像维纳滤波复原图像维纳滤波维纳滤波最小平方最小平方最大熵滤波最大熵滤波逆滤波逆滤波谢谢！