第五章 图像复原

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第五章 图像复原,张 萍,电子科技大学 光电信息学院,E-mail: pingzh,参考,资料,教材：,Rafael C. Gonzalez, etc,，,Digital Image Processing (Third Edition),，电子工业出版社，,2010,参考书籍：,耿则勋，陈波，王振国等著,，,自适应光学图像复原理论与方法,，,科学出版社,，,2010,卓力，王素玉，李晓光著,，,图像,/,视频的超分辨率复原,，,人民邮电出版社,，,2011,图像复原技术也常被称为图像恢复技术，是当今图像处理研究领域的重要分支。,图像复原技术能够去除或减轻在获取数字图像过程中发生的图像质量下降（退化）问题，从而使图像尽可能地接近于真实场景。,图像复原,什么是复原（,Restoration,）？,什么是退化（,Degrade,）？,景物形成过程中可能出现畸变、模糊、失真或混入噪声，使所成图像降质，称为图像“退化”。,引起图像退化的原因,􀀹,成像系统的散焦；,􀀹 成像设备与物体的相对运动；,􀀹 成像器材的固有缺陷；,􀀹 外部干扰等。,图像退化,运动模糊图像,原图,焦外模糊,模糊图像 复原后的清晰图像,因噪声引起的模糊,图像复原,可以看作,图像退化,的逆过程，是将图像退化的过程加以估计，建立退化的数学模型后，补偿退化过程造成的失真。,在图像退化确知的情况下，图像退化的逆过程是有可能进行的，这属于,反问题求解,。,图像复原的本质,图像复原,实际情况经常是退化过程并不知晓，这种复原属于,盲目复原,。,由于图像模糊的同时，噪声和干扰也会同时存在，这也为复原带来了困难和不确定性。,图像复原存在的困难,图像复原,图像退化与复原的关系,系统（模型）,退化,(,正问题,),复原,(,反问题,),观测图,理想图,近似,惟一性,多解性,复原结果,理想结果,图像增强,图像复原,技术,特点,不考虑图像降质的原因,，只将图像中感兴趣的特征有选择地突出（增强），而衰减其不需要的特征。, 要考虑图像降质的原因，建立“,降质模型”,。, 改善后的图像,不一定,要去逼近原图像。, 要建立评价复原好坏的,客观标准,。,主观,过程,客观,过程,图像复原与图像增强的对比,图像增强,图像复原,主要目的,提高图像的,可懂度,提高图像的,逼真度,方法,空间域法和频率域法,。,空间域法主要是对图像的灰度进行处理；频率域法主要是滤波。,重点介绍,线性复原,方法,图像复原与图像增强的对比,图像复原技术的应用,天文成像领域,:,一方面，对地面上的成像系统来说，由于受到射线及大气的影响，会造成图像的退化,;,另一方面，在太空中的成像系统，由于宇宙飞船的速度远远快于相机快门的速度，从而造成了运动模糊,;,航空成像领域：,无人机、预警机、侦察机的成像侦察；巡航导弹地形识别，侧视雷达的地形侦察等；,公安领域：,指纹自动识别，手迹、人像、印章的鉴定识别，过期档案文字的识别等，都与图像复原技术密不可分,;,安防领域：,监控录像中犯罪嫌疑人辨别、监视等；,交通智能监控领域：,电子眼（车速超过,60km/,小时）；,残损图像复原：,由于噪声和记录介质自身缺陷的存在以及在后期制作时出现的失误，图像还可能有部分信息丢失或不可用。,医学领域：,在该领域，图像复原技术也有着极其重要的作用，如,X,光、,CT,等。,图像复原技术的应用,湍流退化图像复原：,目标通过大气湍流的成像是诸如宇航卫星、天文观测、精确制导等宇航光电探测成像系统必然会遇到的问题。（在大气湍流环境中天基、机,/,弹载光学成像系统）,图像及视频编码领域：,随着编码技术的发展，一些人为图像缺陷，如方块效应，成为明显问题。一些简单的图像增强处理不能从根本上消除方块效应，特别是情况复杂时，如在编码前或编解码时引入噪声的情况，这时就需要借助于图像复原技术。,其它领域,:,诸如对老照片的处理、对由于散焦或运动造成的图像模糊等，都必须用图像复原技术,。,图像复原技术的应用,主要内容,图象退化,/,复原过程的模型,噪声模型,空间域滤波复原（唯一退化是噪声）,频率域滤波复原（削减周期噪声）,线性位置不变的退化,逆滤波,维纳滤波（最小均方误差滤波）,约束最小二乘方滤波,几何均值滤波,几何变换,主要内容,图象退化,/,复原过程的模型,噪声模型,空间域滤波复原（唯一退化是噪声）,频率域滤波复原（削减周期噪声）,线性位置不变的退化,逆滤波,维纳滤波（最小均方误差滤波）,约束最小二乘方滤波,几何均值滤波,几何变换,1.,图象退化,/,复原过程的模型,退化图像,g(x,y) G(u,v),退化过程模型化为一个,退化函数,和一个,加性噪声,项；,图象复原的目的是获得关于原始图象的近似估计,；,知道,LSI,系统传输函数,H,和噪声, 的信息越多，近似估计越接近原图象；,空域退化模型,频域退化模型,主要内容,图象退化,/,复原过程的模型,噪声模型,空间域滤波复原（唯一退化是噪声）,频率域滤波复原（削减周期噪声）,线性位置不变的退化,逆滤波,维纳滤波（最小均方误差滤波）,约束最小二乘方滤波,几何均值滤波,几何变换,2.,噪声模型,数字图象的噪声主要来源于：,图象的获取,（数字化过程）,图象传感器的工作情况受到各种因素的影响，如图象获取中的环境条件和传感器元件的自身质量。,例如,CCD,摄像机，产生噪声的主要因素是光照强度和传感器温度。,传输过程,图象在传输过程中主要由于所用的传输信道的干扰受到噪声污染。,例如无线传输网络，多径、光或其它大气因素的干扰而产生噪声。,噪声模型假设：,噪声独立于空间坐标；,与图像不相关：像素值和噪声分量之间没有相关。,2.,噪声模型,相关性是定义噪声空间特性参数和这些噪声是否与图象相关。,两个函数的相关性定义,如下,f*,表示,f,的复共轭,频域特性指噪声在傅里叶域的频率内容,白噪声的傅里叶谱是常量。,噪声空间描述采用噪声分量灰度值的统计特性，用概率密度函数,(pdf),表示。,一些重要的噪声,高斯噪声,瑞利噪声,伽马（爱尔兰）噪声,指数分布噪声,均匀分布噪声,脉冲噪声（椒盐噪声）,2.,噪声模型,高斯噪声,Gaussian,(,正态噪声,),z,表示灰度值,，高斯随机变量。, 表示,z,的均值（数学期望）, 表示,z,的标准差，标准差的平方 ,2,称为,z,的方差。,当,z,服从高斯分布的时候，,70, 落在,(- ),( + ),范围内，有,95, 落在,(- 2),( +2),范围内。,高斯噪声在空间和频域中数学上易于处理，在实践中常用。,2.,噪声模型,瑞利噪声,Rayleigh,均值,方差,距原点的位移和其密度图形的基本形状向右变形，瑞利密度对于近似偏移的直方图十分适用。,2.,噪声模型,瑞利噪声,Rayleigh,均值,方差,距原点的位移和其密度图形的基本形状向右变形，瑞利密度对于近似偏移的直方图十分适用。,伽马,(Gamma),噪声,(,爱尔兰,Erlang),(a0,，,b,为正整数，！表示阶乘。,),均值,方差,伽马噪声的,pdf,表达式常被用来表示伽马密度，严格的说，只有当分母为伽马函数 ,(b),时才正确。分母如上式所示时，该密度近似为爱尔兰密度。,2.,噪声模型,指数分布噪声,Exponential,其中,a0,均值,方差,指数分布的概率密度函数可视为当,b=1,时爱尔兰概率分布的特殊情况。,2.,噪声模型,均匀分布噪声,Uniform,均值,方差,2.,噪声模型,脉冲噪声,Impulse,（椒盐噪声）,如果,ba,，灰度值,b,在图象中将显示为一个亮点,(,盐,),；相反，,a,的值将显示为一个暗点,(,胡椒,),。,若,p,a,或,p,b,为零，则脉冲噪声称为单极性噪声。,若,p,a,或,p,b,均不为零，尤其是它们近似相等时,(p,a, p,b,),，则称为双极性脉冲噪声，脉冲噪声将类似于随机分布在图象上的胡椒盐粉微粒，又称椒盐噪声。,2.,噪声模型,脉冲噪声,噪声脉冲可正可负,脉冲干扰通常与图象信号的强度相比较大，在图象数字化过程中常常标定为最大值（纯白或纯黑）,假设,a,和,b,是饱和值，在数字化图象中，它们等于所允许的最大值和最小值。,负脉冲以一个黑点（胡椒点）出现在图象中；正脉冲以一个白点（盐点）出现在图象中。,对于一个,8,位的图象，意味着,a=0 (,黑,),，,b=255 (,白,),。,高斯,伽马,均匀,瑞利,指数,脉冲,2.,噪声模型,_,一些重要噪声的概率密度函数(PDF),几种噪声的运用,:,高斯噪声,源于电子电路噪声和由低照明度和高温带来的传感器噪声,;,瑞利密度分布,在图象范围内特征化噪声现象时十分有用,;,指数密度分布,和,伽马密度分布,在激光成像中应用,;,脉冲噪声,在图象中短暂停留，例如错误的开关操作中,;,均匀密度分布,主要作为模拟随机数产生器的基础。,2.,噪声模型,噪声模型,样本噪声图象及其直方图,原始图像,高斯,瑞利,伽马,附加噪声后的图像和直方图,由简单、恒定的区域构成，从黑到灰、最后到白仅有三个灰度级跨度，非常适合于噪声模型的测量。,比较噪声图像的直方图和噪声的,pdf,，可以看到两者之间的相似性。,黑、灰、白背景下的噪声,pdf,噪声模型,样本噪声图象及其直方图,原始图像,虽然前五种图像直方图明显不同，但是图像除了亮度少许变化外，没有显著不同。椒盐噪声是唯一一种能引起明显可视退化的噪声类型。,指数,均匀,椒盐,附加噪声后的图像和直方图,周期噪声,噪声源：在图象获取过程中电力或机电干扰产生的。,唯一的一种,空间依赖型,噪声。,周期噪声可以通过频域滤波显著的减少。,2.,噪声模型,_,周期噪声,举例：,被不同频率的正弦噪声污染的图像,纯正弦的,FT,是位于正弦波共扼频率处的一对共扼脉冲。,在此特殊例中，不同频率的正弦波,DFT,后的脉冲对以近似于圆的形状出现。,被不同频率的正弦噪声污染的图象,频谱,（一个正弦波对应一对共轭脉冲）,2.,噪声模型,_,周期噪声,典型的周期噪声参数是通过检测图像的,傅里叶频谱,来进行估计的。,周期噪声趋向于产生频率尖锋，易于判断和检测；对于简单的情况，尽可能直接从图像推断噪声的周期性。,从成像系统出发：系统的噪声特性通过,截取一组恒定亮度下的“平坦”背景图像来研究,。结果图像是一个良好的、典型的系统噪声指示器。,从图像本身出发：,从相对,恒定,灰度值的一小部分估计噪声,pdf,的参数。,用子图像计算的高斯、瑞利、均匀噪声直方图,2.,噪声模型,_,周期噪声,一旦,pdf,模型确定了，估计模型参数,(,均值,、方差,2,）或,(a,b),。考虑由,S,定义的一个子图像，利用图象带中的数据，,估计灰度值的均值和方差，计算参数,a,和,b,：,直方图的形状指出最接近的噪声,pdf,的匹配。,如果其形状近似于高斯,，那么由均值和方差就可确定高斯噪声的,pdf,。,如果近似于其它噪声,，用均值和方差可解出噪声,pdf,中参数,a,和,b,。,对于脉冲噪声，采用不同的处理方法。,在一个相对恒定的中等灰度区域内估计黑白像素发生的实际概率，即黑白像素尖峰高度。,z,i,是,S,中象素的灰度值,P(z,i,),表示相应的归一化直方图,2.,噪声模型,_,周期噪声,主要内容,图象退化,/,复原过程的模型,噪声模型,空间域滤波复原（唯一退化是噪声）,频率域滤波复原（削减周期噪声）,线性位置不变的退化,逆滤波,维纳滤波（最小均方误差滤波）,约束最小二乘方滤波,几何均值滤波,几何变换,当,噪声是图像中唯一存在的退化,时，退化图像的模型如下：,噪声项,(x,y),或,N(u,v),是未知的，从,g(x,y),或,G(u,v),去除它们比较困难。,对于周期噪声，通常从,G(u,v),的频谱估计,N(u,v),，从,G(u,v),中减去,N(u,v),得到原始图像的估计，这种情况，仅仅属于例外而不是普遍规律,当仅有加性噪声存在时，可以选择空间滤波方法。,在此特殊情况下，图像增强和复原几乎是不可区别的。,3.,只存在噪声退化时的空间滤波复原,均值滤波器,Mean Filters,算术均值滤波器,Arithmetic Mean Filter,几何均值滤波器,Geometric Mean Filter,谐波均值滤波器,Harmonic Mean Filter,逆谐波均值滤波,Contrahamonic Mean Filter,顺序统计滤波器,Order-statistics Filters,中值滤波器,Median Filter,最大和最小滤波器,Max and Min Filter,中点滤波器,Midpoint Filter,修正的阿尔发均值滤波器,Alpha-trimmed Mean Filter,自适应滤波器,Adaptive Filters,自适应局部噪声消除滤波器,Adaptive Local Noise Elimination Filter,自适应中值滤波器,Adaptive Median Filter,3.,只存在噪声退化时的空间滤波复原,均值滤波器,算术均值滤波器,令,S,xy,表示中心在,(x,y),的点，尺寸为,mn,的矩形子图像窗口的坐标集。,算术均值滤波的过程就是计算由,S,xy,定义的区域中退化图像,g(x,y),的均值,：,均值简单的平滑了一幅图象的局部变化，在模糊了图像的同时，减少了噪声,。,算术均值滤波器可以用,系数为,1/mn,的卷积模板,实现。,均值滤波器,几何均值滤波器,每个被复原象素由子图像窗口中象素点的,乘积,结果求,1/mn,次幂给出,几何均值滤波器所达到的平滑度可以与算术均值滤波器相比。,但是，几何均值滤波器在滤波过程中，会丢失更少的图像细节,相对锐化,。,均值滤波器,谐波均值滤波器,对,“盐”,噪声效果更好，不适用于,“胡椒”,噪声。,也善于处理类似于高斯噪声那样的图像噪声。,43,均值滤波器,逆谐波均值滤波器,Q,为滤波器的阶数,逆谐波均值滤波器适合减少或消除椒盐噪声影响,当,Q0,，用于消除“胡椒”噪声,当,Q0,且,A20,则,z,min, z,med,0,且,B20,，则,z,min, z,xy, z,max,，那么,z,med,和,z,xy,都不是脉冲，算法输出原来的象素值，否则,z,xy,= z,min,或,z,xy,= z,max,，算法输出,z,med,(,非噪声脉冲，因为,A,层已经判定,z,med,不是脉冲噪声,),通过不改变这些中间灰度的点来减少图象的失真,假如,A,层找到一个脉冲噪声，增大窗口，重复,A,层，直到找到一个非脉冲中值,(,转到,B,层,),；,或者窗口尺寸达到最大，返回,z,xy,。,(,不能保证这个值不是一个脉冲,),自适应中值滤波器,噪声概率,P,a,和,/,或,P,b,越小，或者,S,max,在允许的范围内越大，跳出算法而输出结果的可能性就越小；,随着脉冲密度的增加，需要更大的窗口消除尖峰噪声；,算法每输出一个值，窗口就移到图象的下一个位置，重新初始化，开始新的运算；,允许的最大窗口大小的选择与应用有关，但是合理的起始值可以首先通过使用各种尺寸的标准中值滤波器的实验估计获得。这将根据自适应算法性能的期望值建立可视的原始资料。,自适应中值滤波器,左图：被“椒盐”噪声污染的电路图，噪声概率,P,a,=P,b,=0.25,，,噪声水平非常高，能够模糊图象的大部分细节。,中图：规格,77,的中值滤波器处理的结果，,消除了噪声，但是图象细节明显损失。,右图：使用,S,max,=7,自适应中值滤波器处理的恢复结果，,消除了噪声的同时，保持了点的尖锐性和细节。例如穿过主板的填充小白孔和左下脚的芯片管脚。,主要内容,图象退化,/,复原过程的模型,噪声模型,空间域滤波复原（唯一退化是噪声）,频率域滤波复原（削减周期噪声）,线性位置不变的退化,逆滤波,维纳滤波（最小均方误差滤波）,约束最小二乘方滤波,几何均值滤波,几何变换,4.,频域滤波削减周期噪声,前面章节曾讨论过的低通和高通频域滤波器，作为图像增强的基本工具。,本节用于,削减和消除周期性噪声,的频率域滤波器：,带阻滤波器,带通滤波器,陷波滤波器,最佳陷波滤波器,4.,频域滤波削减周期噪声,带阻滤波器：,阻止一定频率范围内的信号通过而允许其它频率范围内的信,号通过，消除或衰减傅里叶变换原点处的频段。,理想带阻滤波器,1,阶巴特沃思带阻滤波器,高斯带阻滤波器,三种带阻滤波器透视图,理想带阻滤波器,n,阶巴特沃思带阻滤波器,高斯带阻滤波器,D(u,v),是到中心化频率矩形原点的距离，,W,是频带的宽度，,D,0,是频带的中心半径。,D,0,W,D(u,v),带阻滤波器消除周期噪声,图像频谱,（一个正弦波对应一对共轭脉冲）,4,阶巴特沃思滤波器,处理后的图像,被不同频率的正弦噪声污染的图像,噪声位于近似圆上，因此，选择使用,圆对称带阻滤波器,。设置适当的半径和宽度，使用尖锐、窄的滤波器，以便尽可能小的削减细节。,滤波器效果非常明显，即使细小的细节和纹理也得到修复。另外注意，直接空间滤波即使使用小的模板，也不可能取得如此效果。,带通滤波器,带通滤波器,：允许一定频率范围内的信号通过而阻止其它频率范围内的信号通过,和带阻滤波器执行相反的操作，可以获得图象的周期噪声模型。,带通滤波器等于全通减去带阻滤波器：,陷波滤波器,陷波滤波器,阻止（或者通过）事先定义的中心频率邻域内的频率。,由于傅里叶变换是对称的，要获得有效结果，陷波滤波器必须以,关于原点对称,的形式出现。,如果陷波器位于原点处，则以它本身的形式出现。,陷波滤波器,举例为,一对,圆形区域的陷波滤波器，实际上陷波滤波器的对数是任意的，形状也是任意的。,理想的陷波滤波器,巴特沃思,(2,阶,),陷波滤波器,高斯陷波滤波器,理想带阻陷波滤波器,的传递函数,半径,D,0,，中心在,(u,0,v,0,) ,且关于,(-u,0,-v,0,),对称,这里假定频率矩形的中心已经移到点,(M/2,N/2),，,(u,0,v,0,),对应移动中心。,陷波滤波器,陷波滤波器,N,阶,巴特沃思带阻陷波滤波器,的传递函数,高斯带阻陷波滤波器,的传递函数,当,u,0,= v,0,= 0,，三个滤波器都变成高通滤波器。,相应,带通陷波滤波器,的传递函数为,原始图象含有水平传感器扫描线，其频域分布沿垂直轴分布。,沿着傅里叶变换的垂直轴建立一个简单的,理想带通陷波滤波器,，可以得到近似的噪声分布。进行反变换，得到噪声分布的空间表示。,用一个,合适的带阻陷波器,以,合理的程度,减少噪声后产生的图象，不会带来模糊，处理后的结果消除了水平扫描线噪声。,噪声图像,图像频谱,原始图像,复原图像,利用陷波滤波器消除周期噪声,最佳陷波滤波器,由于图像干扰的随机性，通常很难明确定义干扰的模式。,作为周期性图像退化的例子，下图是水手,6,号飞船拍摄的火星地形的数字图像。其傅里叶频谱的星形分量是由干扰引起的，该模式不只包含一个正弦分量。,最佳陷波滤波器,当存在几种干扰时，前面的方法在滤波的过程中可能会同时去除大量的图像信息。,所谓的,最佳陷波滤波器,，在一定意义上使复原估计值 的局部方差最小化。,步骤,提取干扰噪声的主频率成分；,从被干扰图象中减去一个可变加权的噪声部分。,最佳陷波滤波器,提取干扰噪声的主频率部分,通过在每个尖峰,(,噪声频率分量,),中心处设一陷波带通滤波器,H(u,v),完成，如果,H(u,v),设置为只可通过干扰噪声相关的成分，干扰噪声的傅里叶变换为,:,H(u,v),的形式需要多方面判断是否有尖峰噪声污染，通常要观察显示的,G(u,v),频谱，,交互地建立陷波带通滤波器,；,相应的空间域干扰噪声的形式：,被污染图象的傅里叶变换,最佳陷波滤波器,若,(x,y),完全已知，则简单的从,g(x,y),减去,(x,y),就可恢复,f(x,y),，但实际,(x,y),是近似值。,从被污染图象中减去,加权后的噪声,，获得复原估计值,w(x,y),为,加权函数,或调制函数；,最佳陷波滤波器的目的就是为了获得该函数，以某种有效的方法优化结果；,获取加权函数的,方法之一,是：使得估计值 在每一点,(x,y),指定邻域上的方差最小；,考虑点,(x,y),处，尺寸为,(2a+1)(2b+1),的邻域，为了使,代入,其中局部方差为,获得,最佳陷波滤波器,假设,w(x,y),在整个邻域内保持不变,，则：,得,条件,最后得：,最佳陷波滤波器,最佳陷波滤波示例,原始火星表面图像,和没有中心化的频谱,图象大小,512512,邻域大小,a=b=15,N(u,v),的傅里叶谱和相应的噪声干扰,(x,y),滤除周期干扰后的图像,最佳陷波滤波示例,主要内容,图象退化,/,复原过程的模型,噪声模型,空间域滤波复原（唯一退化是噪声）,频率域滤波复原（削减周期噪声）,线性位置不变的退化,逆滤波,维纳滤波（最小均方误差滤波）,约束最小二乘方滤波,几何均值滤波,几何变换,5.,线性位置不变的退化,线性系统,H,满足,：,a,、,b,为比例常数，,f,1,(x,y),和,f,2,(x,y),是任意两幅输入图像。,加性：,a=b=1,，若,H,为线性算子，两个输入之和的响应等于两个响应之和。,均匀性：,f,2,(x,y) =0,，与常数相乘的输入的响应等于该输入响应乘以相同的常数。,位置不变系统（或空间不变系统）,对于任意 图像,f(x,y),，位置,和,，有,图象中任一点的响应只取决于该点的输入值，而与该点的位置无关。,5.,线性位置不变的退化,用连续单位脉冲函数定义在,(x,y),位置的,f(x,y):,H,是线性算子,f(,),独立于,(x,y),，使用均匀性,对于线性系统，任意输入的响应是脉冲响应和输入函数的简单卷积,又称为点扩散函数,(PSF),5.,线性位置不变的退化,考虑加性噪声,(x,y),的线性位置不变退化模型,具有加性噪声的线性空间不变退化系统，可以在,空间域,被模型化为退化函数,(,点扩散函数,),与图象的卷积，并加上噪声。,线性图象恢复又被称为“图象去卷积”,在,频域,内表示为退化函数与图象的乘积，加上噪声。可以用,FFT,算法实现，但需要函数延拓,NN,1,+N,2,-1,。,许多退化类型可近似表示为线性位置不变过程，得到广泛实际应用。非线性位置有关的系统虽然更普遍，但求解计算非常困难，或没解。,卷积形式,频域形式,5.,线性位置不变的退化,估计退化函数,h(x,y),或,H(u,v),的方法：,观察法,实验法,数学建模法,用此方法估计的退化函数去复原一幅图像，有时称为,盲去卷积,，因为实际的退化函数很难完全知晓。,估计退化函数,图象观察估计法,没有,H,的知识，用收集图像自身的信息进行估计；,利用位置不变性质，用,强信号内容区,(,构造简单、很少噪声,),的子图像估计整幅图像的退化函数；,为观察,子图像,， 为构建,子图像,，假设噪声可以忽略，并且位置不变，则：,估计退化函数,试验估计法,使用与获取退化函数的设备相似的装置，将与退化图像相类似的图像退化到尽可能接近需要复原的图像。,利用相同的系统设置，由一个脉冲成像,(,小亮点,),得到退化系统的脉冲响应。线性位置不变系统完全可由它的脉冲响应来描述。,一个脉冲可由明亮的点来模拟，并尽可能亮以便减少噪声干扰。,输入：,f(x,y)=(x,y),，,DFT(x,y),，,=1,；,输出：,G(u,v)=H(u,v)F(u,v)=H(u,v),或包括,一个常数,A,。,常量，表示脉冲强度,一个亮脉冲,(,放大显示,),退化的脉冲,观察图像的,FT,估计退化函数,估计退化函数,模型估计法：,方法一：把引起退化的环境因素考虑在内,例如，,Hufnagel,和,Stanley,提出的退化模型是基于大气湍流的物理特性：,k,为常数，它与湍流的特性有关，大的,k,值表示剧烈湍流。,此模型类似于高斯,LPF,（除了,5/6,指数外），高斯,LPF,可用来淡化模型，均匀模糊。,大气湍流模型的解释,(a),可以忽略的湍流；,(b),剧烈湍流,k=0.0025,；,(c),中等湍流,k=0.001,；,(d),轻微湍流,k=0.00025,；,估计退化函数,模型估计法：,方法二：从基本原理开始推导出一个数学模型,用实例来说明：图像获取时被图像和传感器之间的,均匀线性运动模糊,了。,图象,f(x,y),进行平面运动，,x,0,(t),和,y,0,(t),分别是,x,和,y,方向上相应的随时间变化的运动参数。,记录介质任意点的爆光总数是通过对,时间间隔,T,内,瞬时爆光数的积分得到的。,若,T,足够短，那么光学成像过程不受图像运动干扰的影响，图像非常完美。,若,T,较长，那么模糊图像为：,估计退化函数,傅里叶变换,改变积分顺序,变量置换,F(u,v),与时间无关,估计退化函数,假设图像只在,x,方向以给定速率做匀速直线运动， ，,t,T,时图象运动总距离为,a,，令,y0(t)=0,。则得到退化函数,H(u,v),：,假设图像在,y,方向也以给定速率做匀速直线运动 ，则退化函数,H(u,v),变为：,估计退化函数,由于运动而引起的图像模糊,右图是左图经过均匀线性运动模糊的图象，它用原图象的傅里叶变换乘以上述的,H(u,v),，再求反变换获得。图象尺寸,688688,，使用参数,a=b=0.1,，,T=1,。,从模糊图象获得复原图象比较困难，尤其是当退化图象存在噪声的时候。,估计退化函数,主要内容,图象退化,/,复原过程的模型,噪声模型,空间域滤波复原（唯一退化是噪声）,频率域滤波复原（削减周期噪声）,线性位置不变的退化,逆滤波,维纳滤波（最小均方误差滤波）,约束最小二乘方滤波,几何均值滤波,几何变换,逆滤波：,用退化函数除退化图像的傅里叶变换，得到原始图象的傅里叶变换的估计,:,上式除法是在,对应元素间相除,。,从此式可知，,即使知道退化函数,H,，也不能准确的复原原始图像,F(u,v),，因为：,N(u,v),是一个随机函数，傅里叶变换未知，所以不能准确的恢复原始图象。,更糟的是若,H(u,v),接近,0,值或者非常小时，,N (u,v)/H(u,v),会影响 的估计值。,6.,逆滤波,解决退化,H(u,v),为,0,或者很小值的途径：,限制滤波频率使其接近原点值。,H(0,0),等于,h(x,y),的均值，而且常常是,H(u,v),在频域的最大值。频率越接近原点，,H(u,v),为,0,和很小值的几率就越小。,举例说明限制频率对滤波结果的影响,使用精确退化函数,k=0.0025,，常数,M/2,和,N/2,是偏移量，可以中心化函数，与傅立叶变换中心化相对应。,M=N=480,，比较全滤波，半径,R,40,、,70,、,85,时,(,用一个,10,阶,Butterworth LPF,实现）的滤波结果。,6.,逆滤波,原始图像,逆滤波恢复的图象,全滤波,R=40,R=70,R=85,退化图像,剧烈湍流,k=0.0025,退化值非常小，噪声淹没了图像，全滤波变得毫无用处。,变得模糊,开始退化，噪声影响越来越大,。,视觉效果最好,逆滤波示例,主要内容,图象退化,/,复原过程的模型,噪声模型,空间域滤波复原（唯一退化是噪声）,频率域滤波复原（削减周期噪声）,线性位置不变的退化,逆滤波,维纳滤波（最小均方误差滤波）,约束最小二乘方滤波,几何均值滤波,几何变换,7.,维纳滤波,综合考虑退化函数,H,和,噪声统计特征,(,逆滤波中未详细讨论,),。,方法,：,建立在图象和噪声是随机过程的基础上。,目标,：,找到一个未污染图像,f,的估计 ，使其均方误差最小。,误差度量：,7.,维纳滤波,1942,年,N.Wiener,提出,维纳滤波器,假定,噪声和图象不相关,其中一个有零均值,估计的灰度级是退化图象灰度级的线性函数,Norbert Wiener(1894-1964),H(u,v),为退化函数,；,H*(u,v),为,H(u,v),的复共扼；,|H(u,v)|,2,= H*(u,v) H(u,v),复数和其共轭的乘积等于复数模值的平方；,S,(u,v),= |N(u,v)|,2,=,噪声的功率谱,= R,2,(u,v) + I,2,(u,v),S,f,(u,v),= |F(u,v)|,2,=,未退化,图像的功率谱,7.,维纳滤波,当处理白噪声的时候，,|N(u,v)|,2,为常数，简化了处理，但,未退化图像的功率谱很少已知,。当这些值未知或不能估计时，用下式近似：,维纳滤波又称为最小均方误差滤波器，或最小二乘方误差滤波器；,除非对于相同的,u,、,v,值，,H(u,v),和,S,(u,v),都是,0,，否则维纳滤波没有逆滤波中退化函数为,0,的问题；,如果噪声是,0,，噪声功率谱消失，维纳滤波退化为逆滤波。,K,是一个特殊常数；通过交互式选择。,7.,维纳滤波,110,全逆滤波,半径受限,R=70,逆滤波,维纳滤波,原始图像,维纳滤波示例,维纳滤波效果更好，更接近原始图像,逆滤波和维纳滤波的结果进一步比较,模糊污染图像,半径受限逆滤波,维纳滤波,由运动模糊和加性噪声污染的图像,噪声方差减少,1,个数量级,噪声方差减少,5,个数量级,逆滤波图像不太适用，噪声非常强烈；维纳滤波效果不完美，但有图像内容的线索。,噪声减少对逆滤波没有影响，但维纳滤波效果明显改进，文字容易辨认多了。,逆滤波消除了图像模糊，但噪声仍很明显，字符仍有一点模糊，虽然通过噪声“窗帘”看见。维纳滤波结果最好，非常接近原图。,主要内容,图象退化,/,复原过程的模型,噪声模型,空间域滤波复原（唯一退化是噪声）,频率域滤波复原（削减周期噪声）,线性位置不变的退化,逆滤波,维纳滤波（最小均方误差滤波）,约束最小二乘方滤波,几何均值滤波,几何变换,维纳过程的约束：,未退化图像和噪声的功率谱必须已知。当未知时，有近似公式，但其中的功率谱比常数,K,的估计一般还是没有合适的解。,建立在,最小化统计准则,基础上，,平均意义上的最优,。,约束最小二乘方滤波,只需求,噪声方差和均值,，这些参数经常可以从给定的退化图像中求出。,处理任何图像都能产生最优结果,8.,约束最小二乘方滤波器,约束最小二乘方的,最小准则函数,C,约束条件为,其中， 是欧几里得矢量范数，,w,k,是,W,的第,k,个元素。,是未退化图像的估计值,拉普拉斯算子 在前面已有定义,8.,约束最小二乘方滤波器,频域解决最佳化问题的表达式：, 是一个参数,，必须被调整满足约束条件，当 ,=0,，退化为逆滤波。,P(u,v),是函数,p(x,y),的傅里叶变换,计算傅里叶前要用,0,进行适当延拓,8.,约束最小二乘方滤波器,维纳滤波和约束最小二乘方滤波比较,维纳滤波,约束最小二乘方滤波,噪声方差减少,1,个数量级,噪声方差减少,5,个数量级,在低噪声下两者差不多,高、中噪声下，约束最小二乘方滤波略优。,调整参数, 的方法,定义一个“残差”向量 ：,是, 的函数，有：,它是 的单调递增函数,调整 ，使得：, 是精确因子，当 ， 满足约束条件,步骤：,指定初始 值,计算,满足约束条件 ，停止；否则如果,增加 ， 或者如果 ，减少 ，返回第,2,步。使用新的 ，重新计算最佳估计值。,8.,约束最小二乘方滤波器,R(u,v),反变换得到,r(x,y),，计算,计算,其中,仅仅用噪声和方差的知识就可执行最佳复原算法，这些值并不难估计。,8.,约束最小二乘方滤波器,原始图像,剧烈湍流,(k=0.0025),退化图像,用正确的噪声参数迭代地确定约束最小二乘方,初始值是,10,-5,，调整 的校正因子,10,-6,，,a=0.25,。,噪声方差,10,-5,；,均值,0,；,噪声方差,10,-2,；,均值,0,；,用错误的噪声参数得到的结果，有相当大的模糊,8.,约束最小二乘方滤波器,主要内容,图象退化,/,复原过程的模型,噪声模型,空间域滤波复原（唯一退化是噪声）,频率域滤波复原（削减周期噪声）,线性位置不变的退化,逆滤波,维纳滤波（最小均方误差滤波）,约束最小二乘方滤波,几何均值滤波,几何变换,、 为正的实常数,表示了合并为一个表达式的,滤波器族,：,当,1,，退化为逆滤波,当,0,，转化为参数维纳滤波,当,1,，退化为标准维纳滤波,当,1/2,，为,几何均值滤波,当,1/2,、,1,，为通常的谱均衡滤波,当,1,、,1/2,，接近维纳滤波。,采用几何均值滤波器的形式，把维纳滤波器加以普遍化：,9.,几何均值滤波,主要内容,图象退化,/,复原过程的模型,噪声模型,空间域滤波复原（唯一退化是噪声）,频率域滤波复原（削减周期噪声）,线性位置不变的退化,逆滤波,维纳滤波（最小均方误差滤波）,约束最小二乘方滤波,几何均值滤波,几何变换,几何变换可以在一幅图像的象素间修改空间关系。,两个基本操作：,空间变换,：定义了图像平面上象素的重新安排；,灰度级插补,：处理空间变换后图象中象素灰度级的赋值。,10.,几何变换,空间变换,原图象,f,，象素点坐标,(,x,y,),，几何失真图象,g,，象素点坐标,(,x,y,),。,r(x,y),和,s (x,y),是空间变换，产生几何失真图象,g(x,y),。,如果,r(x,y),和,s (x,y),在解析分析中已知，理论上可以用反变换从失真图象中复原,f(x,y),。,10.,几何变换,实际中，解析函数,r(x,y),和,s (x,y),描述了整个图象平面的几何失真过程，公式化解析函数的集合是不可能的。,解决方法：,用“连接点”表达象素空间重定位，这些点是象素的子集，它们在输入（失真的）和输出（校正的）图象中的,位置精确已知,。,左图显示了失真和校正图像中的四边形区域，四边的顶点是相应的“连接点”,假设四边形区域中的几何变换过程用,双线性方程,来建模。,空间变换,从,8,个已知 “连接点” 解出,8,个系数,c,i,令 ，得到复原图像的值，然后逐像素、逐像素直到整幅图像，即可产生校正图像。,连接点根据其应用，可采用多种不同的技术建立：,例如，一些图像生成系统有物理的、人为设置的标志,(,如金属点）镶嵌在图像传感器上。,产生一个已知点集（称为网状标记），在图像获取时直接镶嵌在图像上。,如果图像由于一些其它处理,(,如图像显示或重建处理）产生失真，图像可以用刚才讨论的技术校正。,空间变换,几何变换遍历坐标,(x,y),的整数值得到复原图象。,双线性方程可能产生非整数,x,y,值。,失真图象,g,是数字的，象素值只能定义在整数点坐标。,对,x,y,用非整数值会导致一个到,g,位置的映射，,在这些非整数位置上没有灰度定义,，所以有必要基于整数坐标的灰度值去推断那些非整数位置上的灰度值，用,灰度级插补,技术完成。,10.,几何变换,最简单的灰度级插补是,最近邻域法,（零阶内插）,借助几何变换公式把整数坐标,(x,y),映射到分数坐标,(x,y,),选择与,(x,y,),相邻的最接近整数坐标,为这些最接近的坐标赋以位于,(x,y),处的象素灰度值,这种方法虽然简单，但是会产生人为瑕疵，例如：高分辨率图像直边的扭曲。,灰度级插补,最实用的灰度级插补方法是,双线性内插法,非整数坐标对,(x,y,),的,4,个整数最近邻点的灰度级都已知，邻点值插补的公式为,4,个系数很容易从,4,个已知邻点的方程求出。,当确定这些系数后，计算,v(x,y,),，并且将这个值赋给,f(x,y),中的位置，这就是到位置,(x,y,),的空间映射。,灰度级插补,上图：,原始图象具有,25,个等间隔的连接点，确定图象的几何失真模型。,中图：,使用空间变换和最近邻点灰度赋值法处理的图象和恢复图象,下图：,使用空间变换和双线性内插法处理的图象和恢复图象,注意中图灰色和黑色边界处的明显失真，在下图中有明显的改进。,几何变换示例,原始图像,双线性内插产生的失真图像,原始图像和失真图像的差值,几何恢复的图像,几何变换示例,本章主要内容,图象退化,/,复原过程的模型,噪声模型,空间域滤波复原（唯一退化是噪声）,频率域滤波复原（削减周期噪声）,线性位置不变的退化,逆滤波,维纳滤波（最小均方误差滤波）,约束最小二乘方滤波,几何均值滤波,几何变换,本章要求及作业,本章要求：,1.,掌握图像退化,/,复原过程的模型；,2.,掌握图像复原的各种滤波器。,本章作业,1.,书后：,5.1,，,5.3,，,5.9,，,5.18,2.,课后编程：,对一幅原始的模糊图像，,请尝试不同的复原算法,(,包括可能的图像预处理和增强等,),，给出您认为最优的增强后的图像。,END,