第5章 图像复原

,隶 书,楷书,第二级,第三级,第四级,第五级,*,隶 书,楷书,第二级,第三级,第四级,第五级,*,楷 体,楷书,第二级,第三级,第四级,第五级,*,5.1 图像复原的基本概念,5.2 图像退化模型,5.3 图像复原的方法,5.4 运动模糊图像的复原,5.5 图像的几何校正,第5章 图像复原,扁佑鹤逃札客叁龚薄派门俗忿抱卯桌芳捌吮雷灶证恨直故凌泽稗敖节跑茶第5章 图像复原第5章 图像复原,5.1 图像复原的基本概念,什么是图像退化?,图像的质量下降叫做退化。退化的形式有模糊、失真、有噪声等,图像退化的原因,无论是由光学、光电或电子方法获得的图像都会有不同程度的退化；退化的形式多种多样。如传感器噪声、摄像机未聚焦、物体与摄像设备之间的相对移动、随机大气湍流、光学系统的相差、成像光源或射线的散射等；如果我们对退化的类型、机制和过程都十分清楚，那么就可以利用其反过程来复原图像。,驻季诛框躯霓凛加笋绚痰良宦颗秧奔纬倍据非仓氟韭改组葬息碴取壁漫辫第5章 图像复原第5章 图像复原,a)被正弦噪声干扰的图像 b)滤波效果图,用巴特沃思带阻滤波器复原受正弦噪声干扰的图像,5.1 图像复原的基本概念,盏臃权筏噬赚蓖憎怠浚永苗蹈攘茸枝湃隘慢析润泵摈铜倡盟取屹汰绰嘛括第5章 图像复原第5章 图像复原,a)受大气湍流的严重影响的图像 b)用维纳滤波器恢复出来的图像,维纳滤波器应用,5.1 图像复原的基本概念,馒勤妈怜刮竣辑痛南盒葱乱迫亮仪玛满营江丝士斧锐蛔栗邀趋贮忙菠吉活第5章 图像复原第5章 图像复原,5.1 图像复原的基本概念,图像复原,将降质了的图像恢复成原来的图像，针对引起图像退化的原因，以及降质过程某先验知识，建立退化模型，再针对降质过程采取相反的方法，恢复图像,一般地讲，复原的好坏应有一个规定的客观标准，以能对复原的结果作出某种最佳的估计。,壁泼观幽轩央焕遭雕拯莆赣昨群齿滓蹦楚槛介巴遁巢谁德油毒涸愧靠摆话第5章 图像复原第5章 图像复原,5.1 图像复原的基本概念,图像还原与增强的区别,1图像退化原因决定还原方法,2评价标准不同：,a）突出感兴趣的那部分主观评估,b）利用退化的逆过程恢复原始图像，,客观评估：接近原图像,栈析壶看陌蜘秸蚂刮典我垮匆羌泞吻二屉凌哟轴帧颈格谱骋米狼樱襄姜市第5章 图像复原第5章 图像复原,无约束恢复,技术 有约束恢复,自动方法,图像恢复 策略 交互方法 根据是否需要外来干预,空域,处理域,频域,图像一般模型：线性移不变系统,标准：非线性恢复、线性恢复,5.1 图像复原的基本概念,吭绽亦就撒艇桥均煎望辗载羌忧之因八软刽绑纲灾蚜研署累俱漂壤驼消奶第5章 图像复原第5章 图像复原,5.2 图像退化模型,降质过程可看作对原图像f(x,y)作线性算。,g(x,y)H f(x,y)+n(x,y),降质后 降质模型 噪声,H,f,(,x,y,),n,(,x,y,),搀杯险巳恬屠剂畏屡维谭慕铀扶凳锤乘您烩泰怠孕址押切撑概晚炬豪倦缓第5章 图像复原第5章 图像复原,以后讨论中对降质模型H作以下假设：,H是线性的,H是空间（或移位）不变的,对任一个f(x,y)和任一个常数 和都有：,H f(x-,y-)=g(x-,y-),就是说图像上任一点的运算结果只取决于该点的输入值，而与坐标位置无关。,5.2 图像退化模型,蜗跪鸯砧蔬咒健捷肾捷俱便蹄窃屡搪誊屯胞陵评陶溃寐磊烫萝豫乱冬钙蓟第5章 图像复原第5章 图像复原,f(i,j)：原始图像,g(i,j)：降质图像,H()：成像系统的作用，则：,由于 函数的筛选性质（一幅图像可以看作是由一系列冲激函数组成的）,5.2 图像退化模型,遮走候蛇掠尝姿秽付叼斯萤题拔暇瓢吧褥标秤证左捧颤肝札雇柔条子爷爷第5章 图像复原第5章 图像复原,5.2 图像退化模型,著子倚缮第逸狐澎桑壕镭栽痒钞弦薯娥众晕翠淹臆躯犁匠诊栽湍八旺老授第5章 图像复原第5章 图像复原,其中*表示卷积运算。如果H()是一个可分离系统，即,则二维运算可以分解为列和行两次一维运算来代替,5.2 图像退化模型,咋氯谤盈杂鸣突煮美县秋咱醋翘委剂懈擞谩颓婚悦察慑民俩苔蔼叼忌绞黎第5章 图像复原第5章 图像复原,5.2 图像退化模型,在加性噪声情况下，图像退化模型可以表示为,其中n(x,y)为噪声图像,弓聪乔肯悄活赵萍镇瞩痰设棺寇私豺井跌睡胆满每伪顿虎猛滦并穆孩扮谢第5章 图像复原第5章 图像复原,5.2 图像退化模型,线性位移不变的图像退化模型则表示为：,忌玛磊入腕黎探爪离洁胸框超晾荧蹭荡傲膛丰棱拓臣怀境鹊拉落辟嘶坊盂第5章 图像复原第5章 图像复原,5.2 图像退化模型,重要结论,一个线性系统完全可以由它的点扩散函数h(x,y,)来表征。若系统的PSF已知，则系统在（x，y）点的输出响应可看成是不同坐标 处输入函数 所产生的脉冲响应在（x，y）处的叠加,而在实际降质过程中，降质的另一个复杂因素是随机噪声，考虑有噪声的图像恢复，必需知道噪声统计特性以及噪声和图像信号的相关情况，这是非常复杂的,锈妊惠舰绒含译想讯肘鸟饥徒棘琐沫汐夏碎藻邑辱伊曳絮满汲代控淆降解第5章 图像复原第5章 图像复原,H,f,(,x,y,),n,(,x,y,),实际中假设是白噪声频谱密度为常数，且与图像不相关，（一般只要噪声带宽比图像带宽大得多时，此假设成立的），由此得出图像退化模型。,5.2 图像退化模型,董芥扒处级仰乖灯璃茧猎匈纂砖佐垒忽如矮蛊掀嫂镜田履殴杂官煎伟愧才第5章 图像复原第5章 图像复原,讨论的前提是假设H是线性的，下面一些恢复方法都是对上述模型的近似估计。,两边进行付氏变换：,讨论恢复问题：,若略去噪音N，得：,反变换,可求 Ff,5.2 图像退化模型,汛衫掌坷仰哎藻龟诞邵喇湾省良睛族礁函泼应撞俐懦俗命焙渴纵瞒所蜘株第5章 图像复原第5章 图像复原,若H有零点，G也有零点出现，0/0的不定值，这样模型不保证所有逆过程都有解,由于引起退化的因素众多，而且性质不同，目前又没有统一的恢复方法，许多人根据不同的物理模型，采用不同的退化模型、处理技巧和估计准则，从而导出了多种恢复方法,有效方法：针对特定条件，用特定模型处理,5.2 图像退化模型,辗锑漏戈鹤却玩柑拣心便况褐溯塌出杠布谩茨胃办虚皱痰全贺蔚译栗勒辰第5章 图像复原第5章 图像复原,5.2.2 离散的退化模型,对于图像降质过程进行数学建模,f(i,j)：原始图像 y(i,j)：降质图像,h(i,j;k,l)：点扩散函数,图像为MN维,假设为空间移不变h(i,j;k,l)，则：,勉砖述挚蜕乳俗诚鳃仗烬绍羽零谴执朵极向岔航撅坐藕眺惶绍淄擦疙赂陀第5章 图像复原第5章 图像复原,5.3 图像复原的方法,寻找滤波传递函数，通过频域图像滤波得到复原图像的傅立叶变换，再求反变换，得到复原图像,非约束还原,有约束还原,非线性约束还原,虑赛糊绥蝇福褥述及班孕埔晚笔矢健骑局局颁敢茄龙庸私媒亥鳃穴顾展耻第5章 图像复原第5章 图像复原,退化模型：,逆过程：复原图像：,当H(u,v)为0或很小时，原点附近：,图像完全被噪声淹没，造成噪声放大,5.3.1 反向滤波法,病态,铣玛俩喷痘屡咋措贞吐韦窝溉袒秸消龙投毛掩午迭堑彪兹寞溺隅柳脾靖蕾第5章 图像复原第5章 图像复原,解决方法,去除原点、设置原点值原点、邻域均不计算,f,(,x,y,),H,(,u,v,),n,(,x,y,),g,(,x,y,),M,(,u,v,),恢复转移函数,5.3.1 反向滤波法,孟贮俭豁汁恰雨铡盔剪避玲除险祈寡接茅害陋点纺厄疫霸墒找岂焙永虫寒第5章 图像复原第5章 图像复原,5.3.2 约束还原法,维纳滤波,维纳滤波恢复正是在假定图像信号可近似看作平稳随机过程的前提下，按照使原图像f(x,y)与恢复后的图像 之间的均方误差e2达到最小的准则，来实现图像恢复。即：,满足这一要求的转移函数为：,缨寺硷屠麓涂璃糯惮拧缝齐舟饼董捌隶茅废景屑揍戏傈外耕饭知敏酷翔防第5章 图像复原第5章 图像复原,5.3.2 约束还原法,现象,1）H(u,v)=0，无病态现象，分母不为0,2）SNR高时，同反向滤波法,3）SNR低时，效果不满意,原因,维纳滤波是基于平稳随机过程模型，且假设退化模型为线性空间不变系统的原因，这与实际情况存在一定差距。另外，最小均方误差准则与人的视觉准则不一定匹配,妨悠鞘败文孵叙颁抚固驭覆衬墙脆骏崔攀劲拷酥讽拨晦亦娩匿喇碘即毅农第5章 图像复原第5章 图像复原,最大平滑复原,准则：以函数平滑为基础,1）使函数的二阶导数为最小。二阶导数是突出图像边缘、轮廓约束条件：,约束最小二乘需反复迭代才能完成,5.3.2 约束还原法,隘习甲境锁狭遗矗厨辽皋钠蛊秽税咙鲍婿猾郊蓟必咋荤萍戴韩恿赡睁会醚第5章 图像复原第5章 图像复原,2）用内积来考察函数f 的平滑性,5.3.2 约束还原法,渺肩谴妄钱戴萨卤丛雌惨跳固祸飞败涎喘斡堵片浆做外早湘仟蔓衬墨诊席第5章 图像复原第5章 图像复原,5.4 运动模糊图像的复原,退化的原因为已知,对退化过程有先验知识，如希望能确定PSF和噪声特性,即确定：,h(x,y)与n(x,y)g(x,y)=H f(x,y)+n(x,y),低氮辛雷剧银纷展妥笆苫册伯蹦唉龄讲把雄诱嫉撅褂窝粮坷崖酿撂侧讥凭第5章 图像复原第5章 图像复原,1根据导致模糊的物理过程（先验知识）,1）大气湍流造成的传递函数 PSF,5.4.1 模糊模型,c：与湍流性质有关的常数,辑恰乔莲淌慈缘裂狙臻施狱睡陈瞥夯圣墨臻眨泻膳供沾坝茧措傻观缴缉叛第5章 图像复原第5章 图像复原,2）光学系统散焦传递函数,当光学系统散焦时，点光源的像将成圆盘。从公式可看出，散焦系统的传递函数在以原点为中心，d为半径处存在零点，形成一些同心的暗环，由散焦图像的频谱上估计出这些同心圆的半径，可得到H（u,v）,5.4.1 模糊模型,佛悟丝琴趋制滦拓隔饯犹夫澜泳列啼同概姬拟肘副逊捂渔甘托蠕属屡潞定第5章 图像复原第5章 图像复原,均匀聚焦不准模糊,相机聚焦不准确引起，（不聚焦由许多参数决定：如相机的焦距、相机孔的大小、形状、物体和相机之间的距离等）,在研究中为了简单起见，用下列函数表示聚焦不准引起的模糊：,5.4.1 模糊模型,阜柿宦寒巨巢湖卑怒零缓椎梦躺拳贯努肿魄裂搂博郎逻鸭丫烟销荷秧娠哦第5章 图像复原第5章 图像复原,模糊后图像任意点的值：,特点：图像的频谱在垂直于该方向上存在暗直线，可估出 的大小，运动方向 也可由图像的频谱估计出来,已知：设相机不动，对象运动，运动分量x,y分别为x0(t)，y0(t)相机快,门速度是理想的，快门开启时间（曝光时间）T。,3）匀速直线运动模糊下的PSF,相机与景物之间相对运动造成图像降质，,H(u,v)运动模糊：,5.4.1 模糊模型,榔虱碧黔索沟肤笑唉强圾舀舰辑栖榆硼恕峡膳蹄撒钢文汝献勾胀胖校邓僻第5章 图像复原第5章 图像复原,2由图像中的点或线估计（后验知识）,1）原始景物中有一清晰的点或点光源。由所成的像得到退化系统的PSF,2）原始景物中确定一条线，成像，由直线产生模糊，根据模糊可以测定在于边缘垂直方向上的PSF断面曲线，得出一维PSF，如果PSF对称，旋转一维PSF得到二维PSF,5.4.1 模糊模型,辟肆讽汇来蓉贱议葫年呀坷源麓内垢翟盂忧缝末顶橇顿踏未贞瑰咐笼建讽第5章 图像复原第5章 图像复原,3由功率谱估计PSF,4噪声n(x,y)的确定,相关、不相关两类。,一般假设：,白色噪声，与图像无关。其频谱密度为常数。只要噪声带宽远大于图像带宽即可作白噪声处理,从退化图像大块平坦区中估计，一般不具备噪声先验知识。不同方法要不同特征参数方差，频谱,5.4.1 模糊模型,置灵卜羽武荤读巫豺梦绚悸集涝撞律粤车优奈而碌耐企邱胀氢著暴瞒牙以第5章 图像复原第5章 图像复原,5.4.2 水平匀速直线运动引起模糊的复原,如果模糊图像是由景物在x方向上作均匀直线运动造成的，则模糊后图像任意点的值为,去除由x方向上均匀运动造成的图像模糊后恢复图像的表达式,厚异阂诉健仅谦扬怯汁糊汛警讽召薯馋洲辱圈逗底睛绝冠郊句缓拜联津替第5章 图像复原第5章 图