中的应用举例课件

,*,数字图像处理,第一章 应用案例及分析,显微图像自动聚焦、,融合、三维成像,一、研究意义,二、,显微图像自动聚焦算法,三、多层聚焦融合算法,四、基于聚焦深度的三维成像系统,五、算法总结,六、应用领域,主要内容,一、研究意义,全自动显微镜例如,1、自动聚焦问题的提出,二、,显微图像自动聚焦算法,透镜成像模型图,二、,显微图像自动聚焦算法,评价函数最大值的位置即为聚焦位置；,不存在可能导致聚焦错误的局部极大值；,具有较强的抗噪能力；,聚焦曲线尖峰性好，聚焦速度比较快。,难点问题：有效的聚焦评价函数确实定,聚焦评价函数指标：,二、,显微图像自动聚焦算法,空域：聚焦图像比离焦图像有较锐化的边缘。,频域：聚焦图像比离焦图像包含更多的高频分量。,使用象元间的可变步长step来计算二阶差分。,即：,2、基于改进Laplacian算子的自动聚焦方案：,二、,显微图像自动聚焦算法,比照：,灰度方差算子、灰度差分绝对值之和(SMD)算子、Roberts梯度算子、基于Sobel梯度算子的Tenengrad函数、能量谱方法、改进拉普拉斯算子等。,3、聚焦实验,二、,显微图像自动聚焦算法,(c)聚焦评价函数曲线,(a)离焦图像,(b)聚焦图像,实验一：包含40幅图像的一个序列得到的聚焦评价函数曲线,二、,显微图像自动聚焦算法,(c)聚焦评价函数曲线,实验二：对实验一中40幅图像的序列参加20%的高斯噪声,(a)离焦图像,(b)聚焦图像,二、,显微图像自动聚焦算法,4、自动聚焦应用实例,为配合全自动显微镜系统的需求，研究运动目标的检测与跟踪算法模块，为空间科学实验目标成像观察用。,倒置生物镜的活体目标局部聚焦演示,倒置生物镜的活体目标采集系统,与中科院空间中心联合,二、,显微图像自动聚焦算法,改进Laplacian算子可以有效地抑制噪声干扰，聚焦评价函数曲线平滑，有明显的峰值，单峰性好，且变化陡峭。,步长的选择：,噪声干扰小时步长和阈值取小；,噪声和亮度变化大时步长和阈值可以取得稍大一些。,一般步长取7。,5、自动聚焦算子小结,二、,显微图像自动聚焦算法,随着放大倍数和分辨率的增大，景深减小，使得物体不可能在一幅图像中完全聚焦清晰。,而生物医学及材料科学的成像要求显微镜既要有更高的分辨率又要有足够的景深，这是传统光学硬件的矛盾。,1、传统光学硬件的问题,三、多层聚焦融合算法,序列显微图象融合原理图,2、解决方法,三、多层聚焦融合算法,3、,空域融合算法,三、多层聚焦融合算法,为解决反射光显微图象融合问题，提出引入空域算法中的改进拉普拉斯算子,改进拉普拉斯图像融合算子：,N：窗口的大小；即为点i,j的聚焦清晰的测度。,基于点处理的方法 简单的空域融合算子、灰度平均法、最大离差法 和基于区域处理的方法 简单的区域融合方法、灰度方差算子、基于Sobel梯度算子的,Tenengrad函数方法、改进拉普拉斯算子方法。,4、各,种空域融合算子的实验分析,三、多层聚焦融合算法,最大灰度法,最小灰度法,灰度平均法,最大离差法,当,时，融合图像的值取,，否那么，融合图像取,空域融合算法基于点处理的方法,三、多层聚焦融合算法,简单的区域融合方法：最大、最小比照度，灰度平均法等。,灰度方差算子(Local Convariance),空域融合算法基于区域处理的方法,三、多层聚焦融合算法,基于Sobel梯度算子的Tenengrad函数方法,空域融合算法基于区域处理的方法,三、多层聚焦融合算法,(a)序列图像之1 (b)序列图像之5 (c)序列图像之11,(d)序列图像之14 (e)序列图像之20 (f)序列图像之30,31幅蝴蝶眼睛序列显微图像,改进Laplacian法multi-focus结果(1111窗口、步长5),岩石图象depth from focus实验：,10幅岩石图像序列 仅示9幅,多层叠合结果,聚焦深度Depth from Focus的根本思想：,在前面multi-focus方法根底上，提取z 方向信息，即可实现通过二维图像序列进行三维重建。,优点：,计算方式实现外表三维成像，代替反射光激光共聚焦成像。,要解决问题：,高度插值拟合、三维外表测量、显示。,四、基于聚焦深度的三维成像系统,SML聚焦评价函数曲线,从图中我们可以看出，聚焦评价函数曲线在峰值处具有高斯分布。在边缘处对称性不太显著，这主要是由图像采集过程中显微镜的初始位置造成的。为此，我们将分析仅限于聚焦评价函数的峰值区域,。,高度图的插值拟合：,四、基于聚焦深度的三维成像系统,聚焦评价函数的高斯插值,由,SML,算子可得到两个结果：聚焦评价函数最大值和该值在序列中的位置,d,四、基于聚焦深度的三维成像系统,深度索引图像,蝴蝶眼睛三维高度图像,基于Depth from Focus的高度插值与三维测量,实验结果,四、基于聚焦深度的三维成像系统,未经高斯插值处理的深度图,(b),高斯插值处理后的深度图,深度索引图像,高度图的插值拟合效果：,四、基于聚焦深度的三维成像系统,原,36,幅图像聚焦分析拟和曲线,b.,抽取的,12,幅图像聚焦分析拟和曲线,36,幅病理图像序列的聚焦曲线,插值精度分析：聚焦最大值的层为21；拟合的聚焦算子最大层面为21.13，四舍五入取整为21。,四、基于聚焦深度的三维成像系统,病理切片,高斯插值层面,实际聚焦层面,样本1,16.176258,16,样本2,20.496549,20,样本3,20.845176,20,样本4,31.13375,31,样本5,30.93762,31,下表为5个图像序列样本的实验结果，拟合计算值与实际测量值根本相符。,表:自动聚焦算法中的步长拟合比较表,四、基于聚焦深度的三维成像系统,z轴控制器分辨力：0.1um,测量参数：直线或曲线距离、剖面分析、外表积、分形维等参数。,测量目标材料断口、皮肤三维纹理：采用机械材料外表测量国标GB350对应国际标准为ISO4287,三维外表测量分析：,四、基于聚焦深度的三维成像系统,根据显微序列图象合成原理，研制、设计了Z轴自动控制显微镜，结合研发的软件系统，组成了光、机、电一体化的“显微三维成像系统。,三维实体测量显微镜,Z轴自动控制器,Depth from Focus成像硬件系统设计：,四、基于聚焦深度的三维成像系统,11/18/2024,32,岩石图象depth from focus实验：,多层叠合结果,高斯插值处理后的深度图,10幅岩石图像序列 仅示9幅,岩石三维外表的剖线(Profile)测量分析示意图,直接利用高度图、纹理图进行三维重建显示,三维图像的外表重建显示：,可以从任意角度观察岩石的三维外表图象,用脚印法生成左右视图,模拟生成的左视野图象 模拟生成的右视野图象,立体图像的左右视图生成：,仿真立体图像-Anaglyph,五、算法总结,通过对显微镜的自动操纵、图像融合和显微三维成像，可应用于医学的远程诊断、空间科学实验生物、材料等、及微观观察测量实验等。,六、应用领域,材料学外表,六、应用领域,工业检测,六、应用领域,生物学,六、应用领域,医学病理,六、应用领域,皮肤纹理,六、应用领域,谢 谢!,