中的应用举例-教学课件-

第一章 应用案例及分析 显微图像自动聚焦、融合、三维成像一、研究意义二、显微图像自动聚焦算法三、多层聚焦融合算法 四、基于聚焦深度的三维成像系统五、算法总结六、应用领域主要内容 人类通过不同尺度的成像（从宏观宇宙、遥感，到微观分子）来观察、了解客观物质世界。客观物质的结构是三维的，而传统研究显微样本三维结构的方法是通过在显微镜下获取其二维图像进行观察和分析的，难以准确理解样本的三维结构。因此，研究显微三维成像理论及三维定量分析技术具有很高的实用价值和重要的学术意义，该领域的研究也是显微信息学科的研究热点之一。一、研究意义 远程的病理会诊、显微智能仪器，需要全自动控制显微镜系统。自动控制显微镜的关键技术：显微图像的自动聚焦分析。全自动显微镜示例1、自动聚焦问题的提出二、二、显微图像自动聚焦算法透镜成像模型图二、二、显微图像自动聚焦算法评价函数最大值的位置即为聚焦位置；不存在可能导致聚焦错误的局部极大值；具有较强的抗噪能力；聚焦曲线尖峰性好，聚焦速度比较快。难点问题：有效的聚焦评价函数的确定聚焦评价函数指标：二、二、显微图像自动聚焦算法空域：聚焦图像比离焦图像有较锐化的边缘。频域：聚焦图像比离焦图像包含更多的高频分量。使用象元间的可变步长step来计算二阶差分。即：2、基于改进Laplacian算子的自动聚焦方案：二、二、显微图像自动聚焦算法对比：灰度方差算子、灰度差分绝对值之和(SMD)算子、Roberts梯度算子、基于Sobel梯度算子的Tenengrad函数、能量谱方法、改进拉普拉斯算子等。3、聚焦实验二、二、显微图像自动聚焦算法(c)聚焦评价函数曲线(a)离焦图像(b)聚焦图像实验一：包含40幅图像的一个序列得到的聚焦评价函数曲线二、二、显微图像自动聚焦算法(c)聚焦评价函数曲线实验二：对实验一中40幅图像的序列加入20%的高斯噪声(a)离焦图像(b)聚焦图像 二、二、显微图像自动聚焦算法4、自动聚焦应用实例 为配合全自动显微镜系统的需求，研究运动目标的检测与跟踪算法模块，为空间科学实验目标成像观察用。倒置生物镜的活体目标局部聚焦演示倒置生物镜的活体目标采集系统与中科院空间中心联合二、二、显微图像自动聚焦算法改进Laplacian算子可以有效地抑制噪声干扰，聚焦评价函数曲线平滑，有明显的峰值，单峰性好，且变化陡峭。步长的选择：噪声干扰小时步长和阈值取小；噪声和亮度变化大时步长和阈值可以取得稍大一些。一般步长取7。5、自动聚焦算子小结二、二、显微图像自动聚焦算法 随着放大倍数和分辨率的增大，景深减小，使得物体不可能在一幅图像中完全聚焦清晰。而生物医学及材料科学的成像要求显微镜既要有更高的分辨率又要有足够的景深，这是传统光学硬件的矛盾。1、传统光学硬件的问题三、多层聚焦融合算法序列显微图象融合原理图利用数字图像融合图像融合技术，对序列图像进行合成（Multi-FocusMulti-Focus）。2、解决方法三、多层聚焦融合算法3 3、空域融合算法空域融合算法三、多层聚焦融合算法为解决反射光显微图象融合问题，提出引入空域算法中的改进拉普拉斯算子改进拉普拉斯图像融合算子：改进拉普拉斯图像融合算子：N：窗口的大小；即为点（i,j）的聚焦清晰的测度。基于点处理的方法（简单的空域融合算子、灰度平均法、最大离差法）和基于区域处理的方法（简单的区域融合方法、灰度方差算子、基于Sobel梯度算子的Tenengrad函数方法、改进拉普拉斯算子方法）。4、各种空域融合算子的实验分析三、多层聚焦融合算法1.最大灰度法2.最小灰度法3.灰度平均法 4.最大离差法 当时，融合图像的值取，否则，融合图像取空域融合算法基于点处理的方法三、多层聚焦融合算法简单的区域融合方法：最大、最小对比度，灰度平均法等。灰度方差算子(Local Convariance)空域融合算法基于区域处理的方法三、多层聚焦融合算法基于Sobel梯度算子的Tenengrad函数方法 空域融合算法基于区域处理的方法三、多层聚焦融合算法 (a)序列图像之1 (b)序列图像之5 (c)序列图像之11 (d)序列图像之14 (e)序列图像之20 (f)序列图像之3031幅蝴蝶眼睛序列显微图像改进Laplacian法multi-focus结果(1111窗口、步长5)岩石图象岩石图象depth from focusdepth from focus实验：实验：10幅岩石图像序列（仅示9幅）多层叠合结果聚焦深度（Depth from Focus）的基本思想：在前面multi-focus方法基础上，提取z 方向信息，即可实现通过二维图像序列进行三维重建。优点：计算方式实现表面三维成像，代替反射光激光共聚焦成像。要解决问题：高度插值拟合、三维表面测量、显示。四、基于聚焦深度的三维成像系统SMLSML聚焦评价函数曲线聚焦评价函数曲线 从图中我们可以看出，聚焦评价函数曲线在峰值处具有高斯分布。在边缘处对称性不太显著，这主要是由图像采集过程中显微镜的初始位置造成的。为此，我们将分析仅限于聚焦评价函数的峰值区域。高度图的插值拟合：高度图的插值拟合：四、基于聚焦深度的三维成像系统聚焦评价函数的高斯插值由SML算子可得到两个结果：聚焦评价函数最大值和该值在序列中的位置d 四、基于聚焦深度的三维成像系统深度索引图像蝴蝶眼睛三维高度图像基于基于Depth from FocusDepth from Focus的高度插值与三维测量的高度插值与三维测量实验结果实验结果四、基于聚焦深度的三维成像系统 (a)未经高斯插值处理的深度图 (b)高斯插值处理后的深度图 深度索引图像高度图的插值拟合效果：高度图的插值拟合效果：四、基于聚焦深度的三维成像系统a.原36幅图像聚焦分析拟和曲线 b.抽取的12幅图像聚焦分析拟和曲线 36幅病理图像序列的聚焦曲线插值精度分析：聚焦最大值的层为21；拟合的聚焦算子最大层面为21.13，四舍五入取整为21。四、基于聚焦深度的三维成像系统病理切片 高斯插值层面实际聚焦层面样本116.17625816样本220.49654920样本320.84517620样本431.1337531样本530.9376231 下表为5个图像序列样本的实验结果，拟合计算值与实际测量值基本相符。表:自动聚焦算法中的步长拟合比较表 四、基于聚焦深度的三维成像系统z轴控制器分辨力：0.1um测量参数：直线或曲线距离、剖面分析、表面积、分形维等参数。测量目标（材料断口、皮肤）三维纹理：采用机械材料表面测量国标GB350（对应国际标准为ISO4287）三维表面测量分析：四、基于聚焦深度的三维成像系统 根据显微序列图象合成原理，研制、设计了Z轴自动控制显微镜，结合研发的软件系统，组成了光、机、电一体化的“显微三维成像系统”。三维实体测量显微镜Z Z轴自动轴自动控制器控制器Depth from FocusDepth from Focus成像硬件系统设计：成像硬件系统设计：四、基于聚焦深度的三维成像系统5/17/202432岩石图象岩石图象depth from focusdepth from focus实验：实验：多层叠合结果高斯插值处理后的深度图 10幅岩石图像序列（仅示9幅）岩岩石石三三维维表表面面的的剖剖线线(P Pr ro of fi il le e)测测量量分分析析示示意意图图 直接利用高度图、纹理图进行三维重建显示三维图像的表面重建显示：三维图像的表面重建显示：可以从任意角度观察岩石的三维表面图象用脚印法生成左右视图用脚印法生成左右视图 模拟生成的左视野图象 模拟生成的右视野图象立体图像的左右视图生成：立体图像的左右视图生成：仿真立体图像仿真立体图像-Anaglyph-Anaglyph传统光学硬件存在“随着放大倍数和分辨率的增大，景深减小，使得物体不可能在一幅图像中完全聚焦清晰成像”。解决该问题的有效方法是通过数字图像处理技术，结合硬件控制成像技术，扩展了光学系统的景深，满足了实际 要求。同时结合插值拟合方法，实现目标的三维成像。五、算法总结 通过对显微镜的自动操纵、图像融合和显微三维成像，可应用于医学的远程诊断、空间科学实验（生物、材料等）、及微观观察测量实验等。六、应用领域六、应用领域材料学表面六、应用领域六、应用领域工业检测六、应用领域六、应用领域生物学六、应用领域六、应用领域医学病理六、应用领域六、应用领域皮肤纹理六、应用领域六、应用领域谢 谢!谢谢！