涉及数字图像处理摄像机标定立体视觉的计算机视觉

机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所Institute of Robotics&Automatic Information SystemInstitute of Robotics&Automatic Information System计算机视觉计算机视觉孙明竹孙明竹孙明竹孙明竹机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所2/课程信息课程信息主讲人：孙明竹主讲人：孙明竹实验室：伯苓楼机器人所实验室：伯苓楼机器人所 602 602室室课程成绩：平时作业课程成绩：平时作业(10(10)期末考试期末考试(40(40)答疑：当面、答疑：当面、邮件、邮件机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所3/主要参考书主要参考书马颂德，张正友马颂德，张正友马颂德，张正友马颂德，张正友?计算机视觉计算机视觉计算机视觉计算机视觉一种理论与算法根底一种理论与算法根底一种理论与算法根底一种理论与算法根底?，科学出版社，科学出版社，科学出版社，科学出版社，1998199819981998David ForsythDavid ForsythDavid ForsythDavid Forsyth，Jean Ponce?Jean Ponce?Jean Ponce?Jean Ponce?计算机视觉计算机视觉计算机视觉计算机视觉一种现代一种现代一种现代一种现代的方法的方法的方法的方法?，清华大学出版社，清华大学出版社，清华大学出版社，清华大学出版社，2004200420042004Rafael Gonzales et al?Rafael Gonzales et al?Rafael Gonzales et al?Rafael Gonzales et al?数字图像处理数字图像处理数字图像处理数字图像处理(MATLAB(MATLAB(MATLAB(MATLAB版版版版)?)?)?)?，电，电，电，电子工业出版社，子工业出版社，子工业出版社，子工业出版社，2005200520052005Milan Sonka et al?Milan Sonka et al?Milan Sonka et al?Milan Sonka et al?图像处理、分析与机器视觉图像处理、分析与机器视觉图像处理、分析与机器视觉图像处理、分析与机器视觉?，人民，人民，人民，人民邮电出版社，邮电出版社，邮电出版社，邮电出版社，2002200220022002期刊、会议论文期刊、会议论文期刊、会议论文期刊、会议论文善于使用网络：官网、论坛、主页、博客、善于使用网络：官网、论坛、主页、博客、善于使用网络：官网、论坛、主页、博客、善于使用网络：官网、论坛、主页、博客、WikipediaWikipediaWikipediaWikipedia、googlegooglegooglegoogle、百度、百度、百度、百度Institute of Robotics and Automatic Information SystemInstitute of Robotics and Automatic Information System绪论Introduction机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所5/主要内容主要内容第第1 1章章 绪论绪论1.1.1.1.计算机视觉计算机视觉Computer VisionComputer Vision的概的概念念 1.2.1.2.计算机视觉的开展计算机视觉的开展 1.3.Marr1.3.Marr的计算视觉理论框架的计算视觉理论框架 1.4.1.4.课程主要内容课程主要内容补充：补充：matlabmatlab程序设计程序设计机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所6/1.1.1.1.计算机视觉的概念计算机视觉的概念Why VisionWhy Vision？视觉是人类最重要的感觉，人类认识外界信息视觉是人类最重要的感觉，人类认识外界信息视觉是人类最重要的感觉，人类认识外界信息视觉是人类最重要的感觉，人类认识外界信息80%80%80%80%来自视觉来自视觉来自视觉来自视觉计算机视觉的概念计算机视觉的概念利用各种成像系统代替人类的视觉器官作为输入利用各种成像系统代替人类的视觉器官作为输入利用各种成像系统代替人类的视觉器官作为输入利用各种成像系统代替人类的视觉器官作为输入手段，由计算机来代替大脑完成处理和解释手段，由计算机来代替大脑完成处理和解释手段，由计算机来代替大脑完成处理和解释手段，由计算机来代替大脑完成处理和解释计算机视觉的最终目标计算机视觉的最终目标使计算机像人那样，通过视觉观察和理解世界，使计算机像人那样，通过视觉观察和理解世界，使计算机像人那样，通过视觉观察和理解世界，使计算机像人那样，通过视觉观察和理解世界，具有具有具有具有自主适应环境自主适应环境自主适应环境自主适应环境的能力的能力的能力的能力机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所7/1.1.1.1.计算机视觉的概念计算机视觉的概念计算机视觉当前的研究目标计算机视觉当前的研究目标使计算机具有通过二维图像使计算机具有通过二维图像使计算机具有通过二维图像使计算机具有通过二维图像认知三维环境认知三维环境认知三维环境认知三维环境的能力：的能力：的能力：的能力：感知三维环境中物体的几何信息，包括形状、位置、感知三维环境中物体的几何信息，包括形状、位置、感知三维环境中物体的几何信息，包括形状、位置、感知三维环境中物体的几何信息，包括形状、位置、姿态、运动等姿态、运动等姿态、运动等姿态、运动等对它们进行描述、存储、识别与理解对它们进行描述、存储、识别与理解对它们进行描述、存储、识别与理解对它们进行描述、存储、识别与理解机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所8/计算机视觉与相关学科的关系计算机视觉与相关学科的关系 图像处理图像处理图像处理图像处理(Image(Image(Image(Image Processing)Processing)Processing)Processing)图像处理，人是最终的解释者图像处理，人是最终的解释者图像处理，人是最终的解释者图像处理，人是最终的解释者计算机视觉，计算机是图像的计算机视觉，计算机是图像的计算机视觉，计算机是图像的计算机视觉，计算机是图像的解释者解释者解释者解释者模式识别模式识别模式识别模式识别(Pattern(Pattern(Pattern(Pattern Recognition)Recognition)Recognition)Recognition)根据从图像中抽取的统计特性根据从图像中抽取的统计特性根据从图像中抽取的统计特性根据从图像中抽取的统计特性或结构信息，把图像分成设定或结构信息，把图像分成设定或结构信息，把图像分成设定或结构信息，把图像分成设定的类别的类别的类别的类别计算机视觉、计算机视觉、计算机视觉、计算机视觉、图像处理与模图像处理与模图像处理与模图像处理与模式识别式识别式识别式识别机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所9/计算机视觉与相关学科的关系计算机视觉与相关学科的关系计算机图形学计算机图形学计算机图形学计算机图形学Computer GraphicsComputer GraphicsComputer GraphicsComputer Graphics 计算机图形学是一种使用数学算法将二维或三维图计算机图形学是一种使用数学算法将二维或三维图计算机图形学是一种使用数学算法将二维或三维图计算机图形学是一种使用数学算法将二维或三维图形转化为计算机显示器的栅格形式的科学形转化为计算机显示器的栅格形式的科学形转化为计算机显示器的栅格形式的科学形转化为计算机显示器的栅格形式的科学计算机图形学：从三维描述到二维图像显示计算机图形学：从三维描述到二维图像显示计算机图形学：从三维描述到二维图像显示计算机图形学：从三维描述到二维图像显示计算机视觉：从二维图像数据到三维描述计算机视觉：从二维图像数据到三维描述计算机视觉：从二维图像数据到三维描述计算机视觉：从二维图像数据到三维描述计算机视觉与机器视觉计算机视觉与机器视觉计算机视觉与机器视觉计算机视觉与机器视觉Machine visionMachine visionMachine visionMachine vision根本理论框架、底层理论、算法相似根本理论框架、底层理论、算法相似根本理论框架、底层理论、算法相似根本理论框架、底层理论、算法相似研究的最终目不同研究的最终目不同研究的最终目不同研究的最终目不同 机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所10/1.2.1.2.计算机视觉的开展计算机视觉的开展开展概况开展概况2020世纪世纪5050年代：统计模式识别年代：统计模式识别二维图像分析和识别，如光学字符识别、工二维图像分析和识别，如光学字符识别、工件外表、显微图片和航空图片的分析和解释件外表、显微图片和航空图片的分析和解释等等 2020世纪世纪6060年代：年代：RobertsRoberts的三维积木世界的三维积木世界 通过计算机程序从数字图像中提取出诸如立通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构，方体、楔形体、棱柱体等多面体的三维结构，并对物体形状及物体的空间关系进行描述并对物体形状及物体的空间关系进行描述开创了以理解三维场景为目的的三维视觉研开创了以理解三维场景为目的的三维视觉研究究后人解决了由线段解释景物和处理阴影等问后人解决了由线段解释景物和处理阴影等问题题 机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所11/1.2.1.2.计算机视觉的开展计算机视觉的开展三维积木世界三维积木世界机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所12/1.2.1.2.计算机视觉的开展计算机视觉的开展开展概况续开展概况续2020世纪世纪7070年代：年代：MarrMarr为代表的计算理论为代表的计算理论核心是从图像恢复物体的三维形状核心是从图像恢复物体的三维形状提出要从不同层次去研究信息处理的问题提出要从不同层次去研究信息处理的问题对计算理论和算法实现，特别强调计算理论对计算理论和算法实现，特别强调计算理论的重要性的重要性2020世纪世纪8080年代：主动视觉年代：主动视觉(Active Vision)(Active Vision)主动视觉的四个特征：主动性主动视觉的四个特征：主动性(Active)(Active)、选择性选择性(Selective)(Selective)、目的性、目的性(Purposive)(Purposive)、定性性、定性性(Qualitative)(Qualitative)对计算机视觉新的理解：根据任务，调整成对计算机视觉新的理解：根据任务，调整成像参数，选择感兴趣的区域，获取相关的图像参数，选择感兴趣的区域，获取相关的图像信息像信息机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所13/计算机视觉的困难与问题计算机视觉的困难与问题 计算机视觉是一个逆问题计算机视觉是一个逆问题输入：二维灰度图像输入：二维灰度图像输入：二维灰度图像输入：二维灰度图像输出：三维物体的几何特征、位置输出：三维物体的几何特征、位置输出：三维物体的几何特征、位置输出：三维物体的几何特征、位置视觉信息多种多样，视觉知识的表达很困难视觉信息多种多样，视觉知识的表达很困难图像数据量巨大，信息存储与检索困难图像数据量巨大，信息存储与检索困难对生理学、神经生物学等的研究有待深入对生理学、神经生物学等的研究有待深入 机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所14/计算机视觉的应用计算机视觉的应用 自主车导航自主车导航目标跟踪目标跟踪工业应用：产品检验、柔性装配、海洋石油工业应用：产品检验、柔性装配、海洋石油开采、海底勘察开采、海底勘察医疗和军事应用：医疗外科手术医疗和军事应用：医疗外科手术机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所15/计算机视觉的应用计算机视觉的应用Video from ICRA/IROSVideo from ICRA/IROS自主车导航自主车导航自主车导航自主车导航高速动态场景中的运动障碍物检测高速动态场景中的运动障碍物检测高速动态场景中的运动障碍物检测高速动态场景中的运动障碍物检测显著区域检测显著区域检测显著区域检测显著区域检测外科手术机器人外科手术机器人外科手术机器人外科手术机器人其他视频其他视频其他视频其他视频 1 1 1 1 2 2 2 2机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所16/1.3 1.3 Marr的计算视觉理论框架的计算视觉理论框架 视觉系统研究的三个层次视觉系统研究的三个层次计算理论层次：答复系统各个局部的计算目计算理论层次：答复系统各个局部的计算目的与计算策略各局部的输入输出，之间的的与计算策略各局部的输入输出，之间的关系变换，之间的约束关系变换，之间的约束表达与算法层次：视觉系统的研究应给出各表达与算法层次：视觉系统的研究应给出各局部局部(各模块各模块)的输入、输出和内部的信息表的输入、输出和内部的信息表达，以及实现计算理论所规定的目标的算法达，以及实现计算理论所规定的目标的算法硬件实现层次：如何用硬件实现以上算法硬件实现层次：如何用硬件实现以上算法机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所17/1.3 1.3 Marr的计算视觉理论框架的计算视觉理论框架视觉信息处理的三个阶段视觉信息处理的三个阶段视觉信息处理的三个阶段视觉信息处理的三个阶段 1 1 1 1低层视觉低层视觉低层视觉低层视觉Low-level visionLow-level visionLow-level visionLow-level vision 构成要素图构成要素图构成要素图构成要素图primal sketchprimal sketchprimal sketchprimal sketch，要素图由二，要素图由二，要素图由二，要素图由二维图像中的边缘点、直线段、曲线、顶点、纹理等维图像中的边缘点、直线段、曲线、顶点、纹理等维图像中的边缘点、直线段、曲线、顶点、纹理等维图像中的边缘点、直线段、曲线、顶点、纹理等根本几何元素或特征组成根本几何元素或特征组成根本几何元素或特征组成根本几何元素或特征组成2 2 2 2中层视觉中层视觉中层视觉中层视觉Intermediate-level visionIntermediate-level visionIntermediate-level visionIntermediate-level vision 构成对环境的构成对环境的构成对环境的构成对环境的2.52.52.52.5维描述，在以观察者为中心维描述，在以观察者为中心维描述，在以观察者为中心维描述，在以观察者为中心的坐标系中描述局部的、不完整的三维信息的坐标系中描述局部的、不完整的三维信息的坐标系中描述局部的、不完整的三维信息的坐标系中描述局部的、不完整的三维信息3 3 3 3高层视觉高层视觉高层视觉高层视觉High-level visionHigh-level visionHigh-level visionHigh-level vision 从从从从2.52.52.52.5维描述得到物体的完整三维描述，三维维描述得到物体的完整三维描述，三维维描述得到物体的完整三维描述，三维维描述得到物体的完整三维描述，三维结构在以物体为中心的坐标系中表示结构在以物体为中心的坐标系中表示结构在以物体为中心的坐标系中表示结构在以物体为中心的坐标系中表示机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所18/1.4 1.4 课程内容课程内容绪论绪论计算机视觉的概念计算机视觉的概念数字图像处理数字图像处理数字图像及其性质数字图像及其性质数字图像及其性质数字图像及其性质图像预处理图像预处理图像预处理图像预处理摄像机标定摄像机标定立体视觉立体视觉机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所19/补充：补充：matlab程序设计程序设计MatlabMatlab中的矩阵运算中的矩阵运算zeros/oneszeros/ones利用冒号表达式：利用冒号表达式：x=x0:step:xnx=x0:step:xn区分区分“*“*和和“.*“.*善于使用善于使用help/edithelp/edit对照程序功能，阅读源程序对照程序功能，阅读源程序Institute of Robotics and Automatic Information SystemInstitute of Robotics and Automatic Information System数字图像处理Digital Image Processing机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所21/图像分析系统图像分析系统 知识库知识库 形状表示形状表示与描述与描述 预处理预处理分割分割 低级处理低级处理高级处理高级处理中级处理中级处理识别识别与与 解释解释结果结果 图像获取图像获取问题问题机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所22/主要内容主要内容第第2 2章章 数字图像及其性质数字图像及其性质2.1 2.1 2.1 2.1 补充：卷积与傅立叶变换补充：卷积与傅立叶变换补充：卷积与傅立叶变换补充：卷积与傅立叶变换2.2 2.2 2.2 2.2 数字图像的形成数字图像的形成数字图像的形成数字图像的形成2.3 2.3 2.3 2.3 数字图像性质数字图像性质数字图像性质数字图像性质第第3 3章章 图像预处理图像预处理3.1 3.1 3.1 3.1 像素亮度变换像素亮度变换像素亮度变换像素亮度变换3.2 3.2 3.2 3.2 图像平滑图像平滑图像平滑图像平滑3.3 3.3 3.3 3.3 边缘检测边缘检测边缘检测边缘检测3.4 3.4 3.4 3.4 其他图像处理其他图像处理其他图像处理其他图像处理机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所23/2.1.1 2.1.1 卷积卷积(Convolution)二维函数二维函数f和和h的卷积的卷积g记为记为f*h，由积分定义，由积分定义二维离散卷积二维离散卷积 (matlab:conv2)(matlab:conv2)机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所24/2.1.1 2.1.1 卷积卷积原始图像与原始图像与PrewittPrewitt算子算子h1h1做卷积做卷积136 133 134 135 130132 132 130 133 131131 132 125 131 131 131 130 130 132 129130 131 129 130 130136 269 403 402 399132 264 394 395 394-5 -6 -15 -14 -12 -1 -3 -3 -3 -3-1 -2 2 2 2机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所25/2.1.2 2.1.2 傅立叶变换傅立叶变换(Fourier Transform)二维连续傅立叶变换及其逆变换二维连续傅立叶变换及其逆变换二维离散傅立叶变换二维离散傅立叶变换(DFT)(DFT)及其逆变换及其逆变换机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所26/2.1.2 2.1.2 傅立叶变换傅立叶变换傅立叶变换的结果傅立叶变换的结果傅立叶变换的结果傅立叶变换的结果F(u,v)F(u,v)F(u,v)F(u,v)通常为复数，令通常为复数，令通常为复数，令通常为复数，令R(u,v)R(u,v)R(u,v)R(u,v)和和和和I(u,v)I(u,v)I(u,v)I(u,v)分别表示分别表示分别表示分别表示F(u,v)F(u,v)F(u,v)F(u,v)的实部和虚部的实部和虚部的实部和虚部的实部和虚部傅立叶频谱：傅立叶频谱：傅立叶频谱：傅立叶频谱：相位角：相位角：相位角：相位角：假设假设假设假设f(m,n)f(m,n)f(m,n)f(m,n)是实数，是实数，是实数，是实数，F(u,v)F(u,v)F(u,v)F(u,v)关于原点共轭对称，也关于原点共轭对称，也关于原点共轭对称，也关于原点共轭对称，也关于原点对称关于原点对称关于原点对称关于原点对称机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所27/2.1.2 2.1.2 傅立叶变换傅立叶变换DFTDFTDFTDFT和逆和逆和逆和逆DFTDFTDFTDFT都是周期无穷的，周期由都是周期无穷的，周期由都是周期无穷的，周期由都是周期无穷的，周期由M M M M和和和和N N N N决定决定决定决定二维二维二维二维DFTDFTDFTDFT(matlab:fft2(matlab:fft2(matlab:fft2(matlab:fft2)二维逆二维逆二维逆二维逆DFTDFTDFTDFT (matlab:if(matlab:if(matlab:if(matlab:ifft2)ft2)ft2)ft2)重排数据重排数据重排数据重排数据(matlab:ffts(matlab:ffts(matlab:ffts(matlab:fftshift)hift)hift)hift)机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所28/i=i=imread(miss.bmp);imread(miss.bmp);imshow(i,);imshow(i,);F=fft2(i);F=fft2(i);imshow(abs(F),);imshow(abs(F),);Fs=fftshift(F);Fs=fftshift(F);imshow(abs(Fs),);imshow(abs(Fs),);Fl=log(1+abs(Fs);Fl=log(1+abs(Fs);imshow(abs(Fl),);imshow(abs(Fl),);DFT变换结果变换结果原始图像原始图像对数显示对数显示fftshift结果结果机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所29/2.2 2.2 数字图像的形成数字图像的形成机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所30/图像数字化图像数字化传感器获取的图像是平面上的连续函数传感器获取的图像是平面上的连续函数图像数字化图像数字化将连续函数将连续函数将连续函数将连续函数采样采样采样采样(sampled)(sampled)(sampled)(sampled)为为为为M M M M行行行行N N N N列的矩阵列的矩阵列的矩阵列的矩阵将每个连续样本将每个连续样本将每个连续样本将每个连续样本量化量化量化量化(quantization)(quantization)(quantization)(quantization)为一个整数为一个整数为一个整数为一个整数值，即图像函数的连续范围被分成了值，即图像函数的连续范围被分成了值，即图像函数的连续范围被分成了值，即图像函数的连续范围被分成了K K K K个区间个区间个区间个区间采样和量化的越精细，即增大采样和量化的越精细，即增大采样和量化的越精细，即增大采样和量化的越精细，即增大M,N,KM,N,KM,N,KM,N,K，连续图像，连续图像，连续图像，连续图像函数的近似性越好函数的近似性越好函数的近似性越好函数的近似性越好机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所31/2.2.1 2.2.1 采样采样连续图像函数连续图像函数连续图像函数连续图像函数f(x,y)f(x,y)f(x,y)f(x,y)可通过平面上离散的栅格点来采可通过平面上离散的栅格点来采可通过平面上离散的栅格点来采可通过平面上离散的栅格点来采样样样样图像采样点：图像采样点：图像采样点：图像采样点：两个相邻采样点间，在两个相邻采样点间，在两个相邻采样点间，在两个相邻采样点间，在x x x x轴和轴和轴和轴和y y y y轴上的距离分别是轴上的距离分别是轴上的距离分别是轴上的距离分别是xxxx和和和和yyyy，称距离，称距离，称距离，称距离xxxx和和和和yyyy为为为为采样间隔采样间隔采样间隔采样间隔，采样后得到的矩阵，采样后得到的矩阵，采样后得到的矩阵，采样后得到的矩阵f f f fs s s s(m(m(m(mx,ny)x,ny)x,ny)x,ny)构成了离散图像构成了离散图像构成了离散图像构成了离散图像采样图像是连续图像函数采样图像是连续图像函数采样图像是连续图像函数采样图像是连续图像函数f(x,y)f(x,y)f(x,y)f(x,y)与采样函数与采样函数与采样函数与采样函数s(x,y)s(x,y)s(x,y)s(x,y)的的的的乘积乘积乘积乘积机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所32/2.2.1 2.2.1 采样采样傅立叶变换傅立叶变换傅立叶变换傅立叶变换采样后图像的傅立叶变换是周期性重复的连续图像傅采样后图像的傅立叶变换是周期性重复的连续图像傅采样后图像的傅立叶变换是周期性重复的连续图像傅采样后图像的傅立叶变换是周期性重复的连续图像傅立叶变换立叶变换立叶变换立叶变换F(u,v)F(u,v)F(u,v)F(u,v)之和之和之和之和 机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所33/2.2.1 2.2.1 采样采样在一定条件下，当数字化分量在一定条件下，当数字化分量在一定条件下，当数字化分量在一定条件下，当数字化分量F(u,v)F(u,v)F(u,v)F(u,v)发生重叠时，发生重叠时，发生重叠时，发生重叠时，F(u,v)F(u,v)F(u,v)F(u,v)的周期性重复可能引起图像失真，这种现象称为混迭的周期性重复可能引起图像失真，这种现象称为混迭的周期性重复可能引起图像失真，这种现象称为混迭的周期性重复可能引起图像失真，这种现象称为混迭(aliasing)(aliasing)(aliasing)(aliasing)当图像函数当图像函数当图像函数当图像函数f(x,y)f(x,y)f(x,y)f(x,y)是有限带宽是有限带宽是有限带宽是有限带宽(band-limited)(band-limited)(band-limited)(band-limited)的频谱，即的频谱，即的频谱，即的频谱，即其傅立叶变换其傅立叶变换其傅立叶变换其傅立叶变换F(u,v)F(u,v)F(u,v)F(u,v)在一定频率区间：在一定频率区间：在一定频率区间：在一定频率区间：|u|U|u|U|u|U|u|U，|v|V|v|V|v|V|v|V之外之外之外之外为为为为0 0 0 0，可有效防止混迭，可有效防止混迭，可有效防止混迭，可有效防止混迭根据根据根据根据ShannonShannonShannonShannon采样定理，为防止有限带宽频谱图像的变换结采样定理，为防止有限带宽频谱图像的变换结采样定理，为防止有限带宽频谱图像的变换结采样定理，为防止有限带宽频谱图像的变换结果发生混迭，可选择采样间隔：果发生混迭，可选择采样间隔：果发生混迭，可选择采样间隔：果发生混迭，可选择采样间隔：在图像分析中的物理解释：采样间隔应小于或等于图像中在图像分析中的物理解释：采样间隔应小于或等于图像中在图像分析中的物理解释：采样间隔应小于或等于图像中在图像分析中的物理解释：采样间隔应小于或等于图像中感兴趣的最小细节尺寸的一半感兴趣的最小细节尺寸的一半感兴趣的最小细节尺寸的一半感兴趣的最小细节尺寸的一半机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所34/2.2.1 2.2.1 采样采样实际采样过程中，采样函数不是实际采样过程中，采样函数不是实际采样过程中，采样函数不是实际采样过程中，采样函数不是 ，而是，而是，而是，而是有限冲击函数幅度有限的窄信号有限冲击函数幅度有限的窄信号有限冲击函数幅度有限的窄信号有限冲击函数幅度有限的窄信号在实际数字化过程中，采样间隔通常选取理论值的在实际数字化过程中，采样间隔通常选取理论值的在实际数字化过程中，采样间隔通常选取理论值的在实际数字化过程中，采样间隔通常选取理论值的十分之一或更小十分之一或更小十分之一或更小十分之一或更小,因为在将数字化图像函数在显示因为在将数字化图像函数在显示因为在将数字化图像函数在显示因为在将数字化图像函数在显示器上重构为连续图像时器上重构为连续图像时器上重构为连续图像时器上重构为连续图像时,算法仅使用了阶跃函数算法仅使用了阶跃函数算法仅使用了阶跃函数算法仅使用了阶跃函数机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所35/原始分辨率一半原始分辨率一半原始图像原始图像原始分辨率原始分辨率1/8原始分辨率原始分辨率1/4i=imread(miss.bmp);i=imread(miss.bmp);i=double(i(:,:,1);i=double(i(:,:,1);imshow(i,);imshow(i,);figure;figure;i2=i(1:2:192,1:2:192);i2=i(1:2:192,1:2:192);imshow(i2,);imshow(i2,);figure;figure;i3=i(1:4:192,1:4:192);i3=i(1:4:192,1:4:192);imshow(i3,);imshow(i3,);figure;figure;i4=i(1:8:192,1:8:192);i4=i(1:8:192,1:8:192);imshow(i4,);imshow(i4,);机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所36/2.2.2 2.2.2 量化量化将采样后的图像将采样后的图像将采样后的图像将采样后的图像 fs(mx,ny)fs(mx,ny)fs(mx,ny)fs(mx,ny)的像素值用一个整的像素值用一个整的像素值用一个整的像素值用一个整数来表示数来表示数来表示数来表示,为了是人能够觉察出图像的细微变化为了是人能够觉察出图像的细微变化为了是人能够觉察出图像的细微变化为了是人能够觉察出图像的细微变化,量量量量化的级别要足够高化的级别要足够高化的级别要足够高化的级别要足够高大局部的图像处理仪器都采用大局部的图像处理仪器都采用大局部的图像处理仪器都采用大局部的图像处理仪器都采用k k k k个等间隔的量化方个等间隔的量化方个等间隔的量化方个等间隔的量化方式式式式,如果用如果用如果用如果用b b b b位来表示像素亮度的数值，那么亮度阶位来表示像素亮度的数值，那么亮度阶位来表示像素亮度的数值，那么亮度阶位来表示像素亮度的数值，那么亮度阶就是就是就是就是k=2bk=2bk=2bk=2b通常使用每个像素通常使用每个像素通常使用每个像素通常使用每个像素8 8 8 8 个比特，特殊的测量设备每个个比特，特殊的测量设备每个个比特，特殊的测量设备每个个比特，特殊的测量设备每个像素使用像素使用像素使用像素使用12121212个或更多的比特个或更多的比特个或更多的比特个或更多的比特机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所37/6位位8位位2位位4位位i=imread(miss.bmp);i=imread(miss.bmp);i=double(i(:,:,1);i=double(i(:,:,1);imshow(uint8(i);imshow(uint8(i);figure;figure;i2=floor(i/4)*4;i2=floor(i/4)*4;imshow(uint8(i2);imshow(uint8(i2);figure;figure;i3=floor(i/16)*16;i3=floor(i/16)*16;imshow(uint8(i3);imshow(uint8(i3);figure;figure;i4=floor(i/128)*128;i4=floor(i/128)*128;imshow(uint8(i4);imshow(uint8(i4);机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所38/2.3 2.3 数字图像性质数字图像性质(I)(I)距离距离(distance)(distance)坐标为坐标为(m,n)(m,n)和和(h,k)(h,k)两点之间的距离两点之间的距离:欧氏距离：欧氏距离：欧氏距离：欧氏距离：城区距离：城区距离：城区距离：城区距离：棋盘距离：棋盘距离：棋盘距离：棋盘距离：机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所39/2.3 2.3 数字图像性质数字图像性质(II)(II)像素邻接性像素邻接性像素邻接性像素邻接性(adjacency)(adjacency)(adjacency)(adjacency)4 4 4 4邻接：任意两像素之间的距离为邻接：任意两像素之间的距离为邻接：任意两像素之间的距离为邻接：任意两像素之间的距离为D D D D4 4 4 41 1 1 18 8 8 8邻接：任意两像素之间的距离为邻接：任意两像素之间的距离为邻接：任意两像素之间的距离为邻接：任意两像素之间的距离为D D D D8 8 8 81 1 1 1区域区域区域区域(region):(region):(region):(region):由一些彼此邻接的像素组成的集合由一些彼此邻接的像素组成的集合由一些彼此邻接的像素组成的集合由一些彼此邻接的像素组成的集合连通性连通性连通性连通性(contiguous)(contiguous)(contiguous)(contiguous)连通：一幅图像的两个像素之间存在一条路径连通：一幅图像的两个像素之间存在一条路径连通：一幅图像的两个像素之间存在一条路径连通：一幅图像的两个像素之间存在一条路径连通关系具有自反性、对称性和传递性连通关系具有自反性、对称性和传递性连通关系具有自反性、对称性和传递性连通关系具有自反性、对称性和传递性区域中没有孔，称为区域中没有孔，称为区域中没有孔，称为区域中没有孔，称为简单连通简单连通简单连通简单连通，有孔的区域称为，有孔的区域称为，有孔的区域称为，有孔的区域称为复连通复连通复连通复连通机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所40/2.3 2.3 数字图像性质数字图像性质(III)(III)边界边界(border)(border)区域区域区域区域R R R R的边界是其自身的的边界是其自身的的边界是其自身的的边界是其自身的像素集合像素集合像素集合像素集合，其中的每个，其中的每个，其中的每个，其中的每个点具有一个或多个点具有一个或多个点具有一个或多个点具有一个或多个R R R R外的邻接点外的邻接点外的邻接点外的邻接点边缘边缘(edge)(edge)边缘是图像上灰度的不连续点，或者灰度变化剧边缘是图像上灰度的不连续点，或者灰度变化剧边缘是图像上灰度的不连续点，或者灰度变化剧边缘是图像上灰度的不连续点，或者灰度变化剧烈的地方，它是一个烈的地方，它是一个烈的地方，它是一个烈的地方，它是一个有大小和方向的矢量有大小和方向的矢量有大小和方向的矢量有大小和方向的矢量 边界边界边界边界和和和和边缘边缘边缘边缘不同，边界是与区域有关的不同，边界是与区域有关的不同，边界是与区域有关的不同，边界是与区域有关的全局概念全局概念全局概念全局概念，而边缘表示图像函数的而边缘表示图像函数的而边缘表示图像函数的而边缘表示图像函数的局部性质局部性质局部性质局部性质；边界与边缘也相互；边界与边缘也相互；边界与边缘也相互；边界与边缘也相互关联，一种寻找边界的方法是连接显著的边缘关联，一种寻找边界的方法是连接显著的边缘关联，一种寻找边界的方法是连接显著的边缘关联，一种寻找边界的方法是连接显著的边缘机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所41/2.3.1 2.3.1 直方图直方图(brightness(brightness histogram)histogram)直方图给出了图像中亮度值直方图给出了图像中亮度值直方图给出了图像中亮度值直方图给出了图像中亮度值z z z z出现的出现的出现的出现的概率概率概率概率，一幅有，一幅有，一幅有，一幅有L L L L阶的图像直方图由具有阶的图像直方图由具有阶的图像直方图由具有阶的图像直方图由具有L L L L个元素的一维数组表示个元素的一维数组表示个元素的一维数组表示个元素的一维数组表示算法：计算亮度直方图算法：计算亮度直方图算法：计算亮度直方图算法：计算亮度直方图创立大小为创立大小为创立大小为创立大小为L L L L的一维数组的一维数组的一维数组的一维数组H H H H数组数组数组数组H H H H的所有元素初始化为的所有元素初始化为的所有元素初始化为的所有元素初始化为0 0 0 0对于图像对于图像对于图像对于图像f f f f的所有元素，做如下处理：的所有元素，做如下处理：的所有元素，做如下处理：的所有元素，做如下处理：机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所42/2.3.1 2.3.1 直方图直方图(matlab:imhist)(matlab:imhist)(matlab:imhist)(matlab:imhist)机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所43/2.3.2 2.3.2 图像中的噪声图像中的噪声实际图像常受一些随机误差的影响而退化，这些退化实际图像常受一些随机误差的影响而退化，这些退化实际图像常受一些随机误差的影响而退化，这些退化实际图像常受一些随机误差的影响而退化，这些退化称为噪声称为噪声称为噪声称为噪声(noise)(noise)(noise)(noise)在图像捕获、传输或处理中都可能出现噪声在图像捕获、传输或处理中都可能出现噪声在图像捕获、传输或处理中都可能出现噪声在图像捕获、传输或处理中都可能出现噪声白噪声白噪声白噪声白噪声(white noise)(white noise)(white noise)(white noise)：具有常量的功率谱，强度不随：具有常量的功率谱，强度不随：具有常量的功率谱，强度不随：具有常量的功率谱，强度不随着频率的增加而衰减。着频率的增加而衰减。着频率的增加而衰减。着频率的增加而衰减。高斯噪声高斯噪声高斯噪声高斯噪声(Gaussian noise)(Gaussian noise)(Gaussian noise)(Gaussian noise)是服从正态分布的随机变是服从正态分布的随机变是服从正态分布的随机变是服从正态分布的随机变量，一维情况下的概率密度函数为：量，一维情况下的概率密度函数为：量，一维情况下的概率密度函数为：量，一维情况下的概率密度函数为：机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所44/2.3.2 2.3.2 图像中的噪声图像中的噪声噪声有可能依赖于图像内容，也可能与之无关噪声有可能依赖于图像内容，也可能与之无关噪声有可能依赖于图像内容，也可能与之无关噪声有可能依赖于图像内容，也可能与之无关加性噪声加性噪声加性噪声加性噪声(additive noise)(additive noise)(additive noise)(additive noise)：噪声与出现的图像信号：噪声与出现的图像信号：噪声与出现的图像信号：噪声与出现的图像信号无关无关无关无关乘性噪声乘性噪声乘性噪声乘性噪声(multiplicative noise)(multiplicative noise)(multiplicative noise)(multiplicative noise)：噪声的幅值与信：噪声的幅值与信：噪声的幅值与信：噪声的幅值与信号本身的幅值相关号本身的幅值相关号本身的幅值相关号本身的幅值相关用信噪比用信噪比用信噪比用信噪比SNRSNRSNRSNR度量图像的品质，值越大越好度量图像的品质，值越大越好度量图像的品质，值越大越好度量图像的品质，值越大越好计算噪声奉献的平方和：计算噪声奉献的平方和：计算噪声奉献的平方和：计算噪声奉献的平方和：信号的所有平方和：信号的所有平方和：信号的所有平方和：信号的所有平方和：信噪比：信噪比：信噪比：信噪比：机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所45/2.3.2 2.3.2 图像中的噪声图像中的噪声在图像中参加均值为在图像中参加均值为在图像中参加均值为在图像中参加均值为0 0 0 0，方差为，方差为，方差为，方差为0.0010.0010.0010.001的高斯白噪声的高斯白噪声的高斯白噪声的高斯白噪声(matlab:imnoise)(matlab:imnoise)(matlab:imnoise)(matlab:imnoise)imnoise(i,gaussian,0,imnoise(i,gaussian,0,imnoise(i,gaussian,0,imnoise(i,gaussian,0,0.001)0.001)0.001)0.001)机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所46/第第3 3章章 图像预处理图像预处理图像预处理的目的是改善图像数据，抑制不需要的变图像预处理的目的是改善图像数据，抑制不需要的变图像预处理的目的是改善图像数据，抑制不需要的变图像预处理的目的是改善图像数据，抑制不需要的变形或者增强某些对于后续处理重要的图像特征形或者增强某些对于后续处理重要的图像特征形或者增强某些对于后续处理重要的图像特征形或者增强某些对于后续处理重要的图像特征 图像中存在相当多的冗余信息，实际图像中属于一个图像中存在相当多的冗余信息，实际图像中属于一个图像中存在相当多的冗余信息，实际图像中属于一个图像中存在相当多的冗余信息，实际图像中属于一个目标的相邻像素根本上具有相同的或类似的亮度值目标的相邻像素根本上具有相同的或类似的亮度值目标的相邻像素根本上具有相同的或类似的亮度值目标的相邻像素根本上具有相同的或类似的亮度值主要内容主要内容主要内容主要内容3.1 3.1 3.1 3.1 像素亮度变换像素亮度变换像素亮度变换像素亮度变换3.2 3.2 3.2 3.2 图像平滑图像平滑图像平滑图像平滑3.3 3.3 3.3 3.3 边缘检测边缘检测边缘检测边缘检测3.4 3.4 3.4 3.4 其他图像处理其他图像处理其他图像处理其他图像处理机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所47/3.1 3.1 像素亮度变换像素亮度变换像素亮度变换修改像素的亮度值，变换只取决于像像素亮度变换修改像素的亮度值，变换只取决于像像素亮度变换修改像素的亮度值，变换只取决于像像素亮度变换修改像素的亮度值，变换只取决于像素自身的性质素自身的性质素自身的性质素自身的性质亮度校正亮度校正亮度校正亮度校正与像素位置相关，在改变像素的亮度时要考虑该与像素位置相关，在改变像素的亮度时要考虑该与像素位置相关，在改变像素的亮度时要考虑该与像素位置相关，在改变像素的亮度时要考虑该像素原来的亮度及其在图像中的位置像素原来的亮度及其在图像中的位置像素原来的亮度及其在图像中的位置像素原来的亮度及其在图像中的位置灰度级变换灰度级变换灰度级变换灰度级变换与像素位置无关，在改变像素的亮度时无需考虑与像素位置无关，在改变像素的亮度时无需考虑与像素位置无关，在改变像素的亮度时无需考虑与像素位置无关，在改变像素的亮度时无需考虑其在图像中的位置其在图像中的位置其在图像中的位置其在图像中的位置机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所48/灰度级变换灰度级变换变换变换变换变换T T T T，将原来在范围，将原来在范围，将原来在范围，将原来在范围pppp0 0 0 0,p,p,p,pk k k k 内的亮度内的亮度内的亮度内的亮度p p p p变换为一个变换为一个变换为一个变换为一个新范围新范围新范围新范围qqqq0 0 0 0,q,q,q,qk k k k 内的亮度内的亮度内的亮度内的亮度灰度级变换通常可以使用灰度级变换通常可以使用灰度级变换通常可以使用灰度级变换通常可以使用查表查表查表查表的方法实现的方法实现的方法实现的方法实现a:a:a:a:底片变换底片变换底片变换底片变换b:b:b:b:通过分段函数增强通过分段函数增强通过分段函数增强通过分段函数增强了图像在亮度了图像在亮度了图像在亮度了图像在亮度p1p1p1p1到到到到p2p2p2p2间的比照度间的比照度间的比照度间的比照度c:c:c:c:图像二值化图像二值化图像二值化图像二值化机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所49/直方图均衡化直方图均衡化(histogram equalization)直方图均衡化的目标是创立一幅在整个亮度范围内具直方图均衡化的目标是创立一幅在整个亮度范围内具直方图均衡化的目标是创立一幅在整个亮度范围内具直方图均衡化的目标是创立一幅在整个亮度范围内具有相同亮度分布的图像有相同亮度分布的图像有相同亮度分布的图像有相同亮度分布的图像直方图均衡化增强了靠近直方图极大值附近的亮度的直方图均衡化增强了靠近直方图极大值附近的亮度的直方图均衡化增强了靠近直方图极大值附近的亮度的直方图均衡化增强了靠近直方图极大值附近的亮度的比照度，减小了极小值附近的比照度比照度，减小了极小值附近的比照度比照度，减小了极小值附近的比照度比照度，减小了极小值附近的比照度机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所机器人与信息自动化研究所50/直方图均衡化直方图均衡化输入直方图输入直方图输入直方图输入直方图H(p)H(p)H(p)H(p)，输入灰度级范围为，输入灰度级范围为，输入灰度级范围为，输入灰度级范围为p0,pkp0,pkp0,pkp0,pk，直方图，直方图，直方图，直方图均衡化的目标：找到一个单调的像素亮度变换均衡化的目标：找到一个单调的像素亮度变换均衡化的目标：找到一个单调的像素亮度变换均衡化的目标：找到一个单调的像素亮度变换q=T(p)q=T