第2章多媒体图像处理课件

第二章 数字图像处理概述数字图像处理概述2 2 数字图像处理概述数字图像处理概述2 数字图像处理概述1第二章 数字图像处理概述数字图像处理概述2.1 数字图像处理及其特点数字图像处理及其特点2.1.1 数字图像与数字图像处理数字图像与数字图像处理 1.数字图像数字图像 用用计计算算机机进进行行图图像像处处理理的的前前提提是是图图像像必必须须以以数数字字格格式式存存储储，我我们们把把以以数数字字格格式式存存放放的的图图像像称称之之为为数数字字图图像像。常常见见的的各各种种照照片片、图图片片、海海报报、广广告告画画等等均均属属模模拟拟图图像像，要要将将模模拟拟图图像像数数字字化化后后生生成成数数字字图图像像，需需要要利利用用数数字字化化设设备备。目目前前，将将模模拟拟图图像像数数字字化化的的主主要要设设备备是是扫扫描描仪仪，将将视视频频画画面面数数字字化化的的设设备备有有图图像像采采集集卡卡。当当然然，也也可可以以利利用用数数码码照照相相机机直直接接拍拍摄摄以以数数字字格格式式存存放放的的数数字字图图像像。模模拟拟图图像像经经扫扫描描仪仪进进行行数数字字化化或或由由数数码码照照相相机机拍拍摄摄的的自自然然景景物物图图像像，在在计计算算机机中中均均是是以以数数字字格格式式存存储储的的。既既然然是是数数字字，计计算算机机当当然可以方便地进行各种处理，以达到视觉效果和特殊效果。然可以方便地进行各种处理，以达到视觉效果和特殊效果。2.1 数字图像处理及其特点2.1.1 数字图像与数字图像处2第二章 数字图像处理概述数字图像处理概述 在在计计算算机机中中，图图像像被被分分割割成成图图2-1所所示示的的像像素素（Pixel），各各像像素素的的灰灰度度值值用用整整数数表表示示。一一幅幅MN个个像像素素的的数数字字图图像像，其其像像素灰度值可以用素灰度值可以用M行、行、N列的矩阵列的矩阵G表示：表示：(2-1)在计算机中，图像被分割成图2-1所示的像素（3第二章 数字图像处理概述数字图像处理概述图图2-1 数字图像数字图像图2-1 数字图像4第二章 数字图像处理概述数字图像处理概述 2.数字图像处理数字图像处理 1）数字图像处理数字图像处理 数数字字计计算算机机最最擅擅长长的的莫莫过过于于处处理理各各种种数数据据，数数字字化化后后的的图图像像可可以以看看成成是是存存储储在在计计算算机机中中的的有有序序数数据据，当当然然可可以以通通过过计计算算机机对对数数字字图图像像进进行行处处理理。我我们们把把利利用用计计算算机机对对图图像像进进行行去去除除噪噪声声、增增强强、复复原原、分分割割、提提取取特特征征等等的的理理论论、方方法法和和技技术术称称为为数数字字图图像像处处理理（Digital Image Processing）。一一般般，图图像像处处理理是是用用计计算算机机和和实实时时硬硬件件实实现现的的，因因此此也也称称之之为为计计算算机机图图像像处处理理（Computer Image Processing）。）。2.数字图像处理5第二章 数字图像处理概述数字图像处理概述 在在日日常常生生活活中中，图图像像处处理理已已经经得得到到广广泛泛应应用用。例例如如，电电脑脑人人像像艺艺术术，电电视视中中的的特特殊殊效效果果，自自动动售售货货机机钞钞票票的的识识别别，邮邮政政编编码码的的自自动动识识别别和和利利用用指指纹纹、虹虹膜膜、面面部部等等特特征征的的身身份份识识别别等等。在在医医学学领领域域，很很早早以以前前就就采采用用X射射线线透透视视、显显微微镜镜照照片片等等来来诊诊断断疾疾病病。现现在在，计计算算机机图图像像处处理理已已成成为为疾疾病病诊诊断断的的重重要要手手段段，用用一一般般摄摄影影方方法法不不能能获获取取的的身身体体内内部部的的状状况况，也也能能由由特特殊殊的的图图像像处处理理装装置置获获取取，最最具具有有代代表表性性的的就就是是X射射线线CT（Computed Tomograph，计算机断层摄像）。计算机断层摄像）。在日常生活中，图像处理已经得到广泛应用。例如6第二章 数字图像处理概述数字图像处理概述 2）数字图像处理的重要意义数字图像处理的重要意义 数字图像处理的产生和迅速发展主要受如下三个方面的影响。数字图像处理的产生和迅速发展主要受如下三个方面的影响。一一是是计计算算机机的的发发展展。早早期期的的计计算算机机无无论论在在计计算算速速度度或或存存储储容容量量方方面面，难难于于满满足足对对庞庞大大图图像像数数据据进进行行实实时时处处理理的的要要求求。随随着着计计算算机机硬硬件件技技术术及及数数字字化化技技术术的的发发展展，计计算算机机、内内存存及及外外围围设设备备的的价价格格急急剧剧下下降降，而而其其性性能能却却有有了了大大幅幅度度的的提提高高。过过去去只只能能用用大大型型计计算算机机完完成成的的庞庞大大处处理理，现现在在，在在个个人人计计算算机机（PC机机）上上也也能能够够轻而易举地实现。轻而易举地实现。二是数学的发展，二是数学的发展，特别是离散数学理论的创立和完善，为数特别是离散数学理论的创立和完善，为数字图像处理奠定了理论基础。字图像处理奠定了理论基础。2）数字图像处理的重要意义7第二章 数字图像处理概述数字图像处理概述 三三是是军军事事、医医学学和和工工业业等等方方面面应应用用需需求求的的不不断断增增长长。自自20世世纪纪20年年代代，图图像像处处理理首首次次应应用用于于改改善善伦伦敦敦和和纽纽约约之之间间海海底底电电缆缆发发送送的的图图片片质质量量以以来来，经经过过几几十十年年的的研研究究与与发发展展，数数字字图图像像处处理理的的理理论论和和方方法法进进一一步步完完善善，应应用用范范围围更更加加广广阔阔，已已经经成成为为一一门门新新兴兴的的学学科科，并并在在向向更更高高级级的的方方向向发发展展。如如在在景景物物理理解解和和计计算算机机视视觉觉（机机器器视视觉觉）方方面面，图图像像处处理理已已由由二二维维处处理理发发展展到到三三维维理理解解或或解解释释。近近几几年年来来，随随着着计计算算机机和和各各个个相相关关领领域域研研究究的的迅迅速速发发展展，科科学学计计算算可可视视化化、多多媒媒体体技技术术等等研研究究和和应应用用的的兴兴起起，数数字字图图像像处处理理从从一一个个专专门门领领域域的的学学科科，变变成成了了一一种种新新型型的的科科学学研研究究和和人人机机界面的工具。界面的工具。三是军事、医学和工业等方面应用需求的不断增长8第二章 数字图像处理概述数字图像处理概述2.1.2 数字图像处理的特点数字图像处理的特点 数数字字图图像像处处理理是是利利用用计计算算机机的的计计算算，实实现现与与光光学学系系统统模模拟拟处理相同效果的过程。数字图像处理具有如下特点：处理相同效果的过程。数字图像处理具有如下特点：（1）处处理理精精度度高高，再再现现性性好好。利利用用计计算算机机进进行行图图像像处处理理，其其实实质质是是对对图图像像数数据据进进行行各各种种运运算算。由由于于计计算算机机技技术术的的飞飞速速发发展展，计计算算精精度度和和计计算算的的正正确确性性勿勿庸庸置置疑疑；另另外外，对对同同一一图图像像用用相相同同的的方方法法处处理理多多次次，也也可可得得到到完完全全相相同同的的效效果果，具具有有良良好好的的再现性。再现性。（2）处处理理的的多多样样性性。由由于于图图像像处处理理是是通通过过运运行行程程序序进进行行的的，因因此此，设设计计不不同同的的图图像像处处理理程程序序，可可以以实实现现各各种种不不同同的的处处理理目目的。的。2.1.2 数字图像处理的特点9第二章 数字图像处理概述数字图像处理概述 （3）图图像像数数据据量量庞庞大大。图图像像中中包包含含有有丰丰富富的的信信息息，可可以以通通过过图图像像处处理理技技术术获获取取图图像像中中包包含含的的有有用用的的信信息息，但但是是，数数字字图图像像的的数数据据量量巨巨大大。一一幅幅数数字字图图像像是是由由图图像像矩矩阵阵中中的的像像素素（Pixel）组组成成的的，通通常常每每个个像像素素用用红红、绿绿、蓝蓝三三种种颜颜色色表表示示，每每种种颜颜色色用用8 bit表表示示灰灰度度级级。则则一一幅幅10241024不不经经压压缩缩的的真真彩彩色色图图像像，数数据据量量达达3MB。X射射线线照照片片一一般般用用64256 Kb的的数数据据量量，一一幅幅遥遥感感图图像像为为30Mb。如如此此庞庞大大的的数数据据量量给给存存储储、传传输输和和处处理理都都带带来来巨巨大大的困难。如果精度及分辨率再提高，所需处理时间将大幅度增加。的困难。如果精度及分辨率再提高，所需处理时间将大幅度增加。（3）图像数据量庞大。图像中包含有丰富的信息，可10第二章 数字图像处理概述数字图像处理概述 （4）处处理理费费时时。由由于于图图像像数数据据量量大大，因因此此处处理理比比较较费费时时。特特别是处理结果与中心像素邻域有关的处理过程花费时间更多。别是处理结果与中心像素邻域有关的处理过程花费时间更多。（5）图图像像处处理理技技术术综综合合性性强强。数数字字图图像像处处理理涉涉及及的的技技术术领领域域相相当当广广泛泛，如如通通信信技技术术、计计算算机机技技术术、电电子子技技术术、电电视视技技术术等等，当然，数学、物理学等领域更是数字图像处理的基础。当然，数学、物理学等领域更是数字图像处理的基础。（4）处理费时。由于图像数据量大，因此处理比较费11第二章 数字图像处理概述数字图像处理概述2.2 数字图像处理的目的和主要内容数字图像处理的目的和主要内容 2.2.1 数字图像处理的目的数字图像处理的目的 一般而言，对图像进行加工和分析主要有如下三方面的目的：一般而言，对图像进行加工和分析主要有如下三方面的目的：（1）提提高高图图像像的的视视感感质质量量，以以达达到到赏赏心心悦悦目目的的目目的的。如如去去除除图图像像中中的的噪噪声声，改改变变图图像像的的亮亮度度、颜颜色色，增增强强图图像像中中的的某某些些成成份份、抑抑制制某某些些成成份份，对对图图像像进进行行几几何何变变换换等等，从从而而改改善善图图像像的的质质量量，以以达达到到或或真真实实的的、或或清清晰晰的的、或或色色彩彩丰丰富富的的、或或意意想想不到的艺术效果不到的艺术效果。2.2 数字图像处理的目的和主要内容 2.2.1 数字图像处12第二章 数字图像处理概述数字图像处理概述 （2）提提取取图图像像中中所所包包含含的的某某些些特特征征或或特特殊殊信信息息，以以便便于于计计算算机机分分析析，例例如如，常常用用作作模模式式识识别别、计计算算机机视视觉觉的的预预处处理理等等。这这些些特特征征包包括括很很多多方方面面，如如频频域域特特性性、灰灰度度颜颜色色特特性性、边边界界区域特性、区域特性、纹理特性、纹理特性、形状拓扑形状拓扑 特性以及关系结构特性以及关系结构 等。等。（3）对图像数据进行变换、对图像数据进行变换、编码和压缩，编码和压缩，以便于图像的以便于图像的存储和传输。存储和传输。（2）提取图像中所包含的某些特征或特殊信息，以13第二章 数字图像处理概述数字图像处理概述2.2.2 数字图像处理的主要内容数字图像处理的主要内容 不不管管图图像像处处理理是是何何种种目目的的，都都需需要要用用计计算算机机图图像像处处理理系系统统对对图图像像数数据据进进行行输输入入、加加工工和和输输出出，因因此此数数字字图图像像处处理理研研究究的的内容主要有以下内容主要有以下7个过程。个过程。1.图图 像像 获获 取取、表表 示示 和和 表表 现现（Image Acquisition，Representation and Presentation）该该过过程程主主要要是是把把模模拟拟图图像像信信号号转转化化为为计计算算机机所所能能接接受受的的数数字字形形式式，以以及及把把数数字字图图像像显显示示和和表表现现出出来来（如如打打印印）。这这一一过过程主要包括摄取图像、程主要包括摄取图像、光电转换及数字化等几个步骤。光电转换及数字化等几个步骤。2.2.2 数字图像处理的主要内容14第二章 数字图像处理概述数字图像处理概述 2.图像复原（图像复原（Image Restoration）当当造造成成图图像像退退化化（图图像像品品质质下下降降）的的原原因因已已知知时时，复复原原技技术术可可以以对对图图像像进进行行校校正正。图图像像复复原原最最关关键键的的是是对对每每种种退退化化都都需需要要有有一一个个合合理理的的模模型型。例例如如，掌掌握握了了聚聚焦焦不不良良成成像像系系统统的的物物理理特特性性，便便可可建建立立复复原原模模型型，而而且且对对获获取取图图像像的的特特定定光光学学系系统统的的直直接接测测量量也也是是可可能能的的。退退化化模模型型和和特特定定数数据据一一起起描描述述了了图图像像的的退退化化，因因此此，复复原原技技术术是是基基于于模模型型和和数数据据的的图图像像恢恢复复，其其目目的的是是消消除除退退化化的的影影响，响，从而产生一个等价于理想成像系统所获得的图像。从而产生一个等价于理想成像系统所获得的图像。2.图像复原（Image Restora15第二章 数字图像处理概述数字图像处理概述 3.图像增强（图像增强（Image Enhancement）图图像像增增强强是是对对图图像像质质量量在在一一般般意意义义上上的的改改善善。当当无无法法知知道道图图像像退退化化有有关关的的定定量量信信息息时时，可可以以使使用用图图像像增增强强技技术术较较为为主主观观地地改改善善图图像像的的质质量量。所所以以，图图像像增增强强技技术术是是用用于于改改善善图图像像视视感感质质量量所所采采取取的的一一种种方方法法。因因为为增增强强技技术术并并非非是是针针对对某某种种退退化化所所采采取取的的方方法法，所所以以很很难难预预测测哪哪一一种种特特定定技技术术是是最最好好的的，只只能能通通过过试试验验和和分分析析误误差差来来选选择择一一种种合合适适的的方方法法。有有时时可可能能需需要要彻彻底底改改变变图图像像的的视视觉觉效效果果，以以便便突突出出重重要要特特征征的的可可观观察察性性，使使人人或或计计算算机机更更易易观观察察或或检检测测。在在这这种种情情况况下下，可可以以把把增增强强理理解解为为增增强强感感兴兴趣趣特特征征的的可可检检测测性性，而而非非改改善善视视感感质质量量。电电视视节节目目片片头头或或片片尾尾处处的的颜颜色色、轮轮廓廓等等的的变变换换，其其目目的的是是得得到到一一种种特特殊殊的的艺艺术术效效果果，增增强强动动感感和和力力度。度。3.图像增强（Image Enhancem16第二章 数字图像处理概述数字图像处理概述 4.图像分割（图像分割（Image Segmentation）把把图图像像分分成成区区域域的的过过程程就就是是图图像像分分割割。图图像像中中通通常常包包含含多多个个对对象象，例例如如，一一幅幅医医学学图图像像中中显显示示出出正正常常的的或或有有病病变变的的各各种种器器官官和和组组织织。图图像像处处理理为为达达到到识识别别和和理理解解的的目目的的，几几乎乎都都必必须须按按照照一一定定的的规规则则将将图图像像分分割割成成区区域域，每每个个区区域代表被成像的一个物体（或部分）。域代表被成像的一个物体（或部分）。图图像像自自动动分分割割是是图图像像处处理理中中最最困困难难的的问问题题之之一一。人人类类视视觉觉系系统统的的优优越越性性，使使得得人人类类能能够够将将所所观观察察的的复复杂杂场场景景中中的的对对象象分分开开，并并识识别别出出每每个个物物体体。但但对对计计算算机机来来说说，这这却却是是一一个个难难题题。目目前前，大大部部分分图图像像的的自自动动分分割割还还需需要要人人工工提提供供必必需需的的信信息息来来帮帮助助，只只有有一一部部分分领领域域（如如印印刷刷字字符符自自动动识识别别（OCR）、指指纹纹识识别别等等）开开始始使使用用。由由于于解解决决和和分分割割有有关关的的基基本本问问题题是是特特定定领领域域中中图图像像分分析析实实用用化化的的关关键键一一步步，因因此此，将将各各种种方方法法融融合合在在一一起起并并使使用用知知识识来来提提高高处处理理的可靠性和有效性是图像分割的研究热点。的可靠性和有效性是图像分割的研究热点。4.图像分割（Image Segmenta17第二章 数字图像处理概述数字图像处理概述 5.图像分析图像分析 图图像像处处理理应应用用的的目目标标几几乎乎均均涉涉及及到到图图像像分分析析，即即对对图图像像中中的的不不同同对对象象进进行行分分割割、特特征征提提取取和和表表示示，从从而而有有利利于于计计算算机机对对图像进行分类、图像进行分类、识别和理解。识别和理解。在在工工业业产产品品零零件件无无缺缺陷陷且且正正确确装装配配检检测测中中，图图像像分分析析是是对对图图像像中中的的像像素素转转化化成成一一个个“合合格格”或或“不不合合格格的的判判定定。在在有有的的应应用用中中，如如医医学学图图像像处处理理，不不仅仅要要检检测测出出物物体体（如如肿肿瘤瘤）的的存存在在，而且还要检查物体的大小。而且还要检查物体的大小。5.图像分析18第二章 数字图像处理概述数字图像处理概述 6.图像重建图像重建 图图像像重重建建与与上上述述的的图图像像增增强强、图图像像复复原原等等不不同同。图图像像增增强强、图图像像复复原原的的输输入入是是图图像像，处处理理后后输输出出的的结结果果也也是是图图像像，而而图图像像重重建建是是指指从从数数据据到到图图像像的的处处理理，即即输输入入的的是是某某种种数数据据，而而经经过过处处理理后后得得到到的的结结果果是是图图像像，CT就就是是图图像像重重建建处处理理的的典典型型应应用用实实例例。目目前前，图图像像重重建建与与计计算算机机图图形形学学相相结结合合，把把多多个个二二维维图图像像合合成成三三维维图图像像，并并加加以以光光照照模模型型和和各各种种渲渲染染技技术术，能能生生成成各各种种具具有有强强烈烈真实感的高质量图像。真实感的高质量图像。6.图像重建19第二章 数字图像处理概述数字图像处理概述 7.图像压缩编码图像压缩编码 数数字字图图像像的的特特点点之之一一是是数数据据量量庞庞大大。尽尽管管现现在在有有大大容容量量的的存存贮贮器器，但但仍仍不不能能满满足足对对图图像像数数据据（尤尤其其是是动动态态图图像像、高高分分辨辨率率图图像像）处处理理的的需需要要，因因此此在在实实际际应应用用中中图图像像压压缩缩是是必必需需的的。如如果果数数据据不不压压缩缩，则则在在存存储储和和传传输输中中就就需需要要占占很很大大的的容容量量和和带带宽，宽，因而增加了成本。图像压缩的目的就是压缩数据量。因而增加了成本。图像压缩的目的就是压缩数据量。7.图像压缩编码20第二章 数字图像处理概述数字图像处理概述 图图像像编编码码主主要要是是利利用用图图像像信信号号的的统统计计特特性性及及人人类类视视觉觉的的生生理理学学及及心心理理学学特特性性，对对图图像像信信号号进进行行高高效效编编码码，即即研研究究数数据据压压缩缩技技术术，目目的的是是在在保保证证图图像像质质量量的的前前提提下下压压缩缩数数据据，便便于于存存储储和和传传输输，以以解解决决数数据据量量大大的的矛矛盾盾。一一般般来来说说，图图像像编编码码的的目目的的有三个：有三个：减少数据存储量；减少数据存储量；降低数据率以减少传输带宽；降低数据率以减少传输带宽；压缩信息量，压缩信息量，便于特征提取，为后续识别作准备。便于特征提取，为后续识别作准备。图像编码主要是利用图像信号的统计特性及人类视21第二章 数字图像处理概述数字图像处理概述 从从编编码码技技术术发发展展来来看看，Kunt提提出出第第一一代代、第第二二代代编编码码的的概概念念。第第一一代代编编码码是是以以去去除除冗冗余余为为基基础础的的编编码码方方法法，如如PCM、DPCM、M、亚亚取取样样编编码码法法、DFT、DCT、W-H变变换换编编码码法法以以及及以以此此为为基基础础的的混混合合编编码码法法。第第二二代代编编码码法法多多为为20世世纪纪80年年代代以以后后提提出出的的，如如金金字字塔塔编编码码法法、Fractal编编码码法法、小小波波变变换换编编码码法法、基基于于神神经网络的编码法、模型基编码法等。这些编码方法有如下特点：经网络的编码法、模型基编码法等。这些编码方法有如下特点：充分考虑人的视觉特性；充分考虑人的视觉特性；恰当地考虑对图像信号的分解与表述；恰当地考虑对图像信号的分解与表述；采用图像的合成与识别方案压缩数据。采用图像的合成与识别方案压缩数据。从编码技术发展来看，Kunt提出第一代、第二代22第二章 数字图像处理概述数字图像处理概述2.3 图像工程与相关学科图像工程与相关学科 2.3.1 图像工程的内涵图像工程的内涵 图图像像工工程程的的内内容容非非常常丰丰富富，根根据据抽抽象象程程度度和和研研究究方方法法等等的的不不同同，可可分分为为图图像像处处理理、图图像像分分析析和和图图像像理理解解三三个个层层次次，如如图图2-2所所示示。换换句句话话说说，图图像像工工程程是是既既有有联联系系又又有有区区别别的的图图像像处处理理、图图像像分分析析及及图图像像理理解解三三者者的的有有机机结结合合，另另外外还还包包括括它它们们的的工工程程应用。应用。2.3 图像工程与相关学科 2.3.1 图像工程的内涵23第二章 数字图像处理概述数字图像处理概述图图2-2 图像工程三层次示意图图像工程三层次示意图 图2-2 图像工程三层次示意图 24第二章 数字图像处理概述数字图像处理概述 2.图像分析图像分析 图图像像分分析析主主要要是是对对图图像像中中感感兴兴趣趣的的目目标标进进行行检检测测和和测测量量，以以获获得得它它们们的的客客观观信信息息，从从而而建建立立对对图图像像的的描描述述。如如果果说说图图像像处处理理是是一一个个从从图图像像到到图图像像的的过过程程，则则图图像像分分析析就就是是一一个个从从图图像像到到数数据据的的过过程程。这这里里的的数数据据可可以以是是目目标标特特征征的的测测量量结结果果，或或是是基于测量的符号表示，它们描述了目标的特点和性质。基于测量的符号表示，它们描述了目标的特点和性质。2.图像分析25第二章 数字图像处理概述数字图像处理概述 3.图像理解图像理解 图图像像理理解解的的重重点点是是在在图图像像分分析析的的基基础础上上，进进一一步步研研究究图图像像中中各各目目标标的的性性质质和和它它们们之之间间的的相相互互联联系系，并并得得出出对对图图像像内内容容含含义义的的理理解解以以及及对对原原来来客客观观场场景景的的解解释释，从从而而指指导导决决策策。如如果果说说图图像像分分析析主主要要是是以以观观察察者者为为中中心心研研究究客客观观世世界界，那那么么图图像像理理解解在在一一定定程程度度上上就就是是以以客客观观世世界界为为中中心心，借借助助知知识识、经经验验等等来来把把握整个客观世界（包括没有直接观察到的事物）。握整个客观世界（包括没有直接观察到的事物）。3.图像理解26第二章 数字图像处理概述数字图像处理概述 可可见见，图图像像处处理理、图图像像分分析析和和图图像像理理解解是是处处在在三三个个抽抽象象程程度度和和数数据据量量各各有有特特点点的的不不同同层层次次上上。图图像像处处理理是是比比较较低低层层的的操操作作，它它主主要要在在图图像像像像素素级级上上进进行行处处理理，处处理理的的数数据据量量非非常常大大。图图像像分分析析则则进进入入了了中中层层，分分割割和和特特征征提提取取把把原原来来以以像像素素描描述述的的图图像像转转变变成成比比较较简简洁洁的的非非图图像像形形式式的的描描述述。图图像像理理解解主主要要是是高高层层操操作作，基基本本上上是是对对从从描描述述抽抽象象出出来来的的符符号号进进行行运运算算，其其处处理理过过程程和和方方法法与人类的思维推理有许多类似之处。与人类的思维推理有许多类似之处。可见，图像处理、图像分析和图像理解是处在三个抽27第二章 数字图像处理概述数字图像处理概述2.3.2 相关学科和领域相关学科和领域 图图像像工工程程是是一一门门系系统统地地研研究究各各种种图图像像理理论论、技技术术和和应应用用的的交交叉叉学学科科。从从它它的的研研究究方方法法来来看看，它它可可以以与与数数学学、物物理理学学、生生理理学学、心心理理学学、电电子子学学、计计算算机机科科学学等等许许多多学学科科相相互互借借鉴鉴。从从它它的的研研究究范范围围来来看看，它它与与模模式式识识别别、计计算算机机视视觉觉、计计算算机机图图形形学学等等多多个个专专业业互互相相交交叉叉。另另外外，图图像像工工程程的的研研究究进进展展与与人人工工智智能能、神神经经网网络络、遗遗传传算算法法、模模糊糊逻逻辑辑等等理理论论和和技技术术都都有有密密切切的的联联系系，它它的的发发展展应应用用与与医医学学、遥遥感感、通通信信、文文档档处处理理和和工工业业自自动化等许多领域也是密不可分的。动化等许多领域也是密不可分的。2.3.2 相关学科和领域28第二章 数字图像处理概述数字图像处理概述 图图像像工工程程与与计计算算机机图图形形学学(Computer Graphics)、模模式式识识别别（Pattern Recognition）、计计算算机机视视觉觉（Computer Vision）等等的的关关系系如如图图2-3所所示示。计计算算机机图图形形学学研研究究的的是是用用计计算算机机技技术术生生成成图图形形的的理理论论、方方法法和和技技术术，即即由由非非图图像像形形式式的的数数据据描描述述来来生生成成逼逼真真的的图图像像。它它可可以以生生成成现现实实世世界界中中已已经经存存在在的的物物体体的的图图形形，也也可可以以生生成成虚虚构构物物体体的的图图形形，它它和和图图像像分分析析的的对对象象和和输输出出结结果果正正好好对对调调。图图像像模模式式识识别别与与图图像像分分析析则则比比较较相相似似，只只是是前前者者试试图图把把图图像像分分解解成成可可用用符符号号较较抽抽象象地地描描述述的的类类别别。计计算算机机视视觉觉主主要要强强调调用用计计算算机机实实现现人人的的视视觉觉功功能能，要要用用到到图图像像工工程程三三个个层层次次的许多技术，的许多技术，但目前的研究内容主要与图像理解相结合。但目前的研究内容主要与图像理解相结合。图像工程与计算机图形学(Computer G29第二章 数字图像处理概述数字图像处理概述图图2-3 图像工程与相关学科的联系和区别图像工程与相关学科的联系和区别 图2-3 图像工程与相关学科的联系和区别 30第二章 数字图像处理概述数字图像处理概述2.4 数字图像处理系统数字图像处理系统 2.4.1 数字图像处理系统硬件数字图像处理系统硬件 早早期期的的数数字字图图像像处处理理系系统统为为了了提提高高处处理理速速度度、增增加加容容量量都都采采用用大大型型机机。随随着着计计算算机机性性价价比比（性性能能价价格格比比）日日新新月月异异的的提提高高，以以小小型型机机为为主主的的微微型型图图像像处处理理系系统统得得到到发发展展。主主机机为为PC机机，配配以以图图像像采采集集卡卡及及显显示示设设备备就就构构成成了了最最基基本本的的微微型型图图像像处处理理系系统统。目目前前，国国产产的的CA540、VP32、FGCT11010N8、CA-CPE-1000、CA-CPE-3000等等图图像像板板研研制制成成功功并并已已商商品品化化。微微型型图图像像处处理理系系统统成成本本低低、应应用用灵灵活活、便便于于推推广广。特特别别是是微微型型计计算算机机的的性性能能逐逐年年提提高高，使使得得微微型型图图像像处处理理系系统统的的性性能能也也不不断断升升级级，加加之软件配置丰富，使其更具实用意义。之软件配置丰富，使其更具实用意义。2.4 数字图像处理系统 2.4.1 数字图像处理系统硬件31第二章 数字图像处理概述数字图像处理概述图图2-4 图像处理系统示意图图像处理系统示意图 图2-4 图像处理系统示意图 32第二章 数字图像处理概述数字图像处理概述1、图像数字化设备、图像数字化设备 1）电视摄像机电视摄像机(Video Camera)电电视视摄摄像像机机是是目目前前使使用用最最广广泛泛的的图图像像获获取取设设备备。电电视视摄摄像像机机的的核核心心部部件件是是光光电电转转换换装装置置，也也称称为为固固态态阵阵。目目前前大大多多数数感感光光基基元元多多为为电电荷荷耦耦合合器器件件CCD（Charge Coupled Device），CCD可可以以将将照照射射在在其其上上的的光光信信号号转转换换为为对对应应的的电电信信号号。该该设设备备小小巧巧、速速度度快快、成成本本低低、灵灵敏敏度度高高，多多作作为为实实时时图图像像输输入入设设备备应应用用。但但灰灰度度层层次次较较差差、非非线线性性失失真真较较大大、有有黑黑斑斑效效应应，在在使使用用中中需需要要校校正正。目目前前，CCD摄摄像像机机可可达达19201035的的高高分分辨辨率率，快快门速度可达门速度可达10-4s。1、图像数字化设备 33第二章 数字图像处理概述数字图像处理概述 2）扫描仪（扫描仪（Scanner）扫扫描描仪仪是是将将各各种种形形式式的的图图像像信信息息（如如图图片片、照照片片、胶胶片片及及文文稿稿资资料料等等）输输入入计计算算机机的的重重要要工工具具，特特点点是是精精度度和和分分辨辨率率高高。目目前前，1200DPI（Dot Per Inch）以以上上精精度度的的扫扫描描仪仪很很常常见见。而而且且扫扫描描仪仪的的成成本本很很低低，一一台台平平板板式式扫扫描描仪仪的的价价格格在在千千元元左左右右。由由于于扫扫描描仪仪良良好好的的精精度度和和低低廉廉的的价价格格，已已成成为为当当今今应应用用最最为为广广泛泛的的图图像像数数字字化化设设备备。但但用用扫扫描描仪仪获获取取图图像像信信息息速速度度较较慢慢，不不能实现实时输入。能实现实时输入。2）扫描仪（Scanner）34第二章 数字图像处理概述数字图像处理概述 3）数码照相机（数码照相机（Digital Camera）数数码码照照相相机机也也叫叫数数字字相相机机，是是一一种种能能够够进进行行景景物物拍拍摄摄，并并以以数数字字格格式式存存放放拍拍摄摄图图像像的的特特殊殊照照相相机机。它它的的核核心心部部件件是是CCD图图像像传传感感器器，主主流流机机型型分分辨辨率率已已在在400万万像像素素以以上上。数数码码照照相相机机的的感感光光器器件件也也是是CCD阵阵列列。CCD可可以以对对亮亮度度进进行行分分级级，但但并并不不能能识识别别颜颜色色。为为此此，数数码码照照相相机机用用红红、绿绿和和蓝蓝三三个个彩彩色色滤滤镜镜，当当光光线线从从红红、绿绿、蓝蓝滤滤镜镜中中穿穿过过时时，就就可可以以得得到到每每种种色色光光的的反反应应值值，再再通通过过软软件件对对得得到到的的数数据据进进行行处处理理，从从而而确确定定每每一一个个像像素素点点的的颜颜色色。CCD生生成成的的数数字字图图像像被被传传送送到到照照相相机机的的一一块块内内部部芯芯片片上上。该该芯芯片片负负责责把把图图像像转转换换成成相相机机内内部部的的存存储储格格式式(通通常常为为JPEG格格式式)。最最后后，把把生成的图像保存在存储卡中。生成的图像保存在存储卡中。数数码码照照相相机机可可通通过过USB接接口口与与计计算算机机相相连连，将将拍拍摄摄的的图图像像下下载载到到计计算算机机中中，以以便便处处理理或或插插到到文文档档Web页页面面中中，或或用用彩彩色色打打印机输出。印机输出。3）数码照相机（Digital Camer35第二章 数字图像处理概述数字图像处理概述 4）遥感图像获取设备遥感图像获取设备 遥遥感感中中常常用用的的图图像像获获取取设设备备有有光光学学摄摄影影设设备备，如如摄摄像像机机、多多光光谱谱像像机机等等；红红外外摄摄影影设设备备，如如红红外外辐辐射射计计、红红外外摄摄像像仪仪、多多通通道道红红外外扫扫描描仪仪、多多光光谱谱扫扫描描仪仪（MSS）；微微波波设设备备，如如微微波辐射计、波辐射计、侧视雷达、侧视雷达、真空孔径雷达、真空孔径雷达、合成孔径雷达合成孔径雷达(SAR)。4）遥感图像获取设备36第二章 数字图像处理概述数字图像处理概述 2.图像输入卡（采集卡图像输入卡（采集卡)通通常常图图像像输输入入卡卡安安装装于于计计算算机机主主板板扩扩展展槽槽中中，主主要要包包括括图图像像存存储储器器单单元元、显显示示查查找找表表（LUT）单单元元、CCD摄摄像像头头接接口口(A/D)、监监视视器器接接口口(D/A)和和PC机机总总线线接接口口单单元元。工工作作过过程程如如下下：摄摄像像头头实实时时或或准准实实时时采采集集图图像像数数据据，经经A/D变变换换后后将将图图像像存存放放在在图图像像存存储储单单元元的的一一个个或或三三个个通通道道中中，D/A变变换换电电路路自自动动将将图图像像显显示示在在监监视视器器上上。通通过过主主机机发发出出指指令令，将将某某一一帧帧图图像像静静止止在在存存储储通通道道中中，即即采采集集或或捕捕获获一一帧帧图图像像，然然后后可可对对图图像像进进行行处处理理或或存存盘盘。高高档档卡卡还还包包括括卷卷积积滤滤波波、FFT（快快速速傅傅立立叶叶变变换换）等等图图像像处处理理专专用用的的快快速速部部件件。现现在在有有的的图图像像采采集集卡卡将将图图像像和和图图形形功功能能合合为为一一体体，如如北北京京大大恒恒图图像像视视觉觉有有限限公公司司开开发发的的VIDEO-PCI-C真真彩彩色色图图像像采采集集卡卡。该该卡卡基基于于PCI总总线线设设计计，它它将将图图像像和和VGA的的图图形形功功能合为一体，能合为一体，可在计算机屏幕上实时显示彩色活动图像，可在计算机屏幕上实时显示彩色活动图像，其分辨率为其分辨率为768576。2.图像输入卡（采集卡)37第二章 数字图像处理概述数字图像处理概述 3.显示卡显示卡 显显示示卡卡是是记记忆忆和和保保存存图图像像的的地地方方，通通常常，存存贮贮的的图图像像要要随随时时显显示示在在显显示示器器上上。PC机机多多采采用用800600或或1024768个个像像素素点点。通通常常在在图图像像处处理理装装置置中中，灰灰度度值值红红(R)、绿绿(G)、蓝蓝(B)各各占占8位位（bit），共共计计24位位，可可以以表表示示1670万万种种颜颜色色，这这种种显显示示卡卡称称为为真彩色显示卡。真彩色显示卡。3.显示卡38第二章 数字图像处理概述数字图像处理概述 4.计算机计算机 图图像像处处理理的的主主要要特特点点是是数数据据量量大大、运运算算时时间间长长，因因而而对对系系统统硬硬件件配配置置要要求求较较高高。目目前前，在在PC机机上上配配置置奔奔腾腾P4 2.4 G以以上上CPU、512 MB内内存存、80 G以以上上硬硬盘盘的的计计算算机机已已属属常常见见，计计算算速速度度大大幅幅度度提提高高，可可与与几几年年前前的的大大型型机机媲媲美美。为为了了加加快快图图像像的的显显示示和和处处理理速速度度，用用于于图图像像处处理理的的PC机机配配置置应应尽尽可可能能高高一一些些。当当然，有条件时最好采用图形工作站进行图像处理。然，有条件时最好采用图形工作站进行图像处理。4.计算机39第二章 数字图像处理概述数字图像处理概述 5.图像存贮装置图像存贮装置 图图像像数数据据量量庞庞大大，早早期期其其存存储储成成为为问问题题。到到目目前前为为止止，除除了了大大容容量量磁磁盘盘可可供供存存储储图图像像数数据据之之外外，MO、CD、DVD等等光光学学存存储储装装置置以以及及SAN、NAS等等网网络络存存储储系系统统，为为存存储储海海量量图图像像数数据提供了极好的支持。据提供了极好的支持。5.图像存贮装置40第二章 数字图像处理概述数字图像处理概述2.4.2 高速图像处理卡高速图像处理卡 实实用用图图像像处处理理系系统统分分为为在在线线处处理理系系统统和和离离线线处处理理系系统统两两种种形形式式。在在研研究究中中，多多采采用用离离线线图图像像处处理理系系统统，主主要要用用于于开开发发和和验验证证图图像像处处理理与与分分析析的的算算法法。在在线线图图像像处处理理系系统统除除上上述述设设备备外外，还还需需用用图图像像处处理理专专用用硬硬件件代代替替图图像像采采集集卡卡，以以构构成成自自动动处处理理系系统统，可可以以对对生生产产现现场场采采集集的的图图像像进进行行实实时时处处理理，并并对对其其处处理理结结果果进进行行监监控。控。2.4.2 高速图像处理卡41第二章 数字图像处理概述数字图像处理概述2.4.3 图像处理系统软件图像处理系统软件 微微型型图图像像处处理理系系统统既既包包含含硬硬件件设设备备，也也需需要要一一定定的的软软件件环环境境支支持持。目目前前，图图像像处处理理系系统统平平台台多多为为Microsoft Windows或或X-Windows，开开发发的的主主流流工工具具为为Microsoft公公司司的的VC+。这这是是因因为为VC+是是一一种种具具有有高高度度综综合合性性能能的的软软件件开开发发工工具具，用用它它开开发发出出来来的的程程序序有有着着运运行行速速度度快快、可可移移植植能能力力强强等等优优点点。此此外外，各各国国的的科科学学家家和和研研究究机机构构开开发发了了不不少少专专用用的的图图像像处处理理软软件件环环境境，下下面面仅仅对对主要的几种作一简单介绍。主要的几种作一简单介绍。2.4.3 图像处理系统软件42第二章 数字图像处理概述数字图像处理概述 1.MATLAB的图像处理工具箱的图像处理工具箱 MATLAB是是由由美美国国MathWorks公公司司推推出出的的用用于于数数值值计计算算的的有有力力工工具具，它它具具有有相相当当强强大大的的矩矩阵阵运运算算和和操操作作功功能能，并并且且MATLAB图图像像处处理理工工具具箱箱提提供供了了丰丰富富的的图图像像处处理理函函数数，灵灵活活运运用用这这些些函函数数几几乎乎可可以以完完成成所所有有的的图图像像处处理理工工作作，从从而而大大大大节节省省编编写写低低层层算算法法代代码码的的时时间间，避避免免程程序序设设计计中中的的重重复复劳劳动动，达达到到事事半半功功倍倍的的效效果果。但但是是，MATLAB强强大大的的功功能能只只能能在在安安装装有有MATLAB系系统统的的机机器器上上使使用用图图像像处处理理工工具具箱箱中中的的函函数数或或自自编编的的m文文件件来来实实现现，实实际际应应用用极极为为不不便便，且且MATLAB使使用用行行解解释释方方式执行代码，式执行代码，执行速度很慢。执行速度很慢。1.MATLAB的图像处理工具箱43第二章 数字图像处理概述数字图像处理概述 为为将将MATLAB的的强强大大功功能能融融入入各各种种应应用用程程序序中中，通通过过高高级级语语言言编编译译器器编编译译为为二二进进制制代代码码已已逐逐渐渐成成为为研研究究热热点点。MathTools公公司司推推出出的的MatCom可可以以把把MATLAB语语言言翻翻译译成成为为或或C+语语言言，但但其其翻翻译译的的代代码码不不够够简简捷捷。更更直直接接的的方方法法是是利利用用MatCom提提供供的的MatrixC+库库实实现现MATLAB与与C+的接口。的接口。为将MATLAB的强大功能融入各种应用程序中44第二章 数字图像处理概述数字图像处理概述 2.AVS和和SPIDER 1）AVS(Application Visualization System)AVS是是对对庞庞大大的的数数据据量量进进行行可可视视化化处处理理的的通通用用系系统统之之一一。最最初初，该该系系统统是是为为了了对对科科学学计计算算的的结结果果进进行行可可视视化化(Scientific Visualization)处处理理而而开开发发的的系系统统，现现在在已已经经在在如如下下领领域域中中广广泛泛使使用。用。医医学学图图像像、有有限限元元法法分分析析、流流体体力力学学、检检测测实实验验结结果果的表示；的表示；资源探索、资源探索、环境科学、环境科学、遥感、遥感、一般图像处理；一般图像处理；量子力学、量子力学、分子设计、分子设计、CAD数据表示、数据表示、OR分析；分析；金融数据分析、金融数据分析、一般科学分析。一般科学分析。2.AVS和SPIDER45第二章 数字图像处理概述数字图像处理概述AVS作为应用软件具有如下强大的功能：作为应用软件具有如下强大的功能：数据显示：数据显示：Pointer和和Clicker类型数据的可视化应用。类型数据的可视化应用。几何显示：几何显示：可以进行人机对话的三维几何数据的显示。可以进行人机对话的三维几何数据的显示。图像显示：图像显示：可以进行人机对话的二维图像的显示。可以进行人机对话的二维图像的显示。图形显示：图形显示：完成画图功能。完成画图功能。超函数：超函数：图像处理、图像处理、声音波形图。声音波形图。AVS作为应用软件具有如下强大的功能：46第二章 数字图像处理概述数字图像处理概述 2）SPIDER Viewer SPIDER(Subroutine Package for Image Data Enhancement and Recognition)是是由由日日本本通通产产省省工工业业技技术术院院电电子子技技术术综综合合研研究究所所开开发发的的图图像像处处理理程程序序库库,如如表表2-1所所示示。它它包包含含了了图图像像处处理理领领域域中中的的基基本本算算法法和和实实现现方方法法，因因此此得得到到了了很很高高的的评评价价，之之后后又又追追加加了了基基本本的的图图像像分分析析算算法法，立立体体图图像像、距距离离图图像像、文文本本、画画面面处处理理等等领领域域的的算算法法，称称之之为为SPIDER II，目目前前已已经经得得到到了了广广泛的应用。泛的应用。2）SPIDER Viewer47第二章 数字图像处理概述数字图像处理概述第2章多媒体图像处理课件48第二章 数字图像处理概述数字图像处理概述第2章多媒体图像处理课件49第二章 数字图像处理概述数字图像处理概述 3.IUE(Image Understanding Environment)对对图图像像处处理理和和图图像像理理解解算算法法优优劣劣的的评评价价是是非非常常困困难难的的。为为此此，世世界界范范围围内内的的图图像像工工程程科科研研人人员员就就评评价价问问题题进进行行了了研研讨讨，以以构构建建可可重重复复利利用用的的软软件件开开发发环环境境。IUE就就是是以以美美国国为为主主，日日本本和和欧欧洲洲共共同同参参加加开开发发的的图图像像处处理理系系统统。该该系系统统可可以以实实现现图图像像理理解解计计算算模模型型的的确确立立，进进行行严严密密的的几几何何学学描描述述，能能应应用用于于各各种种类类型型的的图图像像，从而提高研究效率，从而提高研究效率，促进技术积累和技术转移。促进技术积累和技术转移。针针对对上上述述目目标标，IUE有有效效利利用用现现有有软软件件，开开发发了了运运行行在在UNIX工工作作站站上上(SunOS、Linux)的的面面向向对对象象的的程程序序(C+)，并并从从LaTeX自动生成自动生成C+源代码，以满足实际需要。源代码，以满足实际需要。3.IUE(Image Understa50第二章 数字图像处理概述数字图像处理概述 IUE不不仅仅提提供供函函数数库库和和数数据据库库，为为了了能能正正确确地地描描述述有有关关光光源源、物物体体、传传感感器器等等几几何何学学和和光光学学的的关关系系，还还提提供供了了类类的的分分层层结结构构关关系系。并并且且也也提提供供了了坐坐标标系系和和坐坐标标变变换换的的类类，它它是是用用矢矢量量图图来来表表示示的的。这这种种类类有有600个个，还还有有400个个模模板板及及类类成成员员，可可以以说说它它是是一一个个巨巨大大的的资资源源库库。IUE系系统统不不单单是是图图像像处处理理系系统统，而而且且还还是是由由输输入入图图像像转转换换为为三三维维场场景景描描述述的的图图像像理理解解的的信信息息环环境境。在在此此环环境境中中，可可以以处处理理图图像像数数据据，线线段段、区区域域、面面等等几几何何数数据据，以以及及对对于于认认识识、理理解解的的高高级级处处理理时时的的知知识识表表达达、几几何何数数据据之之间间关关系的符号数据等。系的符号数据等。IUE不仅提供函数库和数据库，为了能正确地描51第二章 数字图像处理概述数字图像处理概述2.5 数字图像处理的应用数字图像处理的应用 数字图像处理主要应用于下面的几个领域。数字图像处理主要应用于下面的几个领域。1）通讯通讯 通通讯讯包包括括图图像像传传输输、电电视视电电话话、电电视视会会议议等等，主主要要是是进进行行图图像压缩甚至理解基础上的压缩。像压缩甚至理解基础上的压缩。2）宇宙探测）宇宙探测 由于太空技术的发展，需要用数字图像处理技术处理大量的由于太空技术的发展，需要用数字图像处理技术处理大量的星体照片。星体照片。2.5 数字图像处理的应用 数字图像处理主要应52第二章 数字图像处理概述数字图像处理概述 3）遥感遥感 航航空空遥遥感感和和卫卫星星遥遥感感图图像像需需要要用用数数字字技技术术加加工工处处理理，并并提提取取有有用用的的信信息息。主主要要用用于于地地形形地地质质，矿矿藏藏探探查查，森森林林、水水利利、海海洋洋、农农业业等等资资源源调调查查，自自然然灾灾害害预预测测预预报报，环环境境污污染染监监测测，气象卫星云图处理以及地面军事目标的识别。气象卫星云图处理以及地面军事目标的识别。3）遥感53第二章 数字图像处理概述数字图像处理概述 4）生物医学领域中的应用生物医学领域中的应用 图图像像处处理理在在医医学学界界的的应应用用非非常常广广泛泛，无无论论是是临临床床诊诊断断还还是是病病理理研研究究都都大大量量采采用用图图像像处处理理技技术术。它它的的直直观观、无无创创伤伤、安安全全方方便便等等优优点点备备受受青青睐睐。图图像像处处理理首首先先应应用用于于细细胞胞分分类类、染染色色体体分分类类和和放放射射图图像像等等。70年年代代数数字字图图像像处处理理在在医医学学上上的的应应用用有有了了重重大大突突破破，1972年年X射射线线断断层层扫扫描描CT得得到到实实用用；1977年年白白血血球球自自动动分分类类仪仪问问世世；1980实实现现了了CT的的立立体体重重建建。有有人人认认为为计计算算机机图图像像处处理理在在医医学学上上应应用用最最成成功功的的例例子子就就是是X射射线线CT，其其中中主主要要研研制制者者Hounsfeld(英英)和和Commack(美美)获得了获得了1979年的诺贝尔生理医学奖。年的诺贝尔生理医学奖。4）生物医学领域中的应用54第二章 数字图像处理概述数字图像处理概述 5）工业生产中的应用工业生产中的应用 在在生生产产线线中中对对产产品品及及部部件件进进行行无无损损检检测测是是图图像像处处理理技技术术的的重重要要应应用用领领域域。该该领领域域的的应应用用从从70年年代代起起取取得得了了迅迅速速的的发发展展，主主要要有有产产品品质质量量检检测测、生生产产过过程程的的自自动动控控制制、CADCAM等等。在在产产品品质质量量检检测测方方面面，如如食食品品、水水果果质质量量检检查查，无无损损探探伤伤，焊焊缝缝质质量量或或表表面面缺缺陷陷。又又如如，金金属属材材料料的的成成分分和和结结构构分分析析，纺纺织织品品质质量量检检查查，光光测测弹弹性性力力学学中中应应力力条条纹纹的的分分析析等等。在在电电子子工工业业中中，可可以以用用来来检检验验印印刷刷电电路路板板的的质质量量、监监测测零零件件部部件件的的装装配配等等。在在工工业业自自动动控控制制中中，主主要要使使用用机机器器视视觉觉系系统统对对生生