模式识别-图像分割课件

数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院第第1818章模式识别：图像分割章模式识别：图像分割18.1 18.1 引言引言模模模模式式式式识识识识别别别别可可以以从从图图像像处处理理中中分分离离出出来来，也也可可以以与与计计算算机机视视觉觉相相关关。以以下下讨讨论论模模式式识识别技术中最基本的内容，即别技术中最基本的内容，即统计模式识别统计模式识别。1 1数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.1.118.1.118.1.118.1.1统计模式识别统计模式识别统计模式识别统计模式识别 人工智能（人工智能（AI）领域领域计算机视觉计算机视觉计算机视觉计算机视觉分支：关注分支：关注开发分析图像内容的算法，其中之一便是开发分析图像内容的算法，其中之一便是统计模式识统计模式识别别。应用最广，也是理解其他模式识别过程的基础。应用最广，也是理解其他模式识别过程的基础。一幅图像可能包含一个或多个物体，并且每个物一幅图像可能包含一个或多个物体，并且每个物体属于若干事先定义的类型、范畴或模式之一。体属于若干事先定义的类型、范畴或模式之一。在给定一幅含有多个物体的数字图像的条件下，在给定一幅含有多个物体的数字图像的条件下，模式识别过程由三个主要阶段组成：模式识别过程由三个主要阶段组成：图像分割图像分割特征抽取特征抽取分类分类物体图像物体图像特征向量特征向量输入图像输入图像物体类型物体类型“Bar”2 2数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院图像分割或物体分离阶段图像分割或物体分离阶段图像分割或物体分离阶段图像分割或物体分离阶段：检测出各个物体，并把它检测出各个物体，并把它们的图像和其余景物分离。（们的图像和其余景物分离。（MPEG-4所关心的核心问题所关心的核心问题之一就是视频对象的分离之一就是视频对象的分离）。）。特征抽取阶段特征抽取阶段特征抽取阶段特征抽取阶段：对检测出的物体进行度量，得到某个对检测出的物体进行度量，得到某个度量值（度量值（如尺寸、颜色、形状等如尺寸、颜色、形状等），而），而特征则是一个或多特征则是一个或多个度量的函数个度量的函数。通过计算，可以对物体的一些重要特征进。通过计算，可以对物体的一些重要特征进行定量化表示，形成一组特征，从而构成行定量化表示，形成一组特征，从而构成特征向量特征向量。实际。实际上，度量抽取的特征向量可以是上，度量抽取的特征向量可以是n维的，引入维的，引入n维空间的概维空间的概念，于是，任一特定物体都对应于特征空间中的一点。念，于是，任一特定物体都对应于特征空间中的一点。分类阶段分类阶段分类阶段分类阶段：以物体的特征向量为依据对物体进行分类，以物体的特征向量为依据对物体进行分类，输出一种决策输出一种决策，也就是，也就是确定了每个物体应该归属的类别确定了每个物体应该归属的类别。在这一阶段，每一个物体都会被指定属于若干预先定义好在这一阶段，每一个物体都会被指定属于若干预先定义好的组（类）中的某一个组。的组（类）中的某一个组。出现分类错误的概率称为误判出现分类错误的概率称为误判率率。3 3数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院10cmRedCircle苹果苹果2cmRedCircle樱桃樱桃2cmGreenCircle青杏青杏特征特征向量向量分类分类结果结果4 4数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.1.2 18.1.2 18.1.2 18.1.2 模式识别的一个例子模式识别的一个例子模式识别的一个例子模式识别的一个例子5 5数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院测量水果的两个特点：测量水果的两个特点：直径直径和和颜色颜色，得到，得到“直径直径颜色颜色”分布图，其中颜色用分布图，其中颜色用红色程度红色程度来表示。来表示。水果的属性在其进入摄像机的视野时被测量，得水果的属性在其进入摄像机的视野时被测量，得到二维特征空间中的一个点。于是，根据这个点在特到二维特征空间中的一个点。于是，根据这个点在特征空间里的位置，该水果便可被指定为四类中的某一征空间里的位置，该水果便可被指定为四类中的某一类，决策系统自动对应的启动机械挡板，将其拨入对类，决策系统自动对应的启动机械挡板，将其拨入对应的包装箱中。应的包装箱中。每类水果在特征空间里产生了一个概率密度函数每类水果在特征空间里产生了一个概率密度函数分布分布PDF，决策分界线可以通过这些决策分界线可以通过这些PDF的相互作用，的相互作用，按尽可能减少误分类的原则加以确定。按尽可能减少误分类的原则加以确定。直径直径红色程度红色程度樱桃樱桃柠檬柠檬苹果苹果葡萄葡萄决策分界线决策分界线决策分界线决策分界线6 6数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.1.318.1.318.1.318.1.3模式识别系统的设计模式识别系统的设计模式识别系统的设计模式识别系统的设计 步骤步骤步骤步骤作用作用作用作用物物体体检检测测器器设计设计选择能够将图像中各个物体分离开的景物分割算法选择能够将图像中各个物体分离开的景物分割算法特征选择特征选择确确定定能能够够最最好好地地辨辨别别物物体体类类型型的的物物体体性性质质以以及及如如何何度度量这些性质的方法量这些性质的方法分类器设计分类器设计建建立立分分类类算算法法的的数数学学基基础础并并选选择择所所使使用用的的分分类类器器的的结结构类型构类型分类器训练分类器训练确确定定分分类类器器中中各各种种可可调调整整的的参参数数（决决策策界界限限等等）使使之之适应被分类的物体适应被分类的物体性能评估性能评估估计各种可能的错分类率的预期值估计各种可能的错分类率的预期值7 7数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院目的：目的：将图像划分成互不相交的将图像划分成互不相交的区域区域区域区域18.218.2图像分割处理图像分割处理 一个所有像素都有一个所有像素都有相邻或相接触像素相邻或相接触像素的集合（的集合（4连通与连通与8连通）。也就是说：连通）。也就是说：任意两个像素之间任意两个像素之间存在一条完全由这存在一条完全由这个集合的元素构成个集合的元素构成的的连通路径连通路径。像素的像素的连通集连通集连通集连通集人们以观察复杂景物时，其实人们以观察复杂景物时，其实不觉中已经对复杂景物的各个物体不觉中已经对复杂景物的各个物体作了分割，如山、路、车、人等。作了分割，如山、路、车、人等。但是要分离图像中的物体，就要把但是要分离图像中的物体，就要把图像分裂成像素的集合，每个集合图像分裂成像素的集合，每个集合代表一个物体的图像。代表一个物体的图像。8 8数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院图像分割采用三种不同的原理来实现：图像分割采用三种不同的原理来实现：图像分割采用三种不同的原理来实现：图像分割采用三种不同的原理来实现：区域分割：区域分割：把具有同属性各像素划归到各把具有同属性各像素划归到各个物体或区域中。个物体或区域中。边界分割：边界分割：确定存在于区域间的边界。确定存在于区域间的边界。边缘分割：边缘分割：先确定边缘像素并把它们连接先确定边缘像素并把它们连接在一起以构成所需的边界。在一起以构成所需的边界。9 9数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.318.3使用阈值进行图像分割使用阈值进行图像分割 （参见第（参见第5章第章第5.2节直方图的用途），适合于节直方图的用途），适合于物体物体与背景有较强对比度与背景有较强对比度的图像。（的图像。（如果物体与背景的灰度如果物体与背景的灰度差不明显，但差不明显，但纹理差明显纹理差明显，应先转换为灰度，再用灰度，应先转换为灰度，再用灰度阈值进行分割。阈值进行分割。）这种方法计算简单，因为总能用封闭且连通的边界这种方法计算简单，因为总能用封闭且连通的边界定义不交叠的区域。定义不交叠的区域。当感兴趣的物体在其内部有均匀一致的灰度值并分当感兴趣的物体在其内部有均匀一致的灰度值并分布在一个具有另一灰度值的均匀背景上，使用此法的效布在一个具有另一灰度值的均匀背景上，使用此法的效果很好，如绿背景下白色的台球。果很好，如绿背景下白色的台球。1010数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.3.118.3.118.3.118.3.1全局阈值化全局阈值化全局阈值化全局阈值化 灰度阈值对整幅图像为常数灰度阈值对整幅图像为常数，且所有物体与背景都，且所有物体与背景都具有几乎相同的对比度。具有几乎相同的对比度。18.3.218.3.218.3.218.3.2自适应阈值自适应阈值自适应阈值自适应阈值 在整个图像中，背景的灰度值不是常数，物体和背在整个图像中，背景的灰度值不是常数，物体和背景的对比度也有变化。则景的对比度也有变化。则灰度阈值取为一个随图像中位灰度阈值取为一个随图像中位置缓慢变化的函数置缓慢变化的函数。1111数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.3.318.3.318.3.318.3.3最佳阈值的选择最佳阈值的选择最佳阈值的选择最佳阈值的选择 18.3.3.118.3.3.118.3.3.118.3.3.1直方图技术直方图技术直方图技术直方图技术根据双峰直方图的谷点（见下图）。根据双峰直方图的谷点（见下图）。1212数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.3.3.218.3.3.218.3.3.218.3.3.2自适应阈值自适应阈值自适应阈值自适应阈值二次处理二次处理二次处理二次处理，即先将图像分成，即先将图像分成100 100的像素块，根据各的像素块，根据各块的灰度直方图确定阈值（背景与主体的峰的中点）块的灰度直方图确定阈值（背景与主体的峰的中点）第第一一次次：由由各各块块阈阈值值定定边边界界，目目的的是是计计算算出出物物体体内内部部的的平均灰度。平均灰度。第第二二次次：每每个个物物体体使使用用各各自自的的阈阈值值，如如A浅浅一一些些而而B深深一一些些。这这个个阈阈值值由由其其内内部部灰灰度度值值和和它它的的主主块块的的背背景景灰灰度度值值的的中间值中间值中间值中间值定义。定义。A的平均灰度的平均灰度A主块的背景灰度主块的背景灰度中间值即阈值中间值即阈值中间值即阈值中间值即阈值1313数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.3.418.3.418.3.418.3.4点状物体的分析点状物体的分析点状物体的分析点状物体的分析 从背景中分离出圆形物体从背景中分离出圆形物体18.3.4.118.3.4.118.3.4.118.3.4.1定义定义定义定义假定图像假定图像B(x,y)中只包含一个点状物体，位于中只包含一个点状物体，位于(x0,y0)，有最大灰度值，则以该点为极坐标原点。图像可表示为有最大灰度值，则以该点为极坐标原点。图像可表示为Bp(r,)。若上式不取等号，则若上式不取等号，则B(x,y)单调。单调。xyB(x,y)r(x0,y0)当单调点的外缘是以当单调点的外缘是以(x0,y0)为为圆心的圆，则此例即是圆心的圆，则此例即是同心圆点同心圆点(CCS，Concentric Circular Spot)半径小即离半径小即离(x0,y0)近，因此灰度值高近，因此灰度值高r(x0,y0)xy 1414数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院显然，对显然，对CCS来说，来说，Bp(r,)与与 无无关（各向同性），称其为关（各向同性），称其为点轮廓函数点轮廓函数（Spot profile function）。）。Bp(r)rrT灰度曲线斜率最大灰度曲线斜率最大的点（也可选二阶的点（也可选二阶导数的最大值点）导数的最大值点）如果对单调点以灰度阈值如果对单调点以灰度阈值T二值化，二值化，则定义了一定面积和周长的物体。当则定义了一定面积和周长的物体。当T在在灰度阈值范围内变化时，则定义了阈值面灰度阈值范围内变化时，则定义了阈值面积函数积函数A(T)和周长函数和周长函数p(T)。对任意点状对任意点状物体，物体，A(T)和和P(T)唯一唯一。对单调点，二者。对单调点，二者都连续，则其中任一个都可完全地定义一都连续，则其中任一个都可完全地定义一个个CCS。若两个点具有相同的周长函数，则这两个点若两个点具有相同的周长函数，则这两个点p-等价等价。若两个点具有相同的直方图，则这两个点若两个点具有相同的直方图，则这两个点H-等价等价。显然，显然，H-等价的点具有相同的阈值面积函数等价的点具有相同的阈值面积函数A(T)。1515数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.3.4.218.3.4.218.3.4.218.3.4.2直方图与轮廓直方图与轮廓直方图与轮廓直方图与轮廓假定一幅假定一幅CCS图像图像B(x,y)的轮廓函数为的轮廓函数为Bp(r)。r A rD+DD因此：因此：而由定义：而由定义：上式是上式是r的函数，而不是的函数，而不是D的函数。由于的函数。由于Bp(r)单调，因此单调，因此有反函数，即：有反函数，即：随随r分布的灰度分布的灰度随灰度变化对应的随灰度变化对应的r。对对Bp(r)微分后再求其反函数微分后再求其反函数1616数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.3.4.318.3.4.318.3.4.318.3.4.3由面积函数导出的轮廓函数由面积函数导出的轮廓函数由面积函数导出的轮廓函数由面积函数导出的轮廓函数圆形物体的半径圆形物体的半径由于单调点的由于单调点的HB(D)0，（，（当当D在最大最小之间变化），在最大最小之间变化），因此随着因此随着A(T)单调增加，单调增加，R(T)也单调增加。即也单调增加。即R(T)存在存在反反函数函数（且就是（且就是轮廓函数轮廓函数）灰度阈值灰度阈值T变变半径半径R变变灰度值灰度值Bp(r)变变半径半径r变变显然显然R(T)不是前述的轮廓函数，不是前述的轮廓函数，R(T)的逆才是轮廓函数。的逆才是轮廓函数。由指定的灰度值由指定的灰度值T得到得到RT，而在半径为，而在半径为RT时的灰时的灰度值度值Bp(RT)就是就是T。1717数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.3.4.418.3.4.418.3.4.418.3.4.4由周长函数导出的轮廓函数由周长函数导出的轮廓函数由周长函数导出的轮廓函数由周长函数导出的轮廓函数因此轮廓函数也是上式的反函数（给因此轮廓函数也是上式的反函数（给T得得RT，则给则给RT就可得此时的就可得此时的T（即（即对应于对应于RT的的Bp值）值）。因此，根据轮廓函数因此，根据轮廓函数Bp(r)求得的是求得的是T值，即阈值。值，即阈值。根据根据T即可实现图像分割。即可实现图像分割。外圈的灰度值为外圈的灰度值为T1818数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.3.4.518.3.4.518.3.4.518.3.4.5非圆形的或是有噪声的点状物体非圆形的或是有噪声的点状物体非圆形的或是有噪声的点状物体非圆形的或是有噪声的点状物体用非圆形点状物的直方图获得它的用非圆形点状物的直方图获得它的H-等价等价CCS的轮廓图，再选取边界斜率最大处的阈值灰度。的轮廓图，再选取边界斜率最大处的阈值灰度。也可用其也可用其p-等价等价CCS。当有噪声时，先进行平滑处理，由面积导出的当有噪声时，先进行平滑处理，由面积导出的轮廓函数易计算，而周长的变数大些，精度差。轮廓函数易计算，而周长的变数大些，精度差。文献文献文献文献10“10“Evaluation of Automated Evaluation of Automated Threshold Selection Methods for Accurately Sizing Threshold Selection Methods for Accurately Sizing Microscopic Microscopic Fluoprescent Fluoprescent Cells by Image Analysis”Cells by Image Analysis”列出了列出了列出了列出了9 9种求种求种求种求T T的方法的方法的方法的方法。1919数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.3.518.3.518.3.518.3.5平均边界梯度平均边界梯度平均边界梯度平均边界梯度 对非常不圆的点状物体，无法用对非常不圆的点状物体，无法用H-等价、等价、p-等价等价CCS，则可用则可用围绕边界的平均梯度围绕边界的平均梯度作为作为定义边界的阈定义边界的阈值灰度级函数值灰度级函数。如图，非圆单调点状物体在如图，非圆单调点状物体在D和和D+D之间二值化。之间二值化。r是外边界上某是外边界上某点点a到内边界的垂直距离。到内边界的垂直距离。由于由于 r与与轮廓垂直，因此它位于轮廓垂直，因此它位于点点a的的梯度向量梯度向量的方向上的方向上。a点点梯度向量梯度向量的幅值为：的幅值为：b A rD+DDa只对围绕边界的平均梯度感兴趣，则当只对围绕边界的平均梯度感兴趣，则当 r很小时，两很小时，两边界之间的面积近似为：边界之间的面积近似为：2020数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.3.618.3.618.3.618.3.6一般形状的物体一般形状的物体一般形状的物体一般形状的物体 有有4种选种选T方法：方法：1)依据直方图的局部极小值选依据直方图的局部极小值选T2)依据依据H-等价等价CCS轮廓函数中的转折点选轮廓函数中的转折点选T3)选择使平均边界梯度最大的选择使平均边界梯度最大的T4)依据依据p-等价等价CCS轮廓函数的转折点选轮廓函数的转折点选T2121数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.3.718.3.718.3.718.3.7分水岭算法分水岭算法分水岭算法分水岭算法 首先在低灰度值上二值化，首先在低灰度值上二值化，可以把图像分割成正确数目的可以把图像分割成正确数目的物体。但此时边界偏向物体内物体。但此时边界偏向物体内部（比实际物体小）。部（比实际物体小）。随后阈值渐增，物体的边随后阈值渐增，物体的边界也就扩展，但当到达界也就扩展，但当到达B点时点时边界消失，但实际物体并没合边界消失，但实际物体并没合并。因此此时的并。因此此时的B位置为两个位置为两个物体的最终边界。物体的最终边界。物体物体1物体物体2B这种阈值渐增的方法可保证各物体不会被合并。这种阈值渐增的方法可保证各物体不会被合并。2222数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院不是根据物体内、外部点集找阈值，而是用高梯不是根据物体内、外部点集找阈值，而是用高梯度值直接找边界。度值直接找边界。18.418.4基于梯度的图像分割方法基于梯度的图像分割方法 18.4.118.4.118.4.118.4.1边界跟踪边界跟踪边界跟踪边界跟踪 梯度幅度图像中灰度级梯度幅度图像中灰度级最高的点必然在边界上，因最高的点必然在边界上，因此，此，(1)(1)以此点作为边界跟以此点作为边界跟踪过程的起点。踪过程的起点。(2)(2)搜查以搜查以边界起点为中心的边界起点为中心的33邻域，邻域，找出具有最大灰度级的邻域找出具有最大灰度级的邻域点作为第点作为第2个边界点。个边界点。(3)(3)从从这第这第2点开始迭代。即：点开始迭代。即：根根据给定当前点和前一个边界据给定当前点和前一个边界点，寻找下一个边界点点，寻找下一个边界点。肌肉纤维及其梯度肌肉纤维及其梯度2323数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院前一点前一点当前点当前点可能的可能的下一点下一点从从3个可能的点中选个可能的点中选灰度值最高的点，一灰度值最高的点，一样时选中央的点，两样时选中央的点，两边高时任选一个点。边高时任选一个点。于是，在无噪声、单调点状物图像中，该算法描画于是，在无噪声、单调点状物图像中，该算法描画出最大梯度边界。有噪声时，则需要先平滑处理。出最大梯度边界。有噪声时，则需要先平滑处理。有时不能保证边界闭合，算法失控时会走到图像边有时不能保证边界闭合，算法失控时会走到图像边界外面去。界外面去。边界跟踪虫的原理同上，而边界跟踪虫的原理同上，而“虫虫”比像素大，要预比像素大，要预处理。处理。2424数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院是分水岭算法在梯度图像中的应用。是分水岭算法在梯度图像中的应用。18.4.218.4.218.4.218.4.2梯度图像二值化梯度图像二值化梯度图像二值化梯度图像二值化 原始图像原始图像 梯度图像梯度图像用适中阈值对梯度图像进行二值化时，则物体和背用适中阈值对梯度图像进行二值化时，则物体和背景内部的点低于阈值，而边缘点则高于阈值。这是因为景内部的点低于阈值，而边缘点则高于阈值。这是因为物体和背景内部均平缓。物体和背景内部均平缓。物体物体阈值阈值梯度梯度T2T1对原始图像来说，右图是原对原始图像来说，右图是原始图像的梯度。始图像的梯度。而对梯度图像来说，右图相而对梯度图像来说，右图相当于梯度图像的灰度，因此有灰当于梯度图像的灰度，因此有灰度阈值度阈值2525数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.4.318.4.318.4.318.4.3拉普拉斯边缘检测拉普拉斯边缘检测拉普拉斯边缘检测拉普拉斯边缘检测 拉普拉斯算子是对二维函数拉普拉斯算子是对二维函数进行运算的二阶导数标量算子。进行运算的二阶导数标量算子。数字化方式可用如下二卷积数字化方式可用如下二卷积核之一来实现。核之一来实现。-1004-1-1-100-1-1-18-1-1-1-1-12626数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院0-1-140-10-10000000111111556455000010550556500551000001011111111111111122222200-1-10-121-71-8-677310640-1-5-53-2910-6-1534-6-748-4-4-5-60-13-7-3-1210112111101023123000-1-1-1-400-1-1-1-1-1-2-2-200-1-1-1-1-2-20000000-1-1-100*在到达边缘时，先低后高，在到达边缘时，先低后高，边缘明显。边缘明显。2727数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院2828数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院确定图像中物体边界的另一种方法是：确定图像中物体边界的另一种方法是：先检测每先检测每个像素和其直接邻域的状态，以决定该像素是否确实个像素和其直接邻域的状态，以决定该像素是否确实处于一个物体的边界上处于一个物体的边界上。具有所需特性具有所需特性的的像素像素被标为被标为边缘点边缘点。当图像中各个像素的灰度级用来反映各像素。当图像中各个像素的灰度级用来反映各像素符合边缘像素要求的程度时，这种图像被称为边缘图符合边缘像素要求的程度时，这种图像被称为边缘图像，即边缘图（像，即边缘图（edge map）。）。边缘图通常用边缘点勾画出各个物体的轮廓，但边缘图通常用边缘点勾画出各个物体的轮廓，但不一定形成闭合且连通的边界，因此需进行边缘点连不一定形成闭合且连通的边界，因此需进行边缘点连接，以形成闭合的连通边界。接，以形成闭合的连通边界。18.518.5边缘检测和连接边缘检测和连接2929数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.5.118.5.118.5.118.5.1边缘检测边缘检测边缘检测边缘检测 物体边界上某像素点的邻域是一个灰度级变化带。物体边界上某像素点的邻域是一个灰度级变化带。其两个有用特征即灰度的其两个有用特征即灰度的变换率变换率和和方向方向。对应梯度向对应梯度向量的幅度和方向量的幅度和方向。边缘检测算子检查每个像素的邻域，并对灰度变边缘检测算子检查每个像素的邻域，并对灰度变化率进行量化，确定其方向。化率进行量化，确定其方向。有有Roberts、Sobel、Prewitt、Kirsch等边缘算子。等边缘算子。3030数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院以以Sobel边缘算子为例。边缘算子为例。-1-200-101210000001111115564550000105505565005510000010111111111111111222222-1-200-10121-10-2012-101-10-2012-101检测出边缘。检测出边缘。3131数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院直接求梯度直接求梯度去噪去噪或或3232数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.5.218.5.218.5.218.5.2边缘连接边缘连接边缘连接边缘连接 小断点，在某端点为中心的小断点，在某端点为中心的55邻邻域内找其他端点，并补充像素。域内找其他端点，并补充像素。为避免多断点连错，规定边缘强为避免多断点连错，规定边缘强度和走向相近才连接。度和走向相近才连接。18.5.2.118.5.2.118.5.2.118.5.2.1启发式搜索启发式搜索启发式搜索启发式搜索缺口大，也可能不是同一条边界的缺口。应建立一缺口大，也可能不是同一条边界的缺口。应建立一个函数，通过计算补点。个函数，通过计算补点。18.5.2.218.5.2.218.5.2.218.5.2.2曲线拟合（适合边缘点很稀）曲线拟合（适合边缘点很稀）曲线拟合（适合边缘点很稀）曲线拟合（适合边缘点很稀）3333数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院(0,0.5)(0.25,0.375)(0.5,0.25)(0.75,0.125)(1,0)18.5.2.318.5.2.318.5.2.318.5.2.3HoughHoughHoughHough变换变换变换变换y=mx+b的极坐标表示：的极坐标表示：=xcos+ysin 。(,)定义了从原点到线定义了从原点到线上最近点的向量，与线垂上最近点的向量，与线垂直。直。x,y平面的任一平面的任一直线直线直线直线对应对应,平面的一个平面的一个点点点点。对第对第1点，点，x=0,y=0.5，于是：于是：=0.5sin0.5sin 。对第对第3点，点，x=0.5,y=0.25，于是：于是：=0.5cos0.5cos +0.25sin+0.25sin 3434数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院把一幅图像分成许多小区域，因而出现许多边界把一幅图像分成许多小区域，因而出现许多边界（小邻域甚至单个像素）。然后在每个区域中对经过（小邻域甚至单个像素）。然后在每个区域中对经过适当定义的能反映一个物体内成员隶属程度的适当定义的能反映一个物体内成员隶属程度的性质性质（度量）（度量）进行计算。进行计算。18.618.6区域增长区域增长 平均灰度、纹理、颜色等平均灰度、纹理、颜色等首先首先赋给每个区域一组参数，这些参数能反映区赋给每个区域一组参数，这些参数能反映区域属于哪个物体。域属于哪个物体。然后然后对相邻区域边界进行考查，计对相邻区域边界进行考查，计算相邻区域平均度量之间的差。若边界两侧度量差异算相邻区域平均度量之间的差。若边界两侧度量差异明显，则边界很强（如果超过某个定值即确定为边界）明显，则边界很强（如果超过某个定值即确定为边界），否则不是边界，该边界被取消，原来的小区域变大，否则不是边界，该边界被取消，原来的小区域变大（增长了）。（增长了）。这是迭代过程。当没有可以消除的弱边界时，区这是迭代过程。当没有可以消除的弱边界时，区域合并过程也就结束了。图像分割完成。域合并过程也就结束了。图像分割完成。3535数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院3636数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院只有两个灰度级只有两个灰度级的图像。是数字图像的重要子集。的图像。是数字图像的重要子集。通常由图像分割操作产生。当初始分割不满意时，用二通常由图像分割操作产生。当初始分割不满意时，用二值图像处理可提高其质量。值图像处理可提高其质量。18.718.7二值图像处理二值图像处理 以下讨论以下讨论3x3邻域运算，邻域运算，任一个点加上任一个点加上8个邻域点个邻域点组成组成9位信息。因此，二值图像的位信息。因此，二值图像的3x3邻域有邻域有29512种可能。种可能。二值邻域编码：二值邻域编码：二值邻域编码：二值邻域编码：用算子对一幅用算子对一幅二值二值图像图像卷积（卷积（算子模板旋转算子模板旋转180o后，依次与所覆盖的二值对应后，依次与所覆盖的二值对应像素乘积，再求和，每移动一次模板得出一个值像素乘积，再求和，每移动一次模板得出一个值），产），产生一个生一个9位（位（512级灰度级灰度）图像，其中每个像素的灰度级）图像，其中每个像素的灰度级确定了以该点为中心的确定了以该点为中心的3x3二值邻域的配置。二值邻域的配置。不同的不同的3x3邻域邻域即即1、0的组合形式不同，与算子相乘相当于给的组合形式不同，与算子相乘相当于给9bit的不同位赋不同的权值的不同位赋不同的权值。2561286432124816灰度为灰度为灰度为灰度为0 0灰度为灰度为灰度为灰度为5115113737数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院这种方法可以用一个这种方法可以用一个“击中击不中击中击不中击中击不中击中击不中”变换变换（HMT）的的逻辑运算逻辑运算实现。此时，查表用来寻找特定模实现。此时，查表用来寻找特定模式。式。例如，例如，9个像素均黑的模式（特定模式），输出是个像素均黑的模式（特定模式），输出是1或或0取决于图像中当前邻域是否匹配这个模式。如果模式取决于图像中当前邻域是否匹配这个模式。如果模式被匹配（击中），则该邻域的被匹配（击中），则该邻域的中心像素置白中心像素置白，否则不变，否则不变（未击中）。这个操作（未击中）。这个操作消除了实心物体的内部点消除了实心物体的内部点，把它，把它变为轮廓图变为轮廓图。邻域运算可以用一个邻域运算可以用一个512个入口及一位输出的查找表个入口及一位输出的查找表来实现（查表比计算效率高，可用软件或硬件实现）。来实现（查表比计算效率高，可用软件或硬件实现）。3838数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院3x3全黑模板全黑模板二值图像的二值图像的“1”像像素素二值图像的二值图像的“0”像像素素内部的内部的“1”像素被标记为像素被标记为“0”像素像素未击中未击中（差（差1个像素，个像素，中心不变）中心不变）未击中未击中（差（差2个像素，个像素，中心不变）中心不变）未击中未击中击中击中（完全击中，（完全击中，中心变白）中心变白）可见，上述操作消除了实心物体的内部点，把它变为了轮廓图。可见，上述操作消除了实心物体的内部点，把它变为了轮廓图。可见，上述操作消除了实心物体的内部点，把它变为了轮廓图。可见，上述操作消除了实心物体的内部点，把它变为了轮廓图。如果这儿宽一点，就完全击中，中心变白，通道也就打通了。如果这儿宽一点，就完全击中，中心变白，通道也就打通了。3939数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.7.118.7.118.7.118.7.1数学形态学图像处理数学形态学图像处理数学形态学图像处理数学形态学图像处理 由数学形态学下的集合论方法发展起来。由数学形态学下的集合论方法发展起来。通常，形态学图像处理是：在图像中移动一个通常，形态学图像处理是：在图像中移动一个结结构元素构元素，并进行一种类似于卷积操作的方式。，并进行一种类似于卷积操作的方式。结构元素可以具有任意的大小，也可以包含任意结构元素可以具有任意的大小，也可以包含任意的的0与与1的组合的组合（本节讨论全部由本节讨论全部由本节讨论全部由本节讨论全部由1 1构成的构成的构成的构成的3 3 3 3结构元素结构元素结构元素结构元素）。在每个像素位置，结构元素核与在它正面的二值在每个像素位置，结构元素核与在它正面的二值图像之间进行一种特定的逻辑运算。图像之间进行一种特定的逻辑运算。逻辑运算的逻辑运算的结果结果存在输出图像中对应于该像素的位置上。存在输出图像中对应于该像素的位置上。产生的效果产生的效果取决于结构元素的取决于结构元素的大小大小、内容内容及逻辑及逻辑运算的性质运算的性质。4040数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.7.1.118.7.1.118.7.1.118.7.1.1集合论术语集合论术语集合论术语集合论术语在形态学处理语言中，二值图像在形态学处理语言中，二值图像B和结构元素和结构元素S都都是定义在二维笛卡尔网格上的集合，是定义在二维笛卡尔网格上的集合，“1”即是集合中即是集合中的元素。的元素。当一个结构元素的原点位移到点（当一个结构元素的原点位移到点（x,y）时，记为时，记为Sxy。形态学运算的输出是另一个集合。形态学运算的输出是另一个集合。18.7.118.7.118.7.118.7.1腐蚀和膨胀腐蚀和膨胀腐蚀和膨胀腐蚀和膨胀 是最基本的形态学运算。是最基本的形态学运算。二值图像二值图像腐蚀腐蚀膨胀膨胀4141数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.7.2.118.7.2.118.7.2.118.7.2.1腐蚀（腐蚀（腐蚀（腐蚀（ErosionErosionErosionErosion）消除物体的所有边界点，使剩下的物体沿周边消除物体的所有边界点，使剩下的物体沿周边内缩内缩内缩内缩一个像素一个像素。含义：由结构元素含义：由结构元素S对二值对二值图像图像B腐蚀，产生新的二值腐蚀，产生新的二值图像图像E：如果如果S的原点移到（的原点移到（x,y），），则则S完全包含于完全包含于B中。中。18.7.2.218.7.2.218.7.2.218.7.2.2膨胀（膨胀（膨胀（膨胀（DilationDilationDilationDilation）与上与上相反，将相反，将与某物体接触的所有背景点与某物体接触的所有背景点合并合并合并合并到该到该物体中的过程物体中的过程。含义：由结构元素含义：由结构元素S对二值对二值图像图像B膨胀，产生新的二值膨胀，产生新的二值图像图像D：如果如果S的原点移到（的原点移到（x,y），），则则S与与B的交集非空。的交集非空。直径增大两个像素直径增大两个像素4242数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.7.318.7.318.7.318.7.3开运算和闭运算开运算和闭运算开运算和闭运算开运算和闭运算 开运算开运算开运算开运算：先腐蚀后膨胀先腐蚀后膨胀的过程。可消除细小物体（宽度的过程。可消除细小物体（宽度不大于两个像素的物体被腐蚀掉了）、在纤细处分离物不大于两个像素的物体被腐蚀掉了）、在纤细处分离物体、平滑较大物体的边界时不明显改变其面积。可用于体、平滑较大物体的边界时不明显改变其面积。可用于消噪点。消噪点。先腐蚀断了，先腐蚀断了，再膨胀就连再膨胀就连不通了。不通了。闭运算闭运算闭运算闭运算：先膨胀后腐蚀先膨胀后腐蚀的过程。可填的过程。可填充物体内细小空间、连接邻近物体、充物体内细小空间、连接邻近物体、在不明显改变物体面积时平滑其边界。在不明显改变物体面积时平滑其边界。先膨胀连在先膨胀连在一起，成一一起，成一个物体了。个物体了。4343数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.7.418.7.418.7.418.7.4腐蚀和膨胀的变体腐蚀和膨胀的变体腐蚀和膨胀的变体腐蚀和膨胀的变体反复腐蚀会使一个物体消失，反复膨胀会使所有物反复腐蚀会使一个物体消失，反复膨胀会使所有物体连于一体。体连于一体。18.7.4.118.7.4.118.7.4.118.7.4.1收缩（收缩（收缩（收缩（ShrinkingShrinkingShrinkingShrinking）以不触及单像素物体的方以不触及单像素物体的方式进行腐蚀式进行腐蚀。物体总数保持不物体总数保持不变（噪点显然也会保留下来）。变（噪点显然也会保留下来）。18.7.4.218.7.4.218.7.4.218.7.4.2细化（细化（细化（细化（ThinningThinningThinningThinning）有条件腐蚀（不破坏物体有条件腐蚀（不破坏物体的连通性），当只剩一、二个的连通性），当只剩一、二个像素时，这些点就不再腐蚀像素时，这些点就不再腐蚀。图图18234444数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.7.4.318.7.4.318.7.4.318.7.4.3抽骨架（抽骨架（抽骨架（抽骨架（SkeletonizationSkeletonizationSkeletonizationSkeletonization）又称又称中轴中轴中轴中轴变换（变换（变换（变换（MedialaxisMedialaxis transform transform）或或焚烧草焚烧草焚烧草焚烧草地（地（地（地（Grass-fire Grass-fire techniguetechnigue）。与细化类似，但中轴骨架与细化类似，但中轴骨架在拐角处延伸到边界。这里，在拐角处延伸到边界。这里，中轴是所有与物体在两个中轴是所有与物体在两个或更多非边界点处相切的圆心的轨迹或更多非边界点处相切的圆心的轨迹。细化细化中轴中轴4545数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.7.4.418.7.4.418.7.4.418.7.4.4剪枝（剪枝（剪枝（剪枝（PruningPruningPruningPruning）细化或抽骨架会在图中留下毛刺，通过消除端细化或抽骨架会在图中留下毛刺，通过消除端点的点的33运算（导致所有分支缩短）实现消毛刺，然运算（导致所有分支缩短）实现消毛刺，然后再重建留下的分支后再重建留下的分支。18.7.4.518.7.4.518.7.4.518.7.4.5粗化粗化粗化粗化（ThickeningThickeningThickeningThickening）不合并邻近物体的膨胀不合并邻近物体的膨胀。18.7.4.618.7.4.618.7.4.618.7.4.6一个例子一个例子一个例子一个例子4646数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院18.7.518.7.518.7.518.7.5距离变换距离变换距离变换距离变换可将可将二值图像二值图像变为变为灰度级图像灰度级图像。变换后每个像素的。变换后每个像素的灰度级灰度级灰度级灰度级是是该像素与距离其最近的背景像素间的距离该像素与距离其最近的背景像素间的距离该像素与距离其最近的背景像素间的距离该像素与距离其最近的背景像素间的距离。0000111110000000012345000000001232100000 0：背景：背景：背景：背景1 1：物体：物体：物体：物体一维二值一维二值一维二值一维二值图像：图像：图像：图像：第一次遍历：第一次遍历：第一次遍历：第一次遍历：第二次遍历：第二次遍历：第二次遍历：第二次遍历：第一次遍历从左到右，第二次遍历从右到左，此第一次遍历从左到右，第二次遍历从右到左，此时，每个像素的值取时，每个像素的值取遍历开始时的遍历开始时的初始值初始值和从最近的和从最近的0开始的开始的步数值步数值中的中的最小值最小值最小值最小值。4747数字图像处理数字图像处理数字图像处理数字图像处理Digital Image ProcessingDigital Image ProcessingDIP中国传媒大学信息工程学院中国传媒大学信息工程学院二维距离变换，用一个类似于卷积核的模板，以二维距离变换，用一个类似于卷积核的模板，以一种类似于卷积的操作，在整幅图像中移动。一种类似于卷积的操作，在整幅图像中移动。像一维距离变换一样，二维距离变换也需要二次像一维距离变换一样，二维距离变换也需要二次扫描处理。其中扫描处理。其中向前向前向前向前的扫描是的扫