《图像分析基础》PPT课件.ppt

2020/6/4,1,第七章图像分析基础,2020/6/4,2,本章主要内容：1.图像分割2.图像描述3.图像分析,2020/6/4,3,1.图像分割,图像分割的概念把图像分解成构成它的部件和对象的过程有选择性地定位感兴趣对象在图像中的位置和范围,2020/6/4,4,1.图像分割,图像分割的基本思路从简到难，逐级分割控制背景环境，降低分割难度把焦点放在增强感兴趣对象，缩小不相干图像成分的干扰上,2020/6/4,5,1.图像分割,图像分割的基本策略分割算法基于灰度值的两个基本特性：不连续性和相似性检测图像像素灰度级的不连续性，找到点、线（宽度为1）、边（不定宽度）。先找边，后确定区域。,2020/6/4,6,1.图像分割,图像分割的基本策略检测图像像素的灰度值的相似性，通过选择阈值，找到灰度值相似的区域，区域的外轮廓就是对象的边,2020/6/4,7,1.图像分割1.1边界分割法,点的检测线的检测边的检测,2020/6/4,8,1.图像分割1.1边界分割法,点的检测用空域的高通滤波器来检测孤立点例：R=(-1*8*8+128*8)/9=(120*8)/9=960/9=106设：阈值：T=64,8,8,8,8,128,8,8,8,8,-1,-1,-1,-1,8,-1,-1,-1,-1,图像,模板,2020/6/4,9,1.图像分割1.1边界分割法,点的检测如果R的值等于0，说明当前检测点与的灰度值与周围点的相同当R的值足够大时，说明该点的值与周围的点非常不同，是孤立点。通过阈值T来控制如T=32、64、128等|R|T便检测到一个孤立点,2020/6/4,10,1.图像分割1.1边界分割法,-1,-1,-1,2,2,2,-1,-1,-1,-1,-1,2,-1,2,-1,2,-1,-1,-1,2,-1,-1,2,-1,-1,2,-1,2,-1,-1,-1,2,-1,-1,-1,2,线的检测通过比较典型模板的计算值，确定一个点是否在某个方向的线上,2020/6/4,11,1.图像分割1.1边界分割法,1,1,1,5,5,5,1,1,1,1,1,1,5,5,5,1,1,1,1,1,1,5,5,5,1,1,1,线的检测R1=-6+30=24R2=-14+14=0R3=-14+14=0R4=-14+14=0,2020/6/4,12,1.图像分割1.1边界分割法,边的检测边界的定义：一段边是两个具有相对不同灰度值特性的区域的边界线适用于：假定问题中的区域是非常类似的，两个区域之间的过渡，仅仅根据灰度的不连续性便可确定不适用于：当假定不成立时，阈值分割技术一般来说比边缘检测更加实用,2020/6/4,13,1.图像分割1.1边界分割法,边的检测,分割对象,分割对象,2020/6/4,14,1.图像分割1.1边界分割法,边的检测基本思想：计算局部微分算子,一阶微分,二阶微分,边界图像,截面图,2020/6/4,15,1.图像分割1.1边界分割法,边的检测一阶微分：用梯度算子来计算特点：对于亮的边，边的变化起点是正的，结束是负的。对于暗边，结论相反。常数部分为零。用途：用于检测图像中边的存在,2020/6/4,16,1.图像分割1.1边界分割法,边的检测二阶微分：通过拉普拉斯来计算特点：二阶微分在亮的一边是正的，在暗的一边是负的。常数部分为零。用途：1）二次导数的符号，用于确定边上的像素是在亮的一边，还是暗的一边。2）0跨越，确定边的准确位置,2020/6/4,17,1.图像分割1.1边界分割法,边的检测梯度算子函数f(x,y)在(x,y)处的梯度为一个向量：f=f/x,f/y计算这个向量的大小为：f=mag(f)=(f/x)2+(f/y)21/2近似为:f|x|+|y|,z2,z8,z5,z3,z9,z6,z1,z7,z4,2020/6/4,18,1.图像分割1.1边界分割法,边的检测梯度算子梯度的方向角为：(x,y)=tan(y/x)Sobel算子为：x=(z7+2z8+z9)-(z1+2z2+z3)y=(z3+2z6+z9)-(z1+2z4+z7),-2,2,0,-1,1,0,-1,1,0,0,0,0,-1,-1,-2,1,1,2,x,y,2020/6/4,19,1.图像分割1.1边界分割法,边的检测Sobel梯度算子的使用与分析1.直接计算y、x可以检测到边的存在，以及从暗到亮，从亮到暗的变化2.仅计算|x|，产生最强的响应是正交于x轴的边；|y|则是正交于y轴的边。3.由于微分增强了噪音，平滑效果是Sobel算子特别引人注意的特性,2020/6/4,20,1.图像分割1.1边界分割法,边的检测拉普拉斯二维函数f(x,y)的拉普拉斯是一个二阶的微分定义为：2f=2f/x2,2f/y2可以用多种方式被表示为数字形式。对于一个3x3的区域，经验上被推荐最多的形式是：2f=4z5(z2+z4+z6+z8),z2,z8,z5,z3,z9,z6,z1,z7,z4,2020/6/4,21,1.图像分割1.1边界分割法,边的检测拉普拉斯定义数字形式的拉普拉斯的基本要求是，作用于中心像素的系数是一个正数，而且其周围像素的系数为负数，系数之和必为0。,-1,-1,4,0,0,-1,0,0,-1,2020/6/4,22,1.图像分割1.1边界分割法,边的检测拉普拉斯算子的分析：缺点：对噪音的敏感；会产生双边效果；不能检测出边的方向应用：拉普拉斯算子不直接用于边的检测，通常只起第二位的角色；检测一个像素是在边的亮的一边还是暗的一边利用零跨越，确定边的位置,2020/6/4,23,1.图像分割1.2边缘连接法,局部处理法Hough变换,2020/6/4,24,1.图像分割1.2边缘连接法,边缘连接法由于噪音的原因，边界的特征很少能够被完整地描述，在亮度不一致的地方会中断。因此典型的边检测算法后面总要跟随着连接过程和其它边界检测过程，用来归整边像素，成为有意义的边。,2020/6/4,25,1.图像分割1.2边缘连接法,局部连接处理连接处理的时机和目的连接处理的原理局部连接算法描述,2020/6/4,26,1.图像分割1.2边缘连接法,局部连接处理连接处理的时机和目的：时机：对做过边界检测的图像进行目的：连接间断的边连接处理的原理：用比较梯度算子的响应强度和梯度方向确定两个点是否同属一条边,2020/6/4,27,1.图像分割1.2边缘连接法,局部连接处理连接处理的原理：通过比较梯度，确定两个点的连接性：对于点(x,y)，判断其是否与邻域内的边界点(x,y)相似，当：|f(x,y)f(x,y)|T其中T是一个非负的阈值,2020/6/4,28,1.图像分割1.2边缘连接法,局部连接处理连接处理的原理：比较梯度向量的方向角对于点(x,y)，判断其是否与邻域内的边界点(x,y)的方向角相似，当：|(x,y)(x,y)|aA(2)A-bS(3)A-b其中S、A是变量举例：,(1,3),(1,2,1,3),(1,2,12,1,3),a,a,a,b,b,b,a,a,b,b,a,b,2020/6/4,136,2.图像描述2.4关系描述,骨架关系编码用有向线段来描述一个图像的各个部分（例如同构区域），这个线段是通过头尾连接等方法得到的。线段之间的不同运算代表了区域的不同组合。当图像的连通性可以通过首尾相接或其它连续的方式描述的时候，最适于使用这种串来描述。,2020/6/4,137,2.图像描述2.4关系描述,骨架关系编码,a+b,a-b,ab,a*b,a,a,a,a,b,b,b,b,编码,2020/6/4,138,2.图像描述2.4关系描述,方向关系编码跟踪对象的边界，将跟踪得到的线段按照方向或长度来编码,a1,a2,a5,a7,a8,a3,a4,a6,a1a8a7a6a5a4a3a2,2020/6/4,139,2.图像描述2.4关系描述,内角关系编码根据角度范围不同，编码为8个符号即:a1:0-45;a2:45-90;a3:90-135;a8:315-360举例：,a3a3a3a3a3a3a3a3,a2a2a3a3,2020/6/4,140,2.图像描述2.4关系描述,树结构关系树结构中每个结点的意义和结点之间的关系最为重要举例：,a,b,c,d,$,a,b,c,d,e,f,e,f,$,2020/6/4,141,3.图像分析,图像分析的定义图像分析是一个发现、辨认和理解模式的过程，这些模式都与执行与图像相关的任务有关。图像分析的目标计算机图像分析的主要目的之一是，赋予某些具有感觉能力的机器，以类似人的大脑的能力。例如OCR,2020/6/4,142,3.图像分析,自动图像分析系统行为能力的概念化分类获取、发现信息：从背景中提取有关信息学习、应用知识：抽象、归纳信息特征的学习过程，并应用到新的对象中。构造、推理知识：从不完整的信息中构造推论出新的知识，并加以应用。,2020/6/4,143,3.图像分析,自动图像分析系统的现状我们可以设计出这种系统，但仍然缺乏理论依据。有待人类视觉认识理论的进一步研究。我们可以做出在某一应用上超过人的能力的系统，但缺乏扩展性。过分依赖应用。,2020/6/4,144,3.图像分析,图像分析技术分类的三种基本范畴低级处理：图像获取、预处理，不需要智能中级处理：图像分割、表示与描述，需要智能高级处理：图像识别、解释，缺少理论，为降低难度，设计得更专用。,2020/6/4,145,3.图像分析,2020/6/4,146,3.图像分析3.1纹理分析,提到纹理，人们自然会立刻想到木制家俱上的木纹、花布上的花纹等。木纹为天然纹理，花纹为人工纹理，它们反映了物体表面颜色和灰度的某种变化。这些变化与物体本身的属性相关。,2020/6/4,147,3.图像分析3.1纹理分析,有些图像在局部区域内呈现不规则性，而在整体上表现出某种规律性。习惯上，把这种局部不规则而宏观有规律的特性称之为纹理；以纹理特性为主导的图像，常称为纹理图像；以纹理特性为主导特性的区域，常称为纹理区域。纹理作为一种区域特性，在图像的一定区域上才能反映或测量出来。为了定量描述纹理，多年来人们建立了许多纹理算法以测量纹理特性。这些方法大体可以分为两大类：统计分析法和结构分析法。前者从图像有关属性的统计分析出发；后者则着力找出纹理基元，然后从结构组成上探索纹理的规律。也有直接去探求纹理构成的结构规律的。本节将主要论述纹理特征提取与分析的几种方法。,2020/6/4,148,3.图像分析3.2纹理分析-直方图分析法,纹理区域的灰度直方图作为纹理特征,为了研究灰度直方图的相似性，可以比较累积灰度直方图分布，计算灰度级的最大偏差或总偏差。如果限定对象，则采用这样简单的方法也能够识别纹理。但是灰度直方图不能得到纹理的二维灰度变化，即使作为一般性的纹理识别法，其能力是很低的。例如下图两种纹理具有相同的直方图，只靠直方图就不能区别这两种纹理。,2020/6/4,149,3.图像分析3.3纹理分析-Laws纹理能量测量法,Laws的纹理能量测量法是一种典型的一阶分析方法，在纹理分析领域中有一定影响。Laws纹理测量的基本思想是设置两个窗口：一个是微窗口，可为33、55或77，常取55用来测量以像元为中心的小区域的灰度的不规则性，以形成属性，称为微窗口滤波；另一个为宏窗口，为1515或3232，用来在更大的窗口上求属性的一阶统计量（常为均值和标准偏差），他称之为能量变换。整个纹理分析过程为f(x,y)微窗口滤波F(x,y)能量转换E(x,y)分量旋转C(x,y)分类M(x,y),2020/6/4,150,3.图像分析3.3纹理分析-Laws纹理能量测量法,Laws深入研究了滤波模板的选定。首先定义了一维滤波模板，然后通过卷积形成系列一维、二维滤波模板，用于检测和度量纹理的结构信息。,2020/6/4,151,3.图像分析3.3纹理分析-Laws纹理能量测量法,他选定的三组一维滤波模板是：L3=121灰度（Level）E3=-101边缘（Edge）S3=-12-1点（Spot）L5=14641E5=-12021S5=-10201W5=-12021波（Wave）R5=14641涟漪(Ripple）,2020/6/4,152,3.图像分析3.3纹理分析-Laws纹理能量测量法,L7=1615201561E7=-1450541S7=-1-214121W7=-1030301R7=1-214121O7=-1615201561振荡Oscillation）,2020/6/4,153,3.图像分析3.3纹理分析-Laws纹理能量测量法,13的矢量集是构成更大矢量的基础.每一个15的矢量可以由两个13矢量的卷积产生。17的矢量可以由13与15矢量卷积产生。垂直矢量和水平矢量可生成二维滤波模板。由滤波模板与图像卷积可以检测不同的纹理能量信息。所以，Laws一般选用1215个55的模板。,2020/6/4,154,3.图像分析3.3纹理分析-Laws纹理能量测量法,以15矢量为基础，卷积同样维数的矢量，可获得25个55模板。其中最有用的是55的零和模板，即其中aij是模板中的元素（i,j=1,2,3,4,5）。其中四个有最强性能的模板是：,E5S5L5S5,E5L5R5R5,2020/6/4,155,3.图像分析3.3纹理分析-Laws纹理能量测量法,它们分别可以滤出水平边缘、高频点、V形状和垂直边缘。Laws将Brodatz的8种纹理图像拼在一起，对该图像作纹理能量测量，将每个像元指定为八个可能类中的一个，正确率达87。可见这种纹理分析方法简单、有效。但所提供的模板较少，尚未更多地给出其变化性质，因此，应用受到一定的限制。,2020/6/4,156,3.图像分析3.4纹理分析-纹理分析的自相关函数法,若有一幅图像f(i，j)，i，j=0，1，N-1，则该图像的自相关函数定义为,2020/6/4,157,3.图像分析3.4纹理分析-纹理分析的自相关函数法,自相关函数(x，y)随x，y大小而变化，其变化与图像中纹理粗细的变化有着对应的关系，因而可描述图像纹理特征。定义d=（x2+y2）1/2，d为位移矢量，r(x,y)可记为r(d)。在x0，y0时，从自相关函数定义可以得出，(d)1为最大值。不同的纹理图像，(x,y)随d变化的规律是不同的。当纹理较粗时，(d)随d的增加下降速度较慢；当纹理较细时，(d)随着d的增加下降速度较快。随着d的继续增加，(d)则会呈现某种周期性的变化，其周期大小可描述纹理基元分布的疏密程度。若对应r(d)变化最慢的方向为dmax，那么纹理局部模式形状向dmax方向延伸,2020/6/4,158,3.图像分析3.4纹理分析-纹理分析的自相关函数法,Kaizer从北极航空照片中取出七类不同地面覆盖物的图像，采用自相关函数进行分析。对每一类地面覆盖物作出它们的自相关函数随d的变化曲线。当r(d)=1/e时，七条曲线对应的d值分别为d1，d2，,d7，如图9.4.1。根据di的大小，把7类地物从细到粗进行了排序。将七类地物对应的七张图像请二十位观测者按纹理粗细目视判别，也按由细到粗的次序将图片排队。将目视判别结果与自相关函数分析的排列结果作比较，发现用自相关函数自动分析可达99%的正确率。,2020/6/4,159,3.图像分析3.5纹理分析-灰度共生矩阵分析法,灰度共生矩阵的定义在三维空间中,相隔某一距离的两个像素，它们具有相同的灰度级，或者具有不同的灰度级，若能找出这样两个像素的联合分布的统计形式，对于图像的纹理分析将是很有意义的。灰度共生矩阵就是从图像(x,y)灰度为i的像素出发，统计与距离为=(x2+y2)1/2、灰度为j的像素同时出现的概率P(i,j,)。如右图。用数学式表示则为,2020/6/4,160,3.图像分析3.5纹理分析-灰度共生矩阵分析法,根据上述定义，所构成的灰度共生矩阵的第i行、第j列元素，表示图像上所有在方向、相隔为，一个为灰度i值,另一个为灰度j值的像素点对出现的频率。这里取值一般为00、450、900和1350。很明显，若x1，y0，则00；x1，y-1，则450；x0，y-1，则=900；x=-1，y=-1，则=1350。的取值与图像有关，一般根据试验确定。例如，左图所示的图像，取相邻间隔=1，各方向的灰度共生矩阵如右图所示。,2020/6/4,161,3.图像分析3.5纹理分析-灰度共生矩阵分析法,灰度共生矩阵特征的提取灰度共生矩阵反映了图像灰度关于方向、相邻间隔、变化幅度的综合信息，它可作为分析图像基元和排列结构的信息。作为纹理分析的特征量，往往不是直接应用计算的灰度共生矩阵，而是在灰度共生矩阵的基础上再提取纹理特征量，称为二次统计量。一幅图像的灰度级数一般是256，这样计算的灰度共生矩阵太大。为了解决这一问题，在求灰度共生矩阵之前，常压缩为16级。用灰度共生矩阵提取特征之前，要作正规化处理。令这里R是正规化常数。,2020/6/4,162,3.图像分析3.5纹理分析-灰度共生矩阵分析法,当取=1，q=0时，每一行有2(Nx1)个水平相邻像素对，因此总共有2Ny(Nx1)水平相邻像素对，这时R=2Ny(Nx1)。当取=1,q=45时，共有2(Ny1)(Nx1)相邻像素对，R=2(Ny1)(Nx1)。由对称性可知，当q=90和135时，其相邻像素对数是显然的。Haralick等人由灰度共生矩阵提取了14种特征。最常用的5个特征是：1）角二阶矩（能量）2)对比度（惯性矩）3）相关4）熵5）逆差矩,2020/6/4,163,3.图像分析3.5纹理分析-灰度共生矩阵分析法,若希望提取具有旋转不变性的特征，简单的方法是对取00、450、900和1350的同一特征求平均值和均方差就可得到。Haralick利用ERTS100218134卫星多光谱图像对美国加利福尼亚海岸带的土地利用问题，用灰度共生矩阵的方法作纹理分析。海岸带主要有沿岸森林、树林、草地、城区、小片灌溉区、大片灌溉区和水域七类。对ERTS100218134四波段卫片，将其中的某波段图像，取大小为6464象素的非重迭窗口，间隔=1，Ng=16(将0255压缩成16级)。取特征f1,f2,f3,f4关于的四个方向的平均和均方差，得到8个旋转不变的纹理特征。,2020/6/4,164,3.图像分析3.5纹理分析-灰度共生矩阵分析法,为了充分利用多光谱信息，将各波段图像，取纹理分析同一位置的6464象素窗口灰度平均和均方差。将纹理特征和多光谱灰度特征组合成161特征向量，对七类地域分别取训练样本314个，检验样本310个，提取特征，用分段线性分类器分类，获得了平均83.5%的分类精度。若仅仅用多光谱信息，用8个光谱特征向量对七类地域分类，分类精度只有7477%，由此可见，纹理分类改善了典型模式识别的结果，这是因为图像的纹理分析充分利用了图像灰度分布的结构信息。,