DIP-8_图像分割和识别

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,数字图像处理,Digital Image Processing,郗 润 平,办 公 室,:,计算机学院,217,室,电子邮件,: xirunping,电 话,: 029-88431533,1,课程内容安排,第一部分：数字图像基础,数字图像处理概述,数字图像基础知识,数字图像处理基本方法与变换基础,第二部分：数字图像处理重要内容,图像的增强,图像的复原,图像的编码与压缩,图像分割与识别,形态学图像处理,2,第七讲,图象分割和识别,图象获取,图像处理,图像分割,分析理解,解释或描述,统计,结构匹配,变换,增强,去噪,均衡,复原,压缩,特征抽取,图像理解,图像识别,图像分析,光电变换,数字化,可见光,红外,紫外,X,射线,SAR, ,空域特征,变换域特征,边缘和边界,形状特征,矩特征,纹理特征,模板匹配,阈值,边界检测,聚类,四叉树,纹理匹配,3,7.1,图象分割,图像分割,(Image Segmentation),所谓图像分割就是按一定的规则将图像划分成若干有意义的区域,，在,图像中提取感兴趣的目标（前景），,以便于进一步的分析。,即各区域的并集是整个图像，各区域的交集为空。,4,7.1,图象分割,图象分割,不连续性检测,灰度相似性,检测：,孤立点,组成线,组成边界,阈值分割,模板匹配,区域生长,区域分裂与合并,基于点相关的分割技术,基于区域相关的分割技术,5,基于阈值的图象分割,前提,:,目标的有效灰度与背景的有效灰度有差异,选择阈值,T,对于图象,f(x,y,),认为,f(x,y,) T,的点,(,x,y,),称为对象点。即,关键在于阈值,T,选择,基于点相关的分割技术,6,基于阈值的图象分割,不同阈值的效果,原图,T=0.4,T=0.8,7,基于阈值的图象分割,依赖像素的阈值选择,直方图,8,阈值选择,依赖直方图的阈值选择,方法一,方法二,9,依赖直方图的阈值选择（方法三）,1.,为,T,选择初值,(,如最大亮度和最小亮度的中值,),2.,使用,T,分割图象,亮度值大于等于,T,的像素集合,G1,小于,T,的像素集合,G2,3.,计算,G1,和,G2,各自的平均亮度,u1,和,u2,4.,计算新阈值,:T=(u1+u2)/2,5.,重复,24,直到,T,迭代误差小于指定范围为止,阈值选择,10,例,基于阈值的图象分割,11,12,7.1.2,基于边缘的图象分割,图象的边缘对人的视觉有重要意义，人判别物体很大程度依赖边缘。,不同的图象对象灰度不同，边界处一般有明显得边缘，利用此特征可以分割图象。,13,基于边缘的图象分割,通常的方法是先通过边缘算子找到图象中可能的边缘点，再把这些点连接起来形成封闭的边界。,由于边界本身的不连续性并不象想象的好，因此，图象分割的问题也不象看起来那么简单。,14,边缘检测,边缘检测是所有基于边界分割方法的第一步（利用灰度值不连续性）,几种边缘,阶梯状,脉冲状,屋顶状,15,微分算子,梯度算子,拉普拉斯算子,16,微分算子,综合正交算子,对称梯度,波纹,边缘子空间基,直线子空间基,直线,拉普拉斯,17,边界闭合,提出原因：,由噪音时，各种算子得到的边缘像素常是孤立的或分小段连续的，需要连接起来。,可连接的条件：,梯度的幅度,梯度的方向,18,7.2,基于区域的图象分割,模板匹配,可,用于,检测孤立点、线、角度或其它简单几何图形；,检测已知目标，如文字、敌人装备等；,同场景不同时照片检测相对背景运动目标。,具有某种特征的模板,含某种特征小 方阵组成的小数字图像，可从图像中分割出具有相同特征的区域。,区域生长法,以一组,”,种子”点开始来形成生长区域,即将那些预定义属性类似于种子的邻域像素附加到每个种子上,(,如指定的灰度级或颜色,),，邻域像素以相同的方式向外生长,19,常用模板,点目标模板线目标模板,边缘模板,20,基于区域的图象分割,模板匹配,可,用于,检测孤立点、线、角度或其它简单几何图形；,检测已知目标，如文字、敌人装备等；,同场景不同时照片检测相对背景运动目标。,具有某种特征的模板,含某种特征小 方阵组成的小数字图像，可从图像中分割出具有相同特征的区域。,区域生长法,以一组,”,种子”点开始来形成生长区域,即将那些预定义属性类似于种子的邻域像素附加到每个种子上,(,如指定的灰度级或颜色,),，邻域像素以相同的方式向外生长,21,焊接孔隙检测图,观察右边的图以及直方图情况,思考如果用阈值方法,应如何选择阈值,?,22,如果选择,T,为阈值,23,1.,根据直方图选择亮度大于,225,的像素为种子,2.,对原图采用阈值,T,进行分割,3.,在阈值分割后的图象中,对所有种子进行,8,连通分析,24,基于区域的图象分割,基于边缘的图象分割：寻找区域之间的边界,基于区域的图象分割：直接创建区域,基于边缘的方法得到的结果通常不会与区域生长方法得到的分割完全一致。,二种方法结合，会是一个好办法。,区域生长的方法在噪声干扰、边缘不易提取的情况下，效果更好。,区域内部的一致性描述是区域生长法的基本准则。包括：灰度、颜色、纹理、形状等。,25,区域合并一般步骤,用某种方法把图象分割成许多小区域。,定义合并相邻区域的准则。,按照合并准则合并所有相邻的区域，如果没有再能够合并的块后停止。,具体的方法区别在于初始分割方法和合并准则不同。,区域合并得结果通常还依赖于区域合并的顺序。,是一个迭代过程，每一步重新计算被扩大的区域成员隶属关系，并消除弱边界。没有弱边界可消除时，合并过程结束。,过程看起来象一个物体内部区域不断增长，直到到达边界为止的过程。,该方法计算开销大，但能够同时利用图象的若干种性质（多种描述），对自然景物分割方面效果相对最优。,26,简单方法,最简单的起始方法是把图象分成,11,，,22, 44,或,88,的区域的组合。,根据灰度特性统计得到区域描述。,比较相邻区域的描述，如果匹配，则合并成更大的区域，并计算大区域的描述。如果不匹配，则区域被标记成不匹配。,不断重复，如果某区域不能与它周围的所有区域合并，则被标记成终结，当所有区域终结时，合并过程结束。,合并的条件：,当二个相邻区域的绝大部分公共边界由弱边缘组成时，可以合并。,边缘的强度可以看梯度算子作用后的幅值大小是否超过阈值,T,。,27,7.2,图像的特征提取和识别,图像的特征,用于区分一个图像内部的最基本属性或特征，,图像中鲁棒并适合分类的表示系数,特点：可区分性，可靠性，独立性，数量要少,特征提取,从图像中提取鲁棒并适合分类的表示系数的过程,常用特征：,幅度特征（灰度特征）,统计特征（直方图、均值、方差、能量等）,变换系数特征（傅里叶变换、,Gabor,、小波、,DCT,变换等）,28,图像的特征提取和识别,幅度特征,最基本特征：,图像象素灰度值、三色值及频谱值等表示幅值特征，或邻域平均值。,统计特征,直方图,统计示性数特征：,均值、方差、能量、熵等,变换系数特征,傅里叶变换、,DCT,变换、小波变换、,Gabor,变换等）,边界特征彩色边界特征,29,图像的特征提取和识别,彩色边界特征,点线特征,拓扑特征,纹理特征,30,7.2,图象识别,图像识别,图像识别是以图像的主要特征为基础的，把不同类别的目标区分开来的图像处理方法。,它利用计算机对图像进行定量分析,把图像或图像中的每个像元或区域划归为若干个类别中的某一种,以代替人的视觉判读,。,31,7.2,图象识别,图像特征提取和识别,特征提取方法,Gabor,变换、小波变换,特征选择方法,PCA,方法、,LDA,方法,32,Gabor,变换,傅里叶变换的缺点,正交基是正弦函数，所以它要求所分析的信号必须在整个实轴上都有意义,只能反映信号在实轴上的整体性质，而不能反应信号在局部时间范围中的特征,Gabor,变换,加窗傅里叶变换,多方向,多尺度,33,Gabor,变换,Gabor,核函数（,Gabor,滤波器）,高斯窗函数与傅里叶核的乘积,8,个方向,5,个尺度,34,35,Gabor,变换,Gabor,滤波,卷积公式,快速傅里叶变换辅助卷积,36,Gabor,变换,Gabor,滤波结果,某尺度下,8,个方向的滤波结果,37,Gabor,变换,Gabor,滤波特点,1,、,Gabor,滤波器为高频滤波器,2,、得到的特征维数高,3,、运算量大,38,小波变换,小波变换是空间（时间）和频率的局部变换，通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析，解决了傅立叶变换不能解决的许多困难问题，被誉为“数学显微镜,”。,39,小波变换,小波基是从同一个母小波平移缩放得到的,40,小波变换,小波基,小波函数,尺度函数,MATLAB,里可以通过,wfilters,函数得到滤波器系数,常用小波基：,Daubechies,系列、,Symlet,系列、,biorN,系列等,高通滤波器,低通滤波器,41,小波变换,二维小波分解算法,J,为分解层数，,h,，,v,，,d,分别表示水平、垂直和对角分量,42,小波变换,43,小波变换,一次小波分解结果,44,特征选择,为什么要进行特征选择,1,、维数灾难,2,、进一步提取特征,常用特征选择方法,PCA,（主成分分析）,LDA,（线性判别分析）,ICA,（独立成分分析）,KPCA,（核主成分分析）,KDA,（广义线性判别分析）等,45,特征选择,主成分分析（,Principal Components Analysis,，即,PCA,，也称作,K-L,变换），是图像压缩中的一种最优正交变换,特点：,1,、将数据投影到方差最大的方向,2,、各个主成分之间是正交的,46,特征选择,PCA,示意图,47,特征选择,PCA,的实现,1,、求协方差矩阵,2,、特征值分解,3,、挑选主成分,4,、投影,PCA,与最小二乘法？,48,特征选择,PCA,的缺点,1,、线性方法，不适合非线性分类问题,2,、基于特征值的求解，计算量可能比较大,3,、无监督的学习，不区分类内差异和类间差异,49,特征选择,线性判别分析（,Linear,Discriminant,Analysis,）,源于,R.A.Fisher,（,1936,年）的经典论文,投影后的模式样本的类间离散度最大而类内离散度最小,Fisher,判别准则,50,特征选择,拉格朗日乘数法,51,特征选择,例子,52,特征选择,LDA,的特点,1,、有监督的学习,2,、线性方法，不适合非线性分类问题,3,、需要求逆，会遇到小样本问题（输入样本的维数远大于样本的个数，类内离散度矩阵不可逆 ）,53,特征选择,KPCA,和,KDA,基于核映射的非线性方法,原始特征,PCA,LDA,KPCA,KDA,54,谢谢,55,