图像的识别和应用ppt课件

数字图像技术 (Digital Image Processing Technology）,1,本课程的主要内容,1、图像的获取 2、图像变换 3、图像的增强与滤波 4、图像的边缘检测 5、图像的分割 6、图像形态学 7、图像的特征提取与分析 8、图像识别与应用 9、计算机视觉初步,2,第8章 图像的识别技术,3,主要内容 8.1 模式识别概述 8.2 一些常用的基本概念 8.3 基于决策理论的图像识别 8.4 基于模板匹配的图像识别 8.5基于神经网络的图像识别 8.6 基于支持向量机的图像识别,4,8.1 模式识别概述,模式识别(Pattern Recognition)是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析,以对事物或现象进行描述、辨认、分类和解释的过程,是信息科学和人工智能的重要组成部分。模式识别又常称作模式分类，从处理问题的性质和解决问题的方法等角度，模式识别分为有监督的分类（Supervised Classification）和无监督的分类(Unsupervised Classification)两种。二者的主要差别在于，各实验样本所属的类别是否预先已知。一般说来，有监督的分类往往需要提供大量已知类别的样本，无监督的分类就是根据样本特征（features）将同类特征样本归类于同一类。,5,一般狭义的模式识别所指的主要是对语音波形、地震波、心电图、脑电图、图片、照片、文字、符号、生物传感器等对象的具体模式进行辨识和分类。,6,模式识别的一般过程,原始信息输入,特征提取,分类器,识别结果,识别的关键是分类器的设计,7,图像识别与模式识别的关系,1、模式识别包含了、波形、语音、图形、图像等各种信息输入形式，图像识别属于模式识别的一部分； 2、模式识别的许多方法如：决策理论、贝叶斯分类器、神经网络分类器、支持向量机等都可以用到图像识别中来； 3、图像识别有自己独特的方法。,8,8.2 一些常用的基本概念,1、特征向量-用于描述对象的一组特征参数，以 n1维的向量形式表示出来。如：,9,1、向量的相似性度量-距离 （1）两向量的欧式距离 设两向量,则它们之间的欧式距离用下式度量,10,(2) 向量与向量族组成员的距离 设,则距离d,11,则它们之间的欧式距离用下式度量,可用下列MATLAB语句实现：,12,(2) 向量族与向量族成员的距离 设向量族 Xpn 向量族 Yqn,则向量族X的i 行与向量族Y的第 j 列间欧式距离用下矩阵表达,13,(3) Mahalanobis距离-向量与向量组均值的相似性度量,则它们之间的欧式距离用下式度量,均值：,协方差矩阵：,14,8.3 基于决策理论的图像识别,图像识别的方式,基于决策理论方法,空间模板匹配,最小距离分类器,基于结构的识别,频域模板匹配,贝叶斯分类器,神经网络分类器,支持向量机分类器,使用基元符号,使用数值向量,串结构识别,树、图结构识别,15,1、基于最小距离分类器的图像识别,决策理论的基本思想：将图像进行特征提取，用提取的特征构成一个特征向量x=x1, x2, ，xn，对于W个模式分类1,2,w，设计W个决策函数d1(x), d2(x), , dw(x), 满足下列条件：,将x 归于 i 类,16,最小距离分类器就是将每个模式分类用它的均值向量来表示，设x是待分类的模式向量，分别求模式向量到各类均值向量的距离，将x归属于距离最小的那个类别。用决策函数表示：,这里，mj是均值向量，它计算如下：,17,求Dj(x)最小，等价于求 最大。 因此我们可以选择决策函数,18,对于： 将其归于 i 类。不难看出，在i 和 j之间的边界为,19,8.4 基于模板匹配的图像识别,模板匹配（Template Matching）是图像识别方法中最具代表性的基本方法之一，它是将从待识别的图像或者图像区域S(i,j)中提取的若干特征量逐个进行比较，计算它们之间规格化的相关性系数，其中相关性系数最大的一个就表示其相似程度最高，可以将图像归与相应的类。,20,模板匹配的基本概念 ：模板就是一幅已知的具有标准尺寸和标准内容的图像。模板匹配就是在一幅图像中按一定算法搜寻目标，将目标的特征和已知模板比较，从而确定目标是否存在以及存在目标所在的坐标位置。 以8位灰度图像(1 个像素由1 个字节描述)为例，模板T( m*n个像素)叠放在被搜索图S( M *N个像素)上平移，模板覆盖被搜索图的那块区域叫子图Sij。i，j 为子图左上角在被搜索图S上的坐标，如图所示。搜索范围是MXN。通过比较模板T和Sij的相似性，完成模板匹配过程。,（1）普通模板匹配算法,21,m,n,M,N,模板及其搜索图,子图S ij,(a) 搜索图,模板 T,一般可以采用下面测度来衡量T和Sij的相似度：,22,展开则有,右边第三项表示模板的总能量，是一个和位置（i，j）无关的常数，第一项是模板下的子图的能量，它随搜索位置的改变缓慢变化，第二项是子图像和模板的互相关，随（i，j）而变，T和Sij匹配时这一项取得最大值，因此可以采用下列归一化相关函数作为相似测度：,23,为了减少图像强度绝对值的影响，可先分别计算T和Sij的均值Tm和Sm，然后在上式中减去均值，可得下列相关函数,24,按灰度匹配的计算量是很大的,一般将原始图像按比例缩小，采用相对较小的模板来进行匹配。尽管模板匹配有很多不足的地方，但目前仍然是一种较为可靠的模式识别方法，在工业机器视觉中得到广泛应用.对常用焊接结构灰度图象可以通过二值化填充得到由0和1组成的黑白图象，因此进行模板匹配可以相当于比较待识别图象和模板为“1”的相同个数，比较相同可以采用“点异或”的方式进行。如果模板与待识别图象相同，则相关系数可用下式表达：,25,（2）快速模板匹配-序贯相似性检测算法,由于普通模板计算量大，速度慢，人们提出一类叫序贯相似性检测的算法，简称SSDA。SSDA的要点如下：,1)定义绝对误差值，有,式中，,2)取一个不变阈值 ；,26,3) 在子图 Sij（m，n）中随机选取像点（mk ，nk ），计算它同T中对应点的误差值 （i，j， mk ，nk ），然后把这个差值和其他点对的差值累加起来，当累加r次误差超过 Tk，则停止累加，并记下次数r。定义SSDA的检测曲面为I（i，j）=r,4) 把取值最大的I（i，j）对应的（i，j）点作为匹配点，因为这点上需要很多次累加才使总误差超过 ，如下图所示。图中给出了在A，B，C三参考点上得到的误差累计增长曲线。A，B反映模板T不在匹配点上，这时总误差增长很快，超出阈值，曲线C中总误差增长很慢，很可能是一匹配的候选点。,27,28,3、基于频域模板匹配的图像识别,在频域分析中，我们将空间域的相关运算转化为频域的的共轭相乘，即：,空间域上的相关,频率域上的相乘,如果将f(x,y)视为待识别的图像，g(x,y)视为标准模板则就可以采用频域上的相乘，取代空间域上基于相关运算的模板匹配，可以缩短匹配计算的时间。,29,8.5 基于神经网络的图像识别,W=,p=,输入的R维向量,对应的权值行向量,b是偏置,8.5.1 神经网络基础,30,n是输入向量元素的加权求和,定义如下：,写成向量内积的形式：,a 是神经元的输出，f 是神经元的传递函数,定义如下：,31,进行神经网络分析时，可以将上面的神经元简略表达如下：,32,包含多个神经元的一层神经元,33,34,一层具有个神经元简约表示,35,多层神经网,36,多层神经网的简约表示,37,用IW表示输入的权值矩阵，LW表示层间的权值矩阵，而用上标表示层间的关系则有：,在MATLAB中把IW和LW设置成Cell单元类型,38,同时向量（无顺序）,顺序向量（按顺序）,两种基本类型的输入向量,输入数据的结构形式,39,同时向量的仿真 所谓仿真SIM是指神经网络的结构参数：权值矩阵W、偏置b、和传递函数 f 确定后，在给定输入激励下，神经网络的输出。,40,net = newlin (1 3; 1 3, 1);,使用下列函数建立一个线性神经网络,设定网络的权值和偏置为：,net.IW1,1 = 1 2; net.b1 = 0,Net是一个结构，可以设定它的权值和偏置,41,设有4组输入向量，它们是：,P = 1 2 2 3; 2 1 3 1;,4组输入向量，以一个矩阵的形式产生输入,42,A = sim( net, P) A = 5 4 8 5,使用产生的网络net，和同时输入向量P为参数，用sim函数进行神经网络的仿真，上例的结果为：,43,顺序向量的仿真 所谓仿真SIM是指神经网络的结构参数：权值矩阵W、偏置b、和传递函数 f 确定后，在给定输入激励下，神经网络的输出。,44,BP神经元结构和简约画法,45,具有输入、隐层、输出层结构的BP神经网络,隐层4个神经元,输出层3个神经元,2维 输入向量,46,常用传递函数 f 类型,47,net=newff(-1 2; 0 5, 3,1,tansig,purelin,traingd);,在MATLAB7.0下使用newff创建BP神经网。 例如我们创建一个2维输入向量，具有3个隐层节点和一个输出节点的3层结构的BP神经网络：,隐节点数,输出节点数,8.5.2 BP神经网络的创建、训练与仿真,1、BP神经网络的创建,隐层传递函数,输出层传递函数,输入分量范围,训练方式,48,2、BP神经网络的训练,当确定完神经网络的具体结构输入向量维数、隐层节点数、输出节点数，就要采用一定的训练方法对神经网络进行训练，目前应用最多的是梯度下降法。在Matlab神经网络工具箱中，设置了这一算法。并通过train( )函数来实现神经网络的训练。基本语法为：,Trained_net= train (net, P, T),待训练的网,完成的训练网,输入的特征向量,训练目标,49,3、BP神经网络的仿真 仿真是对已经训练完成的BP神经网络进行应用模拟，以检查神经网络的响应性能。即当网络权值w,偏移值确定后，通过给定输入Pgiven，检查实际输出y与期望是否相符。对于仿真结果满足要求的网络就可定型。仿真采用下列函数：,y=sim(trained_net, P);,完成的训练网,输入的特征向量,网络的实际输出,50,8.5.3 基于BP神经网络的图像识别实例 1、手写数字字符的识别 2、人脸的识别 3、车型的识别 4、车牌的识别 5、指纹的识别 6、虹膜的识别 6、刚体目标的识别 7、人体目标的识别,51,第九章 计算机视觉初步,1、基本概念 计算机视觉就是用各种视觉传感器代替视觉器官作为输入感应手段，由计算机来代替大脑完成所得到的图像信息的处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界，具有自主适应环境的能力。目前二维机器视觉和三维立体视觉两大类。,52,2、摄像机成像模型 摄像机的景物成像应该基于物理学的透镜成像原理，由于透镜成像较为复杂，目前基本采用针孔成像模型来近似处理。如图所示，Oc为摄像机的光轴中心点，为摄像机的成像平面，按针孔成像原理,摄像机前的物体在像平面上的像是倒立的实像。像的尺寸和物体实际的大小成正比，与物体到光心的距离成反比。为方便分析，将像平面 沿光轴移到光心前面的对称平面，这样物体的像就和实物方向相同，根据这样的假设，下面建立物象的透射投影关系。以摄像机的光心Oc为摄像机的坐标原点，以光轴作为摄像机的Zc轴，取从摄像机到景物的方向为Zc轴正方向，Xc轴方向取图像坐标沿水平增加的方向。在摄像机的坐标系中，设空间点P的坐标为，P在像平面的像点p的物理坐标为，则按小孔成像的比例关系有：,53,摄像机小孔成像简化模型：,按小孔成像的比例关系有：,54,应用齐次坐标的概念，将以上关系用矩阵的形式 表达如下：,一般摄像机是放在某个空间坐标里（一般称世界坐标），因此可用坐标变换的平移旋转关系，表达 摄像机坐标（xc, yc, zc)和世界坐标（ xw, yw, zw ）的关系 ：,55,摄像机采集的图像以数字图像的形式存储的，一般每幅数字图像在计算机内以M行N列的图像像素坐标(Pixel)来表达的，图像坐标的原点一般设在左上角或左下角。由于(9-2)是以物理单位(如毫米)建立的透射投影关系，需要将其转化为计算机的图像坐标，设数字图像的像素坐标为(u，v),光轴与数字图像平面的交点坐标为(u0,v0),如图所示。,56,设每一像素在图像平面x轴和y轴上的物理尺寸为dx, dy,则数字图像平面任一像素坐标与物理坐标的关系如下：,利用齐次坐标与矩阵形式将(2-3)式表示为：,57,将上式代入小孔成像模型得到下列摄像机在像素坐标平面上的表达式：,将上式代入下式-世界坐标与摄像机坐标的表达式,58,整理以上各式，最后得到空间一点到摄像机成像平面的投影为：,从以上关系可以清楚看到，由平面图像上一点坐标（u,v),两个已知量，无法最后得到空间坐标（X,Y,Z)。,59,解决的办法： 采用左右两个摄像机同时摄取同一目标，获取两幅图像，这样就可以有更多的图像信息，可以解出空间坐标（X,Y,Z)。 2、双目立体视觉原理,60,对于空间点（X，Y，Z）在左摄像机像平面上的投影（ul，vl）可以表达为：,对于空间点（X，Y，Z）在右摄像机像平面上的投影（ur，vr）可以表达为：,61,展开以上两式得：,62,消去常数 kl, kr 得四个方程：,取前三个方程解得空间点（X,Y,Z）,这就是双目立体视觉所依赖的基本工作原理！,63,64,65,66,