计算机视觉学习初识SIFT算法课件

单击此处编辑母版标题样式,编辑母版文本样式,第二级,第三级,第四级,第五级,2020/10/30,#,#,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,大家好,大家好,1,计算机视觉学习,初识,SIFT,算法,计算机视觉学习,2,SIFT,（,Scale-invariant feature transform,），尺度不变特征。实质是在不同的尺度空间上查找关键点,(,特征点,),，并计算出关键点的方向。这些特征具有旋转和不变性，而且能够克服光照和视角的变化。,SIFT,算法思想,尺度空间极值点的检测,关键点的定位,关键点方向的分配,关键点描述符,算法思想,SIFT（Scale-invariant feature t,3,尺度空间极值点的检测,高斯模糊,尺度空间理论,高斯金字塔的构建,检测,DOG,尺度空间极值点,尺度空间极值点的检测,：通过对原始图像进行高斯滤波形，建立高斯金字塔，通过高斯差分来找到那些感兴趣的点，也就是在以后的图像匹配中可能发挥作用的特征点。,尺度空间极值点的检测,尺度空间极值点的检测高斯模糊尺度空间理论高斯金字塔的构建检测,4,高斯模糊,SIFT,算法是在不同的尺度空间上查找关键点，而尺度空间的获取需要使用高斯模糊来实现，,Lindeberg,等人已证明高斯卷积核是实现尺度变换的唯一变换核，并且是唯一的线性核。,高斯模糊,是一种图像滤波器，它使用正态分布,(,高斯函数,),计算模糊模板，并使用该模板与原图像做卷积运算，达到模糊图像的目的。,N,维空间正态分布函数：,是正态分布的标准差。,值越大，图像越模糊,(,平滑,),。,r,为模糊半径，模糊半径是指模板元素到模板中心的距离,。,高斯模糊SIFT算法是在不同的尺度空间上查找关键点，而尺度空,5,高斯模糊,如二维模板大小为,m*n,，则模板上的元素,(x,，,y),对应的高斯计算公式为：,分布不为零的像素组成的卷积矩阵与原始图像做变换。每个像素的值都是周围相邻像素值的加权平均。原始像素的值有最大的高斯分布值，所以有最大的权重，相邻像素随着距离原始像素越来越远，其权重也越来越小。这样进行模糊处理比其它的均衡模糊滤波器更高地保留了边缘效果。,高斯模糊如二维模板大小为m*n，则模板上的元素(x，y)对应,6,高斯模糊,在实际应用中，,3,之外的像素忽略不计。故一般计算 的矩阵。,为了确保模板矩阵中的元素在,0,1,之间，需将,模板矩阵归一化,。,高斯模糊在实际应用中，3 之外的像素忽略不计。故一般计算,7,分离高斯模糊,因为二维模版的关系，造成边缘图像的缺失,越大缺失像素越多，越大，计算量越大。,分离高斯模糊，将二维高斯变换分为在,x,轴和,y,轴上的两次一维高斯变换。,分离高斯模糊因为二维模版的关系，造成边缘图像的缺失,8,分离高斯模糊,对用模板矩阵超出边界的部分,虚线框，将不做卷积计算。如图,2.4,中,x,方向的第一个模板,1*5,，将退化成,1*3,的模板，只在图像之内的部分做卷积。,两次一维的高斯卷积将消除二维高斯矩阵所产生的边缘。,计算复杂度,两次一维矩阵：,二维不可分矩阵：,分离高斯模糊对用模板矩阵超出边界的部分虚线框，将不做卷,9,尺度空间理论,尺度空间理论,的基本思想是：在图像信息处理模型中引入一个被视为尺度的参数，通过连续变化尺度参数获得多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。,一个图像的尺度空间,定义为一个变化尺度的高斯函数,与原图像,的卷积。,是尺度空间因子，值越小，表示被平滑的就越少，相应的尺度也就越小。,大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。,尺度空间理论尺度空间理论的基本思想是：在图像信息处理模型中引,10,高斯金字塔的构建,图像的金字塔模型是指，将原始图像不断降阶采样（长，宽各减去一半），得到一系列大小不一的图像，由大到小，从下到上构成的塔状模型。,高斯金字塔的构建分为两部分：,对图像作不同程度的高斯模糊。,对图像做降采样。,高斯金字塔的构建图像的金字塔模型是指，将原始图像不断降阶采样,11,高斯金字塔的构建,金字塔的层数根据图像的原始大小和塔顶图像的大小共同决定，其计算公式如下：,其中,M,，,N,为原图像的大小,t,为塔顶图像的最小维数的对数值。,高斯金字塔的构建金字塔的层数根据图像的原始大小和塔顶图像的大,12,高斯金字塔的构建,将图像金字塔每层的一张图像使用不同参数做高斯模糊，使得金字塔的每层含有多张高斯模糊图像，将金字塔每层多张图像合称为一组,(Octave),，金字塔每层只有一组图像，组数和金字塔层数相等。每组含有多张,(,也叫层,Interval),图像。,尺度空间的所有取值，,i,为,octave,，即组数，,s,为每组层数：,高斯金字塔的构建将图像金字塔每层的一张图像使用不同参数做高斯,13,高斯金字塔的构建,降采样,时，高斯金字塔上一组图像的初始图像,(,底层图像,),是由前一组图像的倒数第三张图像隔点采样得到的。,第,0,组：,0,，,1,，,2,，,3,，,4,，,5,第,1,组：,6,，,7,，,8,，,9,，,10,，,11,第二组：,则第二组第一张图片就是是由,9,降采样得到，其他类似。,高斯金字塔的构建降采样时，高斯金字塔上一组图像的初始图像(底,14,检测,DOG,尺度空间极值点,Difference of Gaussian(DOG),是高斯函数的差分，是灰色图像增强和角点检测的方法，利用不同的高斯差分核与原图像卷积。,下图所示不同下图像尺度空间：,检测DOG尺度空间极值点Difference of Gaus,15,检测,DOG,尺度空间极值点,一个点如果在,DOG,尺度空间本层以及上下两层的,26,个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点,如图所示。,在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，,为了满足尺度变化的连续性，,我们在每一组图像的顶层继续用高斯模糊生成了,3,幅图像，高斯金字塔有每组,S+3,层图像。,DOG,金字塔每组有,S+2,层图像,.,（,s,为每组层数）,检测DOG尺度空间极值点一个点如果在DOG尺度空间本层以及上,16,检测,DOG,尺度空间极值点,s=3,的情况,假设,s=3,这样在，,Gauss Space,里，有,s+3,项。在,DOG Space,里，有,s+2,项。,尺度连续变化。,检测DOG尺度空间极值点s=3的情况假设s=3这样在，Ga,17,检测,DOG,尺度空间极值点,在,Lowe,的论文中，将第,0,层的初始尺度定为,1.6,（最模糊），图片的初始尺度定为,0.5,（最清晰）,.,在检测极值点前对原始图像的高斯平滑以致图像丢失高频信息，所以,Lowe,建议在建立尺度空间前首先对原始图像,长宽扩展一倍（生成第,-1,层）,，以保留原始图像信息，增加特征点数量。,尺度越大 图像越模糊。,检测DOG尺度空间极值点在 Lowe的论文中，将第0层的,18,SIFT,（,Scale-invariant feature transform,），尺度不变特征。实质是在不同的尺度空间上查找关键点,(,特征点,),，并计算出关键点的方向。这些特征具有旋转和不变性，而且能够克服光照和视角的变化。,SIFT,算法思想,尺度空间极值点的检测,关键点的定位,关键点方向的分配,关键点描述符,算法思想,SIFT（Scale-invariant feature t,19,关键点的定位,在上一步中找到的点，需要经过稳定的筛选才能成为真正的关键点，分为两步：,滤除对比度低的点,滤除候选特征中对比度较低的点，这些点对于图像噪声比较敏感，不能用来作为稳定的特征点。,去除边缘响应,去除位于边缘的候选特征点，因为边缘处的特征点变换较大，也不适合作为稳定的特征点。,关键点的定位在上一步中找到的点，需要经过稳定的筛选才能成为真,20,滤除对比度低的点,离散空间的极值点并不是真正的极值点，利用已知的离散空间点插值得到的连续空间极值点的方法叫做,子像素插值,。,需要对尺度空间,DoG,函数进行曲线拟合。利用,DoG,函数在某极值点,A,对,D,（,x,，,y,，,）的,Taylor,展开式,(,拟合函数,),为：,滤除对比度低的点离散空间的极值点并不是真正的极值点，利用已知,21,滤除对比度低的点,拟合函数：,其中，,表示到点,A,的偏移，上式对,X,求导，当倒数为零时,得到局部极值点,将代人中则有：,如果,大于,0.5,也就意味着这个极值点和另一个采样点（图像中的另一,个像素）隔着较近。采用插值法求得极值点位置的估计值。,滤除对比度低的点拟合函数：其中，表示到点A的偏移，上式对X求,22,滤除对比度低的点,可以利用,去除对比度低的点：,在,Low,的论文中，这个阀值为,0.03,，及,|0.03,的点而被剔除。,滤除对比度低的点可以利用去除对比度低的点：在Low的论文中，,23,去除边缘响应,DOG,函数有着较强的边缘响应，如果关键点被定位在边缘，那么这个关键点很有可能是不稳定的，尤其容易受到噪声的影响，即使是少量的噪声也会影响匹配的稳定性。实践发现边缘处有较大的主曲率，而且在垂直方向有较小的主曲率的极值，通常都不是一个好的高斯差分算子极值点。根据这个特性，我们可以去除边缘响应,.,主曲率的值可以通过计算,2,2,维的,Hessian,矩阵,H,而得到，,Tr,求的是矩阵的迹，,Det,求的是矩阵转为行列式后的值。,去除边缘响应DOG 函数有着较强的边缘响应，如果关键点被定位,24,去除边缘响应,设,和,为,H,的两个特征值，且 令,=,r,，,r,1,则：,当两个特征值相等，即,r=1,，取得最小值。随着,r,的增大，比例不断增大。此时如果需要检测两个特征值低于某一阀值,R,，只需要判断：,在,Lowe,的文章中，,R=10,，高于这一值则去除。,去除边缘响应设和为 H 的两个特征值，且 令=r，r,25,SIFT,（,Scale-invariant feature transform,），尺度不变特征。实质是在不同的尺度空间上查找关键点,(,特征点,),，并计算出关键点的方向。这些特征具有旋转和不变性，而且能够克服光照和视角的变化。,SIFT,算法思想,尺度空间极值点的检测,关键点的定位,关键点方向的分配,关键点描述符,算法思想,SIFT（Scale-invariant feature t,26,关键点方向的分配,上一步中确定了每幅图中的特征点，为每个特征点计算一个方向，依照这个方向做进一步的计算，,利用关键点邻域像素的梯度方向分布特性,为每个关键点指定方向参数，使算子具备旋转不变性。,假设,L,（,x,，,y,）表示一幅图像，则图像中的任意一像素点的梯度值为,m,（,x,，,y,）和方向 ，可由下公示表示：,其中,L,所用的尺度为每个关键点各自所在的尺度。至此，图像的关键点已经检测完毕，每个关键点有三个信息：,位置，所处尺度、方向,，由此可以确定一个,SIFT,特征区域。,关键点方向的分配上一步中确定了每幅图中的特征点，为每个特征点,27,关键点方向的分配,按,Lowe,的建议，梯度的模值,m(x,y),按,分布加成，按采样尺度的 原则，临域窗口半径为,3,*,梯度直方图将,0360,度的方向范围分为,36,个柱,(bins),，其中每柱,10,度。,关键点方向的分配按Lowe的建议，梯度的模值m(x,y)按,28,关键点方向的分配,直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。直方图中的峰值就是主方向，其他的达到最大值,80%,的方向可作为辅助方向。,关键点方向的分配直方图的峰值则代表了该关键点处邻域梯度的主方,29