局部特征报告

局部特征报告局部特征报告报告人：颜彬 -关于关于sift算法介绍算法介绍2什么是局部特征？局部特征从总体上说是图像或在视觉领域中一些有局部特征从总体上说是图像或在视觉领域中一些有别于其周围的地方别于其周围的地方 局部特征通常是描述一块区域，使其能具有高可区局部特征通常是描述一块区域，使其能具有高可区分度分度 局部特征的好坏直接会决定着后面分类、识别是否局部特征的好坏直接会决定着后面分类、识别是否会得到一个好的结果会得到一个好的结果 3局部特征需具备的特性重复性重复性 可区分性可区分性 准确性准确性 数量以及效率数量以及效率 不变性不变性 4局部特征提取算法-siftSIFT算法由算法由D.G.Lowe 1999年提出，年提出，2004年完善总结。后来年完善总结。后来Y.Ke将其描述子部分将其描述子部分用用PCA代替直方图的方式，对其进行改进。代替直方图的方式，对其进行改进。SIFT算法是一种提取局部特征的算法，在尺度算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变空间寻找极值点，提取位置，尺度，旋转不变量量5Sift算法主要特点SIFT特征是图像的局部特征，其对旋转、尺度缩特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。噪声也保持一定程度的稳定性。 独特性好，信息量丰富，适用于在海量特征数据库独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。中进行快速、准确的匹配。 多量性，即使少数的几个物体也可以产生大量多量性，即使少数的几个物体也可以产生大量SIFT特征向量。特征向量。 可扩展性，可以很方便的与其他形式的特征向量进可扩展性，可以很方便的与其他形式的特征向量进行联合。行联合。6SIFT算法步骤检测尺度空间极值点检测尺度空间极值点 精确定位极值点，去除低对比度点和不稳定边缘点精确定位极值点，去除低对比度点和不稳定边缘点为每个关键点指定方向参数为每个关键点指定方向参数关键点描述子的生成关键点描述子的生成7尺度空间理论：尺度空间理论目的是模拟图像数据的多尺度尺度空间理论目的是模拟图像数据的多尺度特征特征 其基本思想是在视觉信息图像信息处理模型其基本思想是在视觉信息图像信息处理模型中引入一个被视为尺度的参数中引入一个被视为尺度的参数, 通过连续变通过连续变化尺度参数获得不同尺度下的视觉处理信息化尺度参数获得不同尺度下的视觉处理信息, 然后综合这些信息以深入地挖掘图像的本质然后综合这些信息以深入地挖掘图像的本质特征特征。 8线性尺度算子检测极值点SIFT算法中使用的是线性尺度空间，高斯卷积核算法中使用的是线性尺度空间，高斯卷积核是实现线性尺度变换的唯一线性核是实现线性尺度变换的唯一线性核在在SIFT算法中，使用了差分金字塔算子算法中，使用了差分金字塔算子DOGDOG算子计算简单，是尺度归一化的算子计算简单，是尺度归一化的LoG算子的算子的近似近似 （只差一个常数因子（只差一个常数因子k-1）中间的检测点和它同尺度的中间的检测点和它同尺度的8个相邻点和上下相邻个相邻点和上下相邻尺度对应的尺度对应的92个点共个点共26个点比较个点比较 ，如下图所示，如下图所示9图1：DoG尺度空间局部极值检测10图2：由两组高斯尺度空间图像示例金字塔的构建， 第二组的第一副图像由第一组的第一副到最后一副图像由一个因子2压采样得到。11SIFT算法步骤检测尺度空间极值点检测尺度空间极值点 精确定位极值点，去除低对比度点和不稳定边缘点精确定位极值点，去除低对比度点和不稳定边缘点为每个关键点指定方向参数为每个关键点指定方向参数关键点描述子的生成关键点描述子的生成12精确确定极值点位置在检测到极值点后，对差分算子进行二阶泰勒展开，求泰在检测到极值点后，对差分算子进行二阶泰勒展开，求泰勒公式的极大偏移量，精确定位检测到的极值点。极大偏勒公式的极大偏移量，精确定位检测到的极值点。极大偏移量如下式；在具体的算法实现中，可以利用移量如下式；在具体的算法实现中，可以利用Hessian矩矩阵和阵和D的一阶矩阵来实现。的一阶矩阵来实现。在求出极大偏移量后，若其值大于在求出极大偏移量后，若其值大于0.5则表示极值点更靠则表示极值点更靠近相邻的点。若小于近相邻的点。若小于0.5则不动。则不动。122DDXXX 13去除低对比度极值点：由于线性尺度空间不能保证对比度不变性，因此在精由于线性尺度空间不能保证对比度不变性，因此在精确定位好后，通过上面求得的式子，要去除低对比度确定位好后，通过上面求得的式子，要去除低对比度点。计算公式如下：点。计算公式如下：在在Lowe的论文中提到当的论文中提到当D(X)小于小于0.3时就定义此极时就定义此极值点为低对比度点，此点将被去除掉；值点为低对比度点，此点将被去除掉；12TDD XDXX14边缘响应的去除一个定义不好的高斯差分算子的极值在横跨边缘的一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。由于这样的边缘点容易受到图像噪声的的主曲率。由于这样的边缘点容易受到图像噪声的影响，因此也要去除这些不稳定的边缘点。影响，因此也要去除这些不稳定的边缘点。 主曲率通过一个主曲率通过一个2x2 的的Hessian矩阵矩阵H求出，在求出，在Hessian特征点检测中有提到如何通过特征点检测中有提到如何通过Hessian矩阵求边缘点的方法矩阵求边缘点的方法15SIFT算法步骤检测尺度空间极值点检测尺度空间极值点 精确定位极值点，去除低对比度点和不稳定边缘点精确定位极值点，去除低对比度点和不稳定边缘点为每个关键点指定方向参数为每个关键点指定方向参数关键点描述子的生成关键点描述子的生成16关键点方向分配利用关键点邻域像素的梯度方向分布特性为每个关利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。键点指定方向参数，使算子具备旋转不变性。 以关键点为中心的邻域窗口内采样，并用直方图统以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是计邻域像素的梯度方向。梯度直方图的范围是0360度，其中每度，其中每10度一个柱，总共度一个柱，总共36个柱。个柱。 随随着距中心点越远的领域其对直方图的贡献也响应减着距中心点越远的领域其对直方图的贡献也响应减小。小。Lowe论文中还提到要使用高斯函数对直方图进行论文中还提到要使用高斯函数对直方图进行平滑，减少突变的影响。平滑，减少突变的影响。17辅方向分配当存在另一个相当于主峰值当存在另一个相当于主峰值80%能量的峰值能量的峰值时，则将这个方向认为是该关键点的辅方向。一个时，则将这个方向认为是该关键点的辅方向。一个关键点可能会被指定具有多个方向（一个主方向，关键点可能会被指定具有多个方向（一个主方向，一个以上辅方向），从而生成多个不同方向的特征一个以上辅方向），从而生成多个不同方向的特征点。以此增强匹配的鲁棒性点。以此增强匹配的鲁棒性 。18SIFT算法步骤检测尺度空间极值点检测尺度空间极值点 精确定位极值点，去除低对比度点和不稳定边缘点精确定位极值点，去除低对比度点和不稳定边缘点为每个关键点指定方向参数为每个关键点指定方向参数关键点描述子的生成关键点描述子的生成19特征描述子：在局部特征的设计中最关键的一步就是特征描述符在局部特征的设计中最关键的一步就是特征描述符的设计，而判断一个特征描述符好坏的重要依据就的设计，而判断一个特征描述符好坏的重要依据就是其高可区分性是其高可区分性有许多不同的特征描述符的技术用于描述图像局部有许多不同的特征描述符的技术用于描述图像局部特征。但在物体识别领域，当前最为流行的就是基特征。但在物体识别领域，当前最为流行的就是基于图像外型结构特征的局部梯度直方图统计于图像外型结构特征的局部梯度直方图统计 20SIFT特征点描述子生成：将坐标轴旋转为关键点的方向，以确保旋转不变性 对于一个关键点产生128个数据，即最终形成128维的SIFT特征向量将特征向量的长度归一化，则可以进一步去除光照变化的影响。 归一化归一化处理处理生成描生成描述子述子 旋转主旋转主 方向方向 21描述子生成：以关键点为中心取以关键点为中心取1616的窗口；然后在每的窗口；然后在每44的小块上计算的小块上计算8个方向的梯度方向直方图，个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种绘制每个梯度方向的累加值，即可形成一个种子点子点 ，如下图：，如下图：图3：关键点邻域梯度信息生成特征向量 22描述子生成的细节以极值点为中心点，并且以此点所处于的高斯尺度以极值点为中心点，并且以此点所处于的高斯尺度sigma值作为半径因子。对于远离中心点的梯度值作为半径因子。对于远离中心点的梯度值降低对其所处区域的直方图的贡献，防止一些突值降低对其所处区域的直方图的贡献，防止一些突变的影响。变的影响。每个极值点对其进行三线性插值，这样可以把此极每个极值点对其进行三线性插值，这样可以把此极值点的贡献均衡的分到直方图中相邻的柱子上值点的贡献均衡的分到直方图中相邻的柱子上23SIFT特征点描述子生成：将坐标轴旋转为关键点的方向，以确保旋转不变性 对于一个关键点产生128个数据，即最终形成128维的SIFT特征向量将特征向量的长度归一化，则可以进一步去除光照变化的影响。 归一化归一化处理处理生成描生成描述子述子 旋转主旋转主 方向方向 24归一化处理在求出在求出4*4*8的的128维特征向量后，此时维特征向量后，此时SIFT特征向量已经去除了尺度变化、旋转等几何特征向量已经去除了尺度变化、旋转等几何变形因素的影响。而图像的对比度变化相当于每个变形因素的影响。而图像的对比度变化相当于每个像素点乘上一个因子，光照变化是每个像素点加上像素点乘上一个因子，光照变化是每个像素点加上一个值，但这些对图像归一化的梯度没有影响。因一个值，但这些对图像归一化的梯度没有影响。因此将特征向量的长度归一化，则可以进一步去除光此将特征向量的长度归一化，则可以进一步去除光照变化的影响。照变化的影响。 25归一化处理2：对于一些非线性的光照变化，对于一些非线性的光照变化，SIFT并不具备不并不具备不变性，但由于这类变化影响的主要是梯度的幅值变变性，但由于这类变化影响的主要是梯度的幅值变化，对梯度的方向影响较小，因此作者通过限制梯化，对梯度的方向影响较小，因此作者通过限制梯度幅值的值来减少这类变化造成的影响。度幅值的值来减少这类变化造成的影响。26实验结果:27不同尺度下:原图平滑后图像28旋转不变性29PCA-SIFT算法：PCA-SIFT与标准与标准SIFT有相同的亚像素位置，尺有相同的亚像素位置，尺度和主方向。但在第度和主方向。但在第4步计算描述子的设计，采用步计算描述子的设计，采用的主成分分析的技术。的主成分分析的技术。下面介绍一下其特征描述子计算的部分：下面介绍一下其特征描述子计算的部分：30PCA-SIFT特征描述子：用特征点周围的用特征点周围的4141的像斑计算它的主元，并用的像斑计算它的主元，并用PCA-SIFT将原来的将原来的23939维的向量降成维的向量降成20维，以达到更维，以达到更精确的表示方式。精确的表示方式。它的主要步骤为，对每一个关键点：在关键点周围提取一它的主要步骤为，对每一个关键点：在关键点周围提取一个个4141的像斑于给定的尺度，旋转到它的主方向的像斑于给定的尺度，旋转到它的主方向 ；计；计算算3939水平和垂直的梯度，形成一个大小为水平和垂直的梯度，形成一个大小为3042的矢的矢量；用预先计算好的投影矩阵量；用预先计算好的投影矩阵n3042与此矢量相乘；这与此矢量相乘；这样生成一个大小为样生成一个大小为n的的PCA-SIFT描述子。描述子。 Click to edit company slogan .