图像梯度方向直方图描述子课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,LOGO,图像表征,什么是图像的描述子？,其实图像描述子就是,图像的一种表征形式,，我们所熟知的像素值便是最常见最朴素的一种图像表征形式，也可以被看成一种描述形式。,既然已经存在像素这种描述子，为何我们还有寻求新的图像描述子？,图像表征什么是图像的描述子？,图像梯度方向直方图描述子,图像梯度方向直方图（Histogram of Oriented Gradient）,HOG（Histogram of Oriented Gradient）,是2005年CVPR会议上，法国国家计算机科学及自动控制研究所的Dalal等人提出的,一种解决人体目标检测的图像描述子,，该方法使用梯度方向直方图（Histogram of Oriented Gradients,简称HOG）特征来表达人体，提取人体的外形信息和运动信息，形成丰富的特征集,。,图像梯度方向直方图描述子图像梯度方向直方图（Histogra,图像梯度方向直方图的生成步骤,生成步骤：,图像梯度方向直方图的生成步骤生成步骤：,HOG描述子高维图像特征向量生成步骤,HOG描述子高维图像特征向量生成步骤,：,图像归一化,利用一阶微分计算图像梯度,基于梯度幅值的方向权重投影,HOG特征向量归一化,得出HOG最终的特征向量,HOG描述子高维图像特征向量生成步骤HOG描述子高维图像特征,图像归一化,step 1:,图像归一化,归一化图像的主要目的是提高检测器对光照的鲁棒性，因为实际的人体目标可能出现的各种不同的场合，检测器，必须对光照不太敏感才会有好的效果。,图像归一化step 1:图像归一化,利用一阶微分计算图像梯度,Step 2,利用一阶微分计算图像梯度,图像平滑,梯度法求图像梯度,利用一阶微分计算图像梯度Step 2 利用一阶微分计算图像梯,图像平滑,图像平滑,对于灰度图像，一般为了去除噪点，所以会先利用离散高斯平滑模板进行平滑：高斯函数在不同平滑的尺度下进行对灰度图像进行平滑操作，Dalal等实验表明在下，人体检测效果最佳（即不做高斯平滑），使得错误率缩小了约一倍。不做平滑操作，可能原因：,图像时基于边缘的，平滑会降低边缘信息的对比度，从而减少图像中的信号信息。,图像平滑图像平滑,利用一阶微分求解图像梯度,一,阶,微分处理一般对灰度阶梯有较强的响应,一阶微分：,对于函数f(x,y)，在其坐标（x,y）上的梯度是通过如下二维列向量定义的：,这个向量的模值由下式给出：,利用一阶微分求解图像梯度,因为模值的计算开销比较大，一般可以按如下公式近似求解：,Dalal等人利用许多一阶微分模板进行求梯度近似值，但在实验中表明模板-1,0,1效果最好。,因为模值的计算开销比较大，一般可以按如下公式近似求解：,我将采用模板-1,0,1为例计算图像梯度以及方向，通过梯度模板计算水平和垂直方向的梯度分别如下：,其中，分别表示该像素点的水平，垂直梯度值。计算该像素点的梯度值（梯度强度）以及梯度方向：,我将采用模板-1,0,1为例计算图像梯度以及方向，通过,对于梯度方向的范围限定，一般采用无符号的范围，故梯度方向可表示为：,对于梯度方向的范围限定，一般采用无符号的范围，故梯度方向可表,基于梯度幅值的方向权重投影,Step 3,基于梯度幅值的方向权重投影,HOG结构,通常使用的HOG结构大致有三种：矩形HOG（简称为R-HOG），圆形HOG和中心环绕HOG。它们的单位都是Block（即块）,基于梯度幅值的方向权重投影Step 3 基于梯度幅值的方向权,Dalal,的试验证明矩形,HOG,和圆形,HOG,的检测效果基本一致，而环绕形,HOG,效果相对差一些。并且，圆形与环绕形的,HOG,文献比较少，应用研究没有矩形,HOG,普遍。所以在此，我将着重讲解矩形,HOG,的情况,。,Dalal的试验证明矩形HOG和圆形HOG的检测效果基本一致,矩形HOG块的划分：,一般一个块（Block）都由若干单元（Cell）组成，一个单元都有如干个像素点组成。,矩形HOG块的划分：,图像梯度方向直方图描述子课件,在每个Cell中有独立做梯度方向统计，从而以梯度方向为横轴的的直方图，前面我们已经提到过，梯度方向可取0度到180度或0度360度，但dalal实验表明，对于人体目标检测0度180度这种忽略度数正负级的方向范围能够取得更好的结果。然后又将这个梯度分布平均分成 个方向角度（orientation bins），每个方向角度范围都会对应一个直方柱。,在每个Cell中有独立做梯度方向统计，从而以梯度方向为横轴的,根据,Dalal,等人实验，在人体目标检测中，在无符号方向角度范围并将其平均分成,9,份（,bins,）能取得最好的效果，当,bin,的数目继续增大效果改变不明显，故一般在人体目标检测中使用,bin,数目为,9,范围,0180,度的度量方式。如下图所示：,根据Dalal等人实验，在人体目标检测中，在无符号方向角度,Block中各个参数的最终选取：,Block中各个参数的最终选取：,从图中可以看出，对于人体对象检测，块的大小为33个单元格，单元格的大小为66个象素时，检测效果是最好的，错误率约为10%左右。块的大小为22个单元格，单元格大小为88个象素时，也相差无几。68个象素宽的单元格，23个单元格宽的块，其错误率都在最低的一个平面上。块的尺寸太大时标准化的作用被削弱了从而导致错误率上升，而如果块的尺寸太小时，有用的信息反而会被过滤掉。,在实际应用中，在Block和Cell划分之后，对于得到各个像区域中，有时候还会为了进行一次高斯平滑，但是对于人体目标检测等问题，该步骤往往可以忽略，实际应用效果不大，估计在主要还是去除区域中噪点，因为梯度对于噪点相当敏感,从图中可以看出，对于人体对象检测，块的大小为33个单元格,对梯度方向的投影权重,方式的选取：,对于梯度方向的加权投影，一般都采用一个权重投影函数，它可以是像素点的梯度幅值，梯度幅值的平方根或梯度幅值的平方，甚至可以使梯度幅值的省略形式，它们都能够一定程度上反应出像素上一定的边缘信息。根据Dalal等人论文的测试结果，采用梯度幅值量级本身得到的检测效果最佳，使用量级的平方根会轻微降低检测结果，而使用二值的边缘权值表示会严重降低效果（约为5%个单位10-4FPPW（False Positives Per Window）。,对梯度方向的投影权重方式的选取：,块划分所带来的问题： 块与块之间是相互独立的么？,块划分所带来的问题： 块与块之间是相互独立的么？,分块之间的相关性问题解决,答,：,通常的将某个变量范围固定划分为几个区域，由于边界变量与相邻区域也有相关性，所以变量只对一个区域进行投影而对相邻区域完全无关时会对其他区域产生,混叠效应,。,分块之间的相关性问题,的,解决,：,方案一：块重叠，重复统计计算,方案二：线性插值权重分配,分块之间的相关性问题解决答：通常的将某个变量范围固定划分为几,重叠块：,Datal等人在他们那篇关于HOG最为经典的论文Histogram of Oriented Gradient for Human Detection提出了利用块与块的重叠（Overlap）来解决混叠，并且取得了不错的效果。,重叠块：,在重叠方式中，块与块之间的边缘点被重复根据权重投影到各自相邻块（,block,）中，从而一定模糊了块与块之间的边界，处于块边缘部分的像素点也能够给相邻块中的方向梯度直方图提供一定贡献，从而达到关联块与块之间的关系的作用。,Datal,对于块和块之间相互重叠程度对人体目标检测识别率影响也做了实验分析。,在重叠方式中，块与块之间的边缘点被重复根据权重投影到各自相,利用线性插值的方法解决分块之间联系问题,利用线性插值的方法解决分块之间联系问题：,有些文献采用的不是块与块重叠的方法，而是采用线性插值的方法来削弱混叠效应。这种方法的主要思想是每个Block都对临近的Block都有影响，这种影响，我们可以以一种加权方式附加上去。,利用线性插值的方法解决分块之间联系问题利用线性插值的方法解决,基于线性插值的基本思想，对于上图四个方向（横纵两个45度斜角方向）个进行一次线性插值就可以达到权重分配目的。下面介绍一维线性插值。假设x1和x2是x块相邻两块的中心，且x1xx2。对w（即权重，一般可直接采用该block的直方图值即h（x）进行线性插值的方法如下式：,其中b在横纵方向取块间隔，而在斜45度方向则可采用,sqrt(2),倍的块间隔。,基于线性插值的基本思想，对于上图四个方向（横纵两个45度斜,Step 4:HOG特征向量归一化,我们要对block块内的HOG特征向量进行归一化。对block块内特征向量的归一化主要是为了使特征向量空间对光照，阴影和边缘变化具有鲁棒性。还有归一化是针对每一个block进行的，一般采用的归一化函数有以下四种：,Step 4:HOG特征向量归一化,在人体检测系统中进行,HOG,计算时一般使用,L2-norm,，,Dalal,的文章也验证了对于人体检测系统使用,L2-norm,的时候效果最好。,在人体检测系统中进行HOG计算时一般使用L2-norm，D,HOG最终的特征向量,生成,Step 5,HOG最终的特征向量,生成,HOG最终的特征向量生成Step 5 HOG最终的特征向量,HOG的应用,HOG的应用：,主要用在object detection 领域，特别是行人检测，智能交通系统，当然也有文章提到把HOG用在手势识别，人脸识别等方面。,HOG的应用HOG的应用：,HOG与SIFT的区别,HOG与SIFT的区别,HOG和SIFT都属于描述子，以及由于在具体操作上有很多相似的步骤，所以致使很多人误认为HOG是SIFT的一种，其实两者在使用目的和具体处理细节上是有很大的区别的。HOG与SIFT的主要区别如下：,SIFT是基于关键点特征向量的描述。,HOG是将图像均匀的分成相邻的小块，然后在所有的小块内统计梯度直方图。,SIFT需要对图像尺度空间下对像素求极值点，而HOG中不需要,。,SIFT一般有两大步骤，第一个步骤是对图像提取特征点，而HOG不会对图像提取特征点,。,HOG与SIFT的区别HOG与SIFT的区别HOG和SIFT,关于HOG的总结,关于HOG的总结：,HOG的优点,HOG的缺点,对于HOG的一些启发,关于HOG的总结关于HOG的总结：,HOG的优点：,HOG表示的是边缘（梯度）的结构特征，因此可以描述局部的形状信息；,位置和方向空间的量化一定程度上可以抑制平移和旋转带来的影响；,采取在局部区域归一化直方图，可以部分抵消光照变化带来的影响。,由于一定程度忽略了光照颜色对图像造成的影响，使得图像所需要的表征数据的维度降低了。,而且由于它这种分块分单元的处理方法，也使得图像局部像素点之间的关系可以很好得到的表征。,HOG的优点：,HOG的缺点：,描述子生成过程冗长，导致速度慢，实时性差；,很难处理遮挡问题。,由于梯度的性质，该描述子对噪点相当敏感,HOG的缺点：描述子生成过程冗长，导致速度慢，实时性差；,算法带来的启发,算法带来的启发：,1.算法过程层面上的启发（1条）。,2.应用和后期处理层面的启发（2条）。,3.在算法数学机理的角度上的启发（1条）,算法带来的启发算法带来的启发：,感兴趣的同学可以下载：