非结构化道路环境理解.ppt

非结构化道路图像理解,一.道路图像理解综述,道路检测 连续帧道路检测 道路偏离检测 道路识别与跟踪,1.道路检测,1.1 基于特征的方法 1.1.1 道路区域检测 1.1.2 道路边缘检测 1.2 基于模型的方法 1.2.1 建立道路模型 1.2.2 提取车道线像素 1.2.3 拟合车道模型,1.1 基于特征的方法,基于特征的方法不需要道路的几何结构信息, 主要利用图像中道路区域的颜色、纹理、边缘等低级特征从图像中检测出路区域或路边缘。,1.1.1 道路区域检测,灰度直方图 聚类的方法 用颜色特征检测道路 纹理特征 概率,道路区域检测可以看成是一个图像分割问题。,图像预处理： 选定感兴趣区域, 消除噪声，边缘增强 边缘抽取： 常用的边缘算子包括Canny、Roberts、Laplace、Prewitt、Sobel等算子 二值化: 阈值的选取 Hough变换可以得到连续的道路直线,1.1.2 道路边缘检测,1.2 基于模型的方法,1)建立道路模型 对道路形状的假设 2)提取车道线像素 边缘检测、哈夫变换、模板匹配 3)拟合车道模型 直接拟合、哈夫变换和似然函数方法。,2.连续帧道路检测,将图像处理限制在上一帧图像的结果的邻域可以显著提高道路检测的速度, 降低对硬件的要求, 满足实时性要求。,感兴趣区域 上帧边缘k邻域作为下次边缘检测的区域 在感兴趣区域进行边缘检测,3.道路偏离检测,道路偏离检测是在道路检测的基础上, 不仅给出道路信息, 还要给出车辆偏离道路中心的信息。,基于偏移距离的方法： 车体中心与道路中心的准确偏移距离 基于偏移角度的方法： 车辆行进的方向偏离车道线方向,4.道路识别与跟踪,道路识别与跟踪系统建立在道路模型、运动学模型和动力学模型的基础上, 系统不仅要给出道路参数, 还要给出车辆相对于道路的位置信息和运动信息。,道路识别与跟踪常用的方法： 卡尔曼滤波、粒子滤波,二.非结构化道路图像理解,结构化：高速公路、城市道路 非结构化：越野环境、乡村道路,非结构化环境理解更具挑战性：,道路形状不规则 没有明确的边缘 光照、景物、天气复杂多变,形状的不规则，边缘的模糊，决定了非结构化环境理解只能采用-基于特征的区域检测方法,非结构化环境地形分类,基于颜色特征的地形分类 基于纹理特征的地形分类 颜色纹理特征融合 主动学习,1.基于颜色特征的地形分类,Manduchi提出一种方法，采用大量且多样化的特征数据来训练，以消除光照所产生的影响。使用高斯混合模型进行分类。,该算法可以消除光照阴影的影响 但是对50米以外的场景，会有错误的分类,Buluswar等人提出使用多变量决策树来学习不同的地形所占据的RGB颜色空间区域。 随后，Manduchi又提出了一种仅用一个典型光源下的地形图像来训练模型的方法。使用典型光源下的每一类颜色统计的知识来预测在新场景下的光照类型。 已有人证明，错误分类不能仅仅依靠颜色特征而被去掉。,2.基于纹理特征的地形分类,Castano提出了一种基于纹理特征的地形分类方法，使用基于多尺度-多方向的Gabor滤波器组提取的特征,基于Garbor纹理特征的分类效果一般，但是涉及到大量的滤波，对于计算具有较高的要求。,a.原图 b.手动标记 c.混合高斯模型 d.直方图模型,另外，还有其它的基于纹理特征的道路图像理解算法：,基于小波变换 基于离散余弦变换(DCT) 基于灰度共生矩阵,3.颜色纹理特征融合,由于使用单一的特征对地形分类无法取得令人满意的结果。Shi等人提出颜色特征与纹理特征结合的方法。,基于高斯混合模型的非结构复杂环境地形分类,3.1 特征提取,颜色特征：采用YIQ颜色空间 计算每个特征窗口的颜色平均值及协方差，得到9维颜色特征向量,每幅图像分割成无重叠的16*16 大小的子图像，称为特征窗口,纹理特征： 对特征窗口先进行离散余弦变换。 在每个区域内按下式计算能量值，选择N=4可得到 13维的特征向量，对于一个2N*2N的特征窗口,将颜色特征与纹理特征合并，可得到22维的颜色纹理特征。,GMM： 类条件似然密度,模型的参数是由高斯分布的均值向量和协方差矩阵决定的。 一般采用迭代方法，建立训练数据的最大似然方程，然后采用EM算法对类参数进行评估,一种分类策略,选定任一特征窗口，与周围邻域的8个特征窗口可以形成一个33的小矩形。 设每个小窗口属于最大类条件似然概率这一类。,通过GMM求出每个特征窗口属于某一地形类别的最大类条件概率密度。,对于9个特征窗口，选择属于类别k (k=1,2,.T)的个数Jk及类条件似然概率Pj，j=1,2, Jk。 其中J1 + J2 + Jk =9。 然后计算属于各个类别k的平均类条件概率,如果,那么，当前中心窗口就归为k类。,除了GMM+颜色纹理特征算法，还有SVM+颜色纹理特征等方法，也能得到较为满意的结果。,4. 面向可通行区域分类的主动学习算法,有监督学习的方法，需要大量有标记的样本作为训练样本。 然而在实际情况中，对大量样本进行人工标记是极其繁琐和费时的。,主动学习正是为有大量未标记样本服务的，它能自动决定哪些样本需要标记，以用较少的标记样本达到良好的学习效果。,Dima首先将主动学习用于可通行区域分类中，筛选最有“兴趣”的1020幅图像交由专家标记。,Tong提出交互式SVM主动学习算法，即SVMactive。,L是空集，U包含所有未标记样本,SVMactive的原理图,KSVMactive:,为了解决样本数不平衡问题，采用SVM超平面位置校正算法，根据上次迭代中专家标记与当前SVM分类结果的差值，调整本次迭代过程中超平面的位置。,在超平面附近，聚集大量相似程度很高的样本，SVMactive的方法是：按距离超平面最近的样本交由专家标记的方法，效率较低。 KSVMactive采用非监督的K均值聚类选取最有代表性的样本。,聚类中选择的样本需要满足三个条件： 1.样本与SVM超平面距离要近 2.样本间的相似程度要高 3.与已标记样本的相似性程序要低,具有最小得分值的样本被认为最有代表性的样本，选出交由专家标记。,KSVMactive的原理图,L是空集，U包含所有未标记样本,使用三种不同方法的平均分类正确率,三.总结与展望,目前基于单目视觉的道路图像在移动机器人、自动导引车、辅助驾驶、智能交通系统等领域得到了广泛的应用, 但仍有很多的问题需要解决, 今后的研究可以在以下3个方面深入。,进一步提高系统的实时性、可靠性、鲁棒性 从适合结构化道路转向适合各种自然道路 多传感器信息融合,谢谢,