基于视觉的车道线识别算法研究优秀毕业论文

毕业设计开题报告 Research on Algorithms of Vision-based Lane Recognition 基于视觉的车道线识别算法研究 题 目 基于视觉的车道线识别算法研究 学生姓名 学号 班级 电 班 专业 自动化 一、本课题的研究背景、国内外研究现状 随着城市化的发展和汽车的普及，交通环境日趋恶劣，交通拥挤加剧，交通事故频发，交通 问题已经成为全球范围内人们普遍关注的社会问题。基于 21 世纪信息和计算机技术的高速发展， 对待道路交通问题上，人们越来越倾向于依靠高科技寻求解决之路，世界各国都竞相开展智能车 路系统和智能交通系统。随之，智能车辆导航的概念应运而生。在车辆视觉导航系统中最为关键 的技术就是计算机视觉，计算机视觉的主要任务是完成道路的识别和跟踪。国内外许多学者对视 觉导航进行了研究，有试图用双目或多目视觉完成导航任务，但面临的最大难点是不能较好的解 决多目视觉系统的匹配问题且设备的成本较高；也有致力于单视目视觉技术的研究，但其方法缺 少实时性；有尝试用三维重建的方法识别车道线，但由于其算法复杂度高难以满足实时性的要求。 提高算法实时性和鲁棒性是目前急需解决的问题。 二、主要工作和所采用的方法、手段 根据对车道线识别算法的要求，研究几种算法的实时性和鲁棒性，并且用软件编程，仿真算 法在道路图像中的检测效果，在众多算法的研究中，提出具有一定实时性和鲁棒性的识别算法。 并用语言实现该算法，得到仿真结果。 在算法选定中，通过对比实验仿真的结果，可以看出用彩色通道提取法灰度化道路图像更能 增强车道标记线的白色部分，融合沥青路面区域信息和车道线边缘信息获取车道线像素点，具有 克服虚假边界的优点。最后，通过简化车道线模型，提出直线型车道线模型假设，并用 hough 变 换及其改进算法和中值截距法提取车道线，分别通过 MATLAB 仿真得到实验结果。 三、预期达到的结果 通过对算法的研究,预期提出的最优算法在结构化道路的情况下能够检测出车道线，同时具 有一定的实时性和鲁棒性。 指导教师签字 时 间 2009 年 3 月 10 日 摘 要 目前，许多国家有计划地开展了视觉导航系统的研究，其中道路检测是视觉导 航系统的重要组成部分,检测的精度直接关系到智能车辆行驶的安全性，因此备受关 注。本设计研究基于视觉的道路识别算法。首先分析了已有的图像预处理算法，并 根据本设计中图像处理的具体要求，选取了合适的图像预处理算法。提出对获得的 彩色图像，采用彩色通道提取法使其灰度化更能增强车道标记线的白色部分；根据 车道线倾斜的特征，自定义差分模板处理灰度化后的图像，得到车道线的边缘；为 了提高道路识别的实时性和抗干扰能力，论文提出了区域生长法，选取合适的种子 点生长出路面区域。然后，根据边缘和区域信息所表示的道路边界线，应该在空间 上占据相同或相近的位置，论文提出用融合边缘和路面区域两种信息获取车道线像 素点。在获取车道线像素点后，论文采用直线道路模型假设作为约束条件，分别用 hough 变换及其改进算法和中值截距算法提取车道线，并用 MATLAB 对算法进行了 仿真，得出了改进后的 hough 变换在车道线检测上具有较好的实时性和鲁棒性的结 论。 关键词：图像预处理 彩色通道提取 区域生长 改进的 hough 变换 Abstract Recent the research on Visual navigation systems have been developed in many countries. And a lane-detection system is an important component of many visual navigation systems. There has been active research on the lane-detection, because it closely relates to the safety of intelligent vehicles. In this thesis, the road positioning algorithms based on image are researched. At first, the current algorithms of image preprocessing are analyzed. By the specific requirements of the image processing in this thesis, the appropriate algorithm is chosen. For example, in order to get a greylevel image from a colour one, we introduced a method called getting from multicolor channel. As the result, the white line on the road image can be intensified stronger than the other ways. Then given the features of road line, a difference cyclostyle is defined to extract the edge. At the same, in order to improve the real-time performance of roads and anti-jamming capability, regional growth ways is introduced, through it we can chose a proper seed to get a regional road image. Then edge extraction and integration of regional growth way is used to identify the road edge according to marginal and regional information should occupy space in the same or similar position. After getting the road line points, straight road model is considered as the constraints and three algorithms, such as hough transform, improved hough transform algorithm and median of the intercepts algorithm, are established for linear feature extraction. Then there is a comparsion between their advantages and disadvantages by using MATLAB. Finally, a conclusion is drawed that the improved hough transform algorithm can improve the real-time performance of roads better and its robust is also prior to them. Key words: Image preprocessing Getting from multicolor channel Regional growth way Improved hough transform 目 录 第 1 章 绪论 .1 1.1 课题研究的背景和意义 .1 1.2 国内外研究现状 .2 1.3 论文的研究内容 .2 第 2 章 单目视觉系统 .4 2.1 引言 .4 2.2 单目视觉导航系统成像模型 .4 2.3 本章小结 .6 第 3 章 道路图像预处理 .7 3.1 引言 .7 3.2 道路图像灰度化 .7 3.2.1 常用的灰度化方法 .7 3.2.2 彩色通道提取灰度化 .9 3.3 图像灰度变换 .10 3.3.1 图像灰度线性变换 .11 3.3.2 图像灰度非线性变换 .11 3.3.3 基于直方图的灰度变换 .12 3.4 图像滤波 .14 3.4.1 线性平滑滤波 .14 3.4.2 非线性平滑滤波 .15 3.5 图像边缘增强 .17 3.5.1 图像的梯度和边缘检测算子 .17 3.5.2 自定义差分算子 .20 3.5.3 加入噪声图像检测实验 .21 3.6 本章小结 .22 第 4 章 道路边缘的识别 .24 4.1 引言 .24 4.2 道路检测方法简介 .24 4.3 边缘与区域相结合的道路检测方法 .25 4.3.1 区域生长法的基本概念 .25 4.3.2 融合两种信息提取的仿真实验 .28 4.4 基于模型的道路识别 .29 4.4.1 道路模型假设 .29 4.4.2 道路图像特征直线提取 .30 4.4.2.1 传统霍夫变换提取直线 .30 4.4.2.2 随机霍夫变换提取直线 .32 4.4.2.3 中值截距法提取车道线 .34 4.5 算法比较 .36 4.6 随机霍夫变换提取直线的检验 .37 4.7 本章小结 .43 第 5 章 结论和展望 .44 参考文献 .45 致谢 .46 附录 .47 1 第 1 章 绪论 1.1 课题研究的背景和意义 随着城市化的发展和汽车的普及，交通环境日趋恶劣，交通拥挤加剧，交通事 故频发，交通问题已经成为全球范围内人们普遍关注的社会问题。近年来，为解决 交通问题世界各国都竞相开展智能车路系统和智能交通系统等领域的研究。智能系 统的发展为改善交通环境状况，提高车辆行驶的安全性与可靠性，减少驾驶员人为 因素造成的交通事故等开辟了广阔的前景。随之，智能车辆导航(Intelligent Vehicle Guidance)的概念应运而生。基于视觉的智能车辆导航可追溯到 19 世纪 70 年代初期 的移动机器人研究，但由于当时的硬件水平还比较低，而图像处理的计算量非常大， 研究者的精力也就过多地耗费在硬件平台的设计、实现和测试上。但随着计算机硬 件水平的飞速发展，该问题得到了很好的解决。在智能车辆导航诸多复杂且具有挑 战性的任务中，最受重视之一的是基于视觉的道路检测问题。 从理论上分析，在道路检测中，要获得道路环境的三维信息，需要采用双目或 多目立体视觉系统 1。但是，双目或多目立体视觉系统在实际应用中所需计算量很 大，而且双目或多目立体视觉系统在视觉匹配问题上很难解决，而智能车辆在较高 速度下的图像处理速度比一般情况下要高，目前的微处理器计算能力还不能完全满 足其实时性的要求，所以目前双目或多目立体视觉系统还不适合在较高速度下智能 车辆视觉导航中应用。当前，智能车辆视觉系统主要是获取道路平面的二维路径信 息，而道路中的其它车辆和障碍物信息可以通过视觉系统、激光雷达测距仪及避障 传感器系统进行信息融合得到。这就极大的提高了信息获取的可靠性，所以单目视 觉系统仍然能够满足较高速度情况下视觉导航的要求。实际上，世界范围内大多数 智能车辆视觉导航系统都采用单目视觉来获取道路环境信息。在单目或多目视觉导 航系统中最为关键的技术就是计算机视觉。计算机视觉的主要任务是完成道路的识 别和跟踪，对于信息采集处理的实时性、行驶过程控制的鲁棒性以及自主运行决策 的可行性都有很高的要求。这些要求就使所设计的系统必须在理论算法上给予强大 的支持，针对计算机视觉部分就是要有实时高效的图像处理算法。 对基于视觉的车道线识别研究意义在于能实现智能车辆乃至机器人的自主导航， 提高驾驶的安全性，改善交通环境和驾驶的舒适性。识别技术用于车辆的路径偏离 预警系统，大部分由于车辆偏离车道造成的事故可以避免。用于驾驶员预警系统同 样具有重要意义。其次，识别技术可以用来提高智能巡航控制中跟踪引导车辆的精 2 度。最后，识别技术可广泛应用于公路、码头、仓库等的自动运输系统中，实现车 辆运输的自动化。 1.2 国内外研究现状 目前为止，国内外智能车辆无一例外地使用机器视觉作为其重要的感知方式， 基于计算机视觉系统的导航技术具有价格低廉、结构简单、方便与其他传感器进行 数据融合等优点，所以利用机器视觉识别公路上的车道线实现自主导航是现阶段智 能车辆常用的方法。该方法己经被实际系统证明是最有效的外部环境感知方式，道 路的识别是视觉导航的关键技术，因其较大的复杂性和挑战性而备受关注。 一部分学者致力于用多目视觉技术来解决这个问题。德国学者利用立体视觉方 法来提高系统的鲁棒性，可是，多目视觉中存在一个无法回避的难题是图像匹配的 实时性问题。日本通过当前图像与参考图像之间像素的迅速匹配，解决了巨大运算 量的实时处理的困难。与此同时，许多学者试图用单目技术来实现道路检测，而且 目前也已经取得了丰富的成果。其中法国学者提出一种视觉方法，仅利用一台摄像 机得到路面的信息，就能够正确地跟踪有路标和无路标情况下的道路。该方法从图 像中提取出道路的边缘特征，定位机器所在车道的位置，再采用车道的统计模型进 行精确匹配，结果较为准确。美国也采用单目摄像机，通过图像序列测取道路环境 的信息。 目前基于视觉导航的智能车辆 2中比较有成效的是：美国 Carnegie Mellon University 研制的 Navlab 系列智能车，可识别和跟踪 S 形曲线和道路行车线，平均 速度达到 88.5km/h；日本丰田公司 1993 年研制的智能车，安装了 2/3 英寸 CCD 镜 头，普通高速公路上的实验车速为 60km/h；德国的 UBM 大学研制了装有 4 个彩色 CCD 构成双目视觉系统跟踪车道白线、避障和自动超车；法国帕斯卡大学与雪铁龙 技术中心合作研究的 Peugeot 智能车，能判别引导线是否漏检或丢失，车速达 130km/h；清华大学研制的 THMR 智能车辆系统集成了二维彩色摄像机、GPS 、超 声等传感器，系统可完成白线跟踪、路标识别、道路识别等任务；吉林大学智能车 辆课题组研制的视觉导航的智能车辆实现了对路面铺设的条带状路标的视觉识别以 及车辆自主导航的功能。 1.3 论文的研究内容 当智能车辆在公路高速行驶，视觉系统作为最重要的感知手段之一时，图像在 识别外界信息中扮演着重要角色，如何通过图像提取车道线，目前有许多算法，例 3 如像素扫描、模板匹配、霍夫变换和边缘跟踪等常用的车道线边缘像素提取方法， 其中像素扫描是普遍采用的一种提取方法，具有灵活、高效、抗干扰能力强的特点。 在研究不同的算法在道路图像的应用过程中，图像的预处理至关重要。首先对 一些图像的预处理算法，如图像灰度化、图像滤波、图像边缘增强等，用 MATLAB 进行仿真，比较它们的处理结果。因为不同的预处理方法影响检测的实时性和正确 性，其中为了更多的利用彩色图像提供的车道标记线和沥青路面色彩的信息，本设 计用彩色通道提取法得到灰度化图像。由于实际情况复杂多变，如遇到雨、雪天气， 因此加入椒盐噪声模拟实际情况，并用各种常用的滤波模板处理图像。从处理后图 像再现清晰度的效果中，选出最优的滤波方法。一般获得的道路图像中包含的信息 都有车道线和路面两种信息，而由于车道线作为图像中的一种边缘，根据边缘的属 性，可以用差分算子将边缘检测出来。通过对常见的差分检测算子和自定义的差分 算子比较，可以看出后者更能增强车道线标记部分。在图像边缘增强后，不仅车道 线得到了增强，许多树木、行人、车辆等也得到了增强，由此增加了许多虚假的边 界。为获得更准确的车道线边界，本设计用融合边缘和区域信息的方法定位车道线， 并且与自适应二值化图像比较，可以看出前者克服虚假边界的能力更强。最后，建 立并提取车道线模型是最为关键的部分，本设计假设在结构化道路上，智能车辆仅 采集的是前方不远处的道路图像，提出直线型车道线模型，而且该模型计算量小， 在一定程度上能适应车辆在高速行驶过程中对实时性的要求。基于直线型车道线的 假设，在图像中提取特征直线时，用 hough 变换及其改进的算法和中值截距法进行 提取。通过比较，改进的 hough 变换随机 hough 变换实时性最好，并且对其它 图像进行检测，一定程度上随机 hough 变换的鲁棒性也符合要求。 4 第 2 章 单目视觉系统 2.1 引言 为了准确识别道路环境，视觉导航系统理应获得车辆前方道路的三维信息，包 括车辆与道路的位置关系和道路中障碍物信息。要正确的理解三维世界环境，理论 上应该采用双目或者多目视觉系统，但从立体视觉的角度来解决环境重建问题，因 为从现有的研究结果来看，直接通过对图像进行三维恢复获取环境信息有以下几个 方面的困难：首先，计算量巨大。其次，匹配点寻找困难。另外，遮挡问题。例如, 左右视野的部分场景不匹配、左右视野环境光的不同都使得户外环境下的基于像素 的视野景物深度恢复困难重重，如今的立体视觉研究者多数简化了这些不利因素的 影响。即使这样，双目或者多目视觉系统需要的计算量仍是比较大的，目前计算机 的计算能力还不足以满足车辆导航系统的实时性要求，因此双目或者多目视觉系统 一般用于复杂、未知环境下低速行驶的智能车辆，并且双目或者多目视觉系统也会 提高系统成本。对于道路检测来说，需要获得道路方向和车辆与道路的位置关系， 也没有必要一定要完全理解整个三维世界环境。目前基于视觉导航的智能车辆多采 用单目视觉系统完成道路检测及跟踪，而采用多目视觉系统完成道路上的障碍物检 测。当采用单目视觉系统检测道路时，由于从三维的世界环境转换到图像的二维信 息，在这个转换过程中，损失了三维环境中的深度信息，而且这个过程是不可逆的。 通常为了从单目视觉系统中获得道路的三维信息，对此提出了一些合理的假设，如 道路平坦假设、道路边缘连续性假设、道路模型假设等。从国内外实验情况来看， 采用了一些合理假设后，单目视觉系统进行道路检测是可行的。 2.2 单目视觉导航系统成像模型 为了得到图像中的像素和实际道路区域点的对应关系，必须知道二维图像信息 和三维世界信息的关系模型。由于单目视觉系统损失了三维世界中的深度信息，这 个过程是不可逆的，在实际应用中，根据需要作了一些假设和已知一定的信息，从 而从二维图像中估计出三维的道路信息。具体的做法如下：假设车辆前方的道路是 平坦的,设定摄像机的安装位置固定(安装的高度、俯视角、偏离角)，摄像机的固有 参数为常数(摄像机焦距、孔径张角)。由于在道路检测的过程中，只需要得到道路 延伸方向、车辆的偏移距离，并不需要将道路的三维信息完全恢复，以上的假设是 5 可以满足实际需要的。在摄像机成像几何模型中最常用最简单的是线性模型针 孔模型 3。下面就摄像机成像模型进行介绍。 摄像机成像的实质是将三维道路场景信息变换成二维图像信息，这个变换可以 用一个从三维空间(3D) 到二维空间 (2D)的映射如式 (2-1)：),(,:23 yxzRf 来表示。上述的这种映射关系可以用透视投影针孔成像模型来近似解释。透视投影 成像模型的特点是所有来自场景的光线均通过一个投影中心，它对应于透视的中心。 图 2-1(a)中经过投影中心 o且垂直于图像平面的直线为摄像机光轴 o， xyz为世 界坐标系， xyo为图像平面坐标系，f 为摄像机焦距。由几何关系可知，世界坐标 系中的点 p经投影中心 点在图像平面坐标系中的投影点为 p，可以看出其成像是 倒立的。为了避免这种倒立图像，现在假定图像平面位于 Z轴正半轴且与投影中心 的垂直距离为焦距 f处，此时点 p经投影中心 o点在图像平面坐标系中的投影点 为 ，如图 2-1(b)所示，可以看出 位于点 和点 之间，其投影大小与 p完全相 同，但是此时为正立的投影图像，这种现象在计算机视觉中也称为视网膜成像。 (a) 透视投影倒立成像图 (b) 透视投影倒立成像图 图 2-1 透视投影图像 由于这种成像模型最简单，计算量小，在作了一些假设之后，适应于实际情况， 因此本设计将单视目成像的针孔模型作为二维图像信息和三维世界信息的关系模型。 由图 2-1(a)或图 2-1(b)均可以得到 ),(zyxp点与其在图像平面上的投影点),(yxp 或 ),(的映射关系，由图中几何关系可以得到透视投影方程式(2-2)所示： ZfYX (2-1) (2-2) 6 即世界坐标系中 ),(zyxp点与其在图像平面上投影点 ),(yxp或 ),(的映射关系 如式(2-3)所示： YZfyXfx 2.3 本章小结 本章简单介绍了两种道路信息的获得方法，即采用双目或多目视觉系统和采用 单目视觉系统。由于单视目系统在实时性，系统成本上优于前者，所以目前常用的 是单视目导航系统。从三维世界坐标得到二维图像坐标的方法中，简要讨论了单目 视觉系统中最简单、常用的成像几何模型针孔模型，由于在实际应用中，一些 假设和已知一定信息的存在，该模型应用在车道线识别中是可行的。 (2-3) 7 第 3 章 道路图像预处理 3.1 引言 智能车辆视觉系统完成图像采集后，需要对获取的图像进行各种处理与识别。 而视觉系统在图像的生成、采样、量化、传输、变换等过程中，由于 CCD 传感器的 噪声、随机大气湍流、光学系统的失真等原因会造成 CCD 摄像机成像质量的降低。 另外，由于车辆行驶时视觉系统与道路环境之间存在相对运动，输出图像的质量也 会降低，常产生运动模糊等现象。为了改善视觉系统图像的质量，需要突出道路图 像中的有用信息并尽可能消除其它环境信息的干扰，因此需要对原始图像进行图像 的预处理操作。 图像预处理是指按特定的需要突出一幅图像的某些信息，同时，削弱或去除某 些不需要的信息的处理方法。其目的是使处理后的图像对于某种特定的应用，比原 始图像更便于人和机器对图像的理解和分析。 3.2 道路图像灰度化 大部分道路图像是通过彩色 COMS 图像传感器采集的，原始图像为彩色图像。 其中颜色模型为 RGB 模型，图像中的任何颜色都是通过红(Red)、蓝(Green)、绿 (Blue)三种基本颜色按照不同的比例混合得到的。在 RGB 模型中，如果 R=G=B 时， 则彩色表示一种灰度颜色，其中 R=G=B 的值叫灰度值。因此，灰度图像每个像素 只需一个字节存放灰度值，一般将白色的灰度值定义为 255，黑色的灰度值定义为 0，而由黑到白之间的明亮度均匀的划分为 256 个等级。在道路图像提取车道线过程 中，很多算法没有利用图像的彩色信息而是将其灰度化。虽然，灰度化图像无可避 免的丢失一些信息，但是对灰度图像的处理，从其存放方式可以看出速度相对较快。 而对彩色图像的处理，就是分别对三个分量处理，可见速度相对较慢。于是将彩色 图像转换为灰度图像，下面就常用的四种方法 4进行介绍。 3.2.1 常用的灰度化方法 (1)分量法 将彩色图像中三个分量的亮度分别作为三个灰度图像的灰度值如式(3-1)所示， 可根据需要选取一种灰度图像。 8 图 3-1 三分量法灰度化 ),(),(),(),(),(),( 321 jiBjifjiGjifjiRjif 其中 32),(kjifk为转换后的灰度图像在 处的灰度值。 (2)最大值法 将彩色图像中三个分量亮度的最大值，作为灰度图像的灰度值如式(3-2)所示。 ),(,),(max),( jiBGjiRjif (3)平均值法 将彩色图像中三个分量的亮度求平均，得到一个灰度图像如式(3-3)所示。 3/),(,),(),( jiBjijiRjif (4)加权平均法 根据重要性及其它指标，将三个分量以不同的权值进行加权平均。由于人眼对 绿色的敏感度最高，对蓝色敏感度最低，因此，按式(3-4)对 RGB 三分量进行加权平 均能得到亮度较合理的灰度图像。 ),(1.0),(59.0),(3.),( jiBjiGjiRjif 用 MATLAB 对分量法、最大值法、平均值法、加权平均法四种常用灰度化方 法，对一幅道路图像进行仿真，结果如图 3-1、图 3-2： (3-1) (3-3) (3-2) (3-4) 9 通过图 3-2 图像灰度化的结果可以看出：在处理道路图像时，平均值灰度化彩 色图像效果最差，因为图像大部分区域是路面，灰度化后，道路标记线被弱化。其 它看来，感觉差别不大，原因在于所选图像的色彩差别不是很大，选用色彩差别明 显的图像，可以看出加权平均法混合后可以得到更符合人类视觉的灰度值。由于篇 幅有限，这里不再用其它图像说明。 通过方法的介绍可以看出，以上的灰度化方法，并没有更多的利用彩色图像提 供的色彩信息，而是大致通用的一些方法，没有考虑到图像的特征。本设计采用的 是下面一种彩色通道提取 5的方法。 3.2.2 彩色通道提取灰度化 彩色通道提取的主要目的是根据车道标志线的色彩信息，提取一定的颜色通道， 形成突出车道标志线块状结构的灰度图像。车道标志线一般为黄色或白色，而路面 多为沥青表面。在彩色图像中车道标志线上的点成像后，其 R 和 G 通道的颜色值相 对大于 B 通道，而沥青表面的成像以灰色为主，其 RGB 三通道的颜色比较平均而 且相对较小。因此试图通过提取 R、G 通道的方法突出车道标志线的块状结构是可 行的。 为了从提取的通道合成灰度图像，在此将R、G通道的颜色值相加。具体是 R、G通道颜色值之和在一定的阈值之上的像素点直接取灰度最大值255。而低于这 个阈值的像素点，则被弱化。其在灰度图像中的像素值取(R+G)/2。综上所述，其变 换原理如式(3-5)： 图 3-2 图像灰度化比较 10 otherwisGRCifgray2/)(/)(5 式中，C 阈值； R像素颜色值的Red分量； G像素颜色值的Green分量。 从式(3-5)中可以看出，对于R、G通道颜色值较大的车道边缘点在灰度图像中其 灰度值得到强化。而对于R、G通道颜色值较小的沥青路面其灰度值将被弱化。从而 经过R+G处理后，得到的是车道边界强化的灰度图像。对于阈值C的选取，目前没 有固定的方法，本设计的做法是，在车辆采集到的图像下方取一块条形区域，搜索 B通道相对大的像素点，并计算出它们平均的(R+G)/2值，把该值作为整个图像处理 时的阈值，使整个图像尤其是远方的车道线得到增强。用MATLAB 对彩色通道提取 法对道路图像进行仿真如图3-3： 图3-3 彩色通道提取灰度化 从图3-3 中可以看出，车道边缘部分在灰度图像中得到了有效的增强，由于255 表示灰度图像中的白色，因此图中车道标记部分基本都被染成了白色，起到了增强 边界的作用。本设计选用彩色通道提取的方法灰度化道路图像。 3.3 图像灰度变换 道路图像灰度化后，灰度值通常只是集中在某个范围，为使图像的动态范围加大， 图像对比度扩展，清晰度提高，特征明显，进行图像灰度变换 6是必要的。灰度变 换可以是线性变换，也可以是非线性变换。 3.3.1 图像灰度线性变换 (2-3) 11 首先，介绍线性变换。使用一个线性单值函数，对图像中的每个像素点做线性 扩展，将有效的改善图像的视觉效果，增强对比度，而且计算复杂度低，易于实现。 基本原理如式(3-6)：令原始图像 ),(jif的灰度范围为 a,b，线性变换后的图像),(jif 的灰度范围为 a,b， 和 之间存在下列关系： ),(),( ajifabjif 另外一种情况，图像中大部分像素的灰度值在a,b范围内，少部分像素在小于 a 和大于 b 的区间。此时，可以做如式(3-7) 所示的变换： bjifajifbjifajif ),(,)(,),( 这种两端“截取式”的变换使小于灰度级 a 和大于灰度级 b 的像素强行压缩为 a和 b，显然这样将会造成一部分信息的丢失。不过，有时为了某种特殊的应用，这 种“牺牲”是值得的。道路图像的大部分信息是路面，可以预见灰度值集中在某个 区间，进行该变换是具有实际意义的。但是在道路图像处理中，压缩区间范围的不 确定性，没有得到很好的解决，因此该方法是今后进一步研究的重点。 3.3.2 图像灰度非线性变换 图像灰度非线性变换：原始图像 ),(jif的灰度范围是a,b，可以通过自然对数 变换到区间a,b上如式(3-8)，从而求得图像 ,jif： )ln,(lnl),( aabajif 这一变换扩展了输入图像的中低灰度区域的对比度，而压缩了高灰度值。由于 道路图像大部分信息是路面，其灰度值主要集中在相对较高的范围内，所以采用此 种方法，在处理道路图像时可以预见效果是比较差的。灰度变换法图像对比度增强 的结果用 MATLAB 仿真如图 3-4： (3-8) (3-7) (3-6) 12 通过此例可以看出虽然灰度线性变换可以增强图像的对比度，但是对于一些道 路图像增强效果是不明显的。根据图3-4道路图像灰度直方图的特点可以看出灰度值 是集中分布但范围广，从0-255灰度级范围内均有对应的像素存在。因此若对直方图 均衡化，可以预见图像对比度能够得到较大程度的增强。下面介绍直方图变换 7。 3.3.3 基于直方图的灰度变换 直方图是表达一幅图像灰度级分布情况的统计图，表示出具有某一灰度的像素 数，并不表示像素在图像的具体位置。直方图的横坐标是灰度，一般用 r表示，对 于数字图像信号，直方图的纵坐标是某一灰度值 ir的像素个数 in。对于数字图像有 如式(3-9) 、式(3-10)所示关系： nrpiii)( 110kii 式中， ir图像的第 i级灰度值；n 图像中第 级灰度的像素个数；k 图像对应的总灰度级数。 直方图均衡化技术是通过变换将原图像的直方图调整为平坦的直方图，然后用 此均衡的直方图校正原图像，增加图像灰度值的动态范围，从而达到增强图像整体 对比度的效果。直方图均衡化增强了靠近直方图极大值附近的亮度的对比度，减少 了极小值附近的对比度。变换函数如式(3-11)： 图 3-4 灰度线性变换 (3-9) (3-10) 13 1,0,)()(00i kjrpnrTSjijiii 其中 rTS),(是变换函数。由于变换函数需要满足 2 个条件： (1) 范 围 内 是 个 单 调 函 数 。在 10k (2) 。有对 -)(rT 可以证明 r 的累积分布函数满足上述两个条件，能将 r 的分布转换为 s 的均匀 分布。用 MATLAB 仿真直方图均衡化技术如图 3-5： 通过此例可以发现，图像的灰度值在变换后概率分布由于得到了归一化均匀分 布(在直方图中有明显的体现)，图像的对比度得到了增强。在主观评价上，可以看 出经过变换之后突出了原图像的细节，将使其具有更好的边缘检测效果。因此本设 计采用直方图均衡化技术增强图像的对比度。 图 3-5 直方图均衡化 (3-11) 14 3.4 图像滤波 任何一幅未经处理的原始图像，都存在着一定程度的噪声干扰。噪声会恶化图 像质量，使图像模糊，甚至淹没需要检测的特征，给图像的分析带来困难。在进行 进一步的边缘检测、图像分割、特征提取、模式识别等处理之前，采用适当的方法 尽量减少噪声的干扰就显的非常重要的。道路图像滤波 8主要有两大类方法：一类 方法是在图像空间域对图像进行各种滤波处理，即空域处理法；另一类方法是把空 间域图像 ),(yxf经过正交变换，如经过傅立叶变换，得到频率域的变换图像 ),(vuF， 在频率域进行各种滤波处理后得到频率域处理图像 ),(yxG。然后再变换到图像的空 间域，形成处理后的图像,即频域处理法。显然，频域处理法附加了图像正交变换的 正变换和反变换，对于数据量较大的二维道路图像需要较大的内存，且运算时间也 较长，不能满足视觉系统实时处理的要求。因此，本设计采用空间域图像滤波处理 方法。下面就常用的几种空域滤波算法进行介绍。 3.4.1 线性平滑滤波 图像平滑滤波处理分为线性滤波与非线性滤波，线性滤波方法提出较早且具有 较完备的理论基础。针对线性滤波处理，本设计主要尝试了均值滤波、均值滤波是 对图像进行局部均值运算，每一个像素值用其局部邻域内所有值的均值置换如式(3- 12)，即： syxfMyxg,),(1),( 式中， S滤波窗口；M 邻域 中的像素点数。 窗口在水平和垂直两个方向上都必须为奇数，否则图像会产生偏移。均值滤波 器可以通过卷积模板的等权值卷积运算来实现，本设计采用了 3、 5、 7、9 模板进行滤波比较。该算法在去除麻点噪声方面比较有效，但它不能区分有效 信号和噪声信号，噪声和图像细节同时被削弱。为了改善邻域平均法中图像细节模 糊问题，提出了一些改进方法，如选择平均法和加权平均法，选择平均法只对灰度 值相同或接近的像素进行平均，加权平均法则按照灰度值的特殊程度来确定对应像 素的权值，模板中的权值并不相同，其数学表达式如式(3-13)： ),(),),( ynxmfywnmgNyMx (3-12) (3-13) 15 式中， ),(yxw对应像素需要加权的值。可以根据需要进行修正，为了使处理后 的图像的平均灰度值不变，模板中的各个系数之和为 1。虽然这种改进方法，可以 在一定程度上改善细节模糊的问题，但是模板中的权值的确定，由于道路图像的多 样性，复杂性而没有固定的算法，因此具有很大的局限性。 3.4.2 非线性平滑滤波 理论和实验证明，虽然线性滤波具有良好的抑制噪声能力，但是对图像平滑会 造成图像中的细节信息损失，从而使处理后的图像产生模糊。所以本设计也尝试了 采用非线性平滑滤波处理的方法中值滤波，中值滤波是一种非线性的图像滤波方 法，它于 1971 年由 J.W.Jukey 提出的，并首先应用于一维信号处理技术中，后来被 二维图像处理技术所采用。中值滤波的基本思想是用像素点邻域灰度值的中值来代 替该像素点的灰度值，该方法在去除脉冲噪声、椒盐噪声的同时又能保留图像边缘 细节，在一定条件下可以克服线性滤波所带来的图像细节模糊问题，同时在实际运 算过程中并不需要图像的统计特征，也给计算带来不少方便，数学表示为式(3-14)： ),(),(yxfSmedianyxf 式中， ),(yxfS当前点的邻域。 用 MATLAB 对加入椒盐噪声的图像应用平滑滤波法去噪，进行 仿真如图 3-6： (3-14) 16 用 MATLAB 对加入椒盐噪声的图像应用中值滤波法去噪，进行 仿真如图 3-7： 对不同的滤波方法，如平滑滤波法、选择平均平滑滤波法、中值滤波法，分别 用 MATLAB 进行仿真，结果如图 3-8 所示： 通过对比可以看出，平滑滤波的道路图像细节变得模糊，使用改进的选择平均 法平滑滤波，使滤波图像得到了改善，但是针对不同道路图像灰度值相同或接近的 概念不能明确化，具有一定的模糊性，需要进一步研究。而中值滤波，可以看出对 图 3-6 平滑滤波 图 3-7 中值滤波 图 3-8 滤波比较 17 图像边缘有保护作用，且去噪声的同时可以较好地保留边缘的锐度和图像的细节。 显然,这一方法是比较适合本课题要求的,因为在后续的处理中我们将要提取物体的 边缘特征,所以在去噪的同时较好地保留边缘的锐度和图像细节是难能可贵的。但在 实际应用中，窗口大小选择要适宜，因为从图 3-7 中可以看出，随着窗口的扩大， 也可能破坏了图像的某些细节，从仿真结果中以选择 3模板中值滤波为宜。 3.5 图像边缘增强 道路图像滤波后，对要识别车道线来讲仍存在大量的无用信息。一般有白色标 记的车道线对路面而言有较强的边缘，体现在灰度或纹理结构等信息。道路图像的 边缘种类大致可以分为两种 9：一种是阶跃性边缘，两边的像素灰度值有明显的不 同，另一种是屋顶状边缘，它位于灰度值从增加到减少的转折点。由于 CCD 摄像机 传感器具有低频特性,所以图像中的边缘灰度值的变化不是瞬间的,而是跨越一定距 离的，图 3-9 分别给出了这两种边缘的示意图及相应的一阶方向导数和二阶方向导 数。 图 3-9 两种常见边缘一阶导数和二阶导数 基于边缘导数的特点，可以用微分算子检测出来，通常用一阶或二阶导数来检 测边缘。如 算 子 等算 子 和算 子 、算 子 、算 子 、 CanyLogewitSoblRobertsPr ,这几种 边缘检测算子的共同特点都是以梯度为基础的，首先介绍图像梯度的概念。 3.5.1 图像的梯度和边缘检测算子 梯度算子 7是一阶导数算子。对于一幅图像 ),(yxf，它的梯度定义为一个向量 如式(3-15) ： 理想信号 实际信号 一阶导数 二阶导数 18 yfxfGyxfyx),( 其幅值如式(3-16)： 2/12)()yxfmag 该向量的方向角为式(3-17)： )arctn(),(xyGy 数字图像的离散性，计算 yxG和 时，常用差分来代替微分，为计算方便，常用 小区域模板和图像卷积来近似计算梯度值。采用不同的模板计算 yxG和 时可以产生 不同的边缘检测算子。设图像的模板邻域如图 3-10 所示：1Z23456789 图 3-10 图像的邻域Roberts 边缘检测算子用如图 3-11 所示模板，来近似计算图像 ),(yxf对 和 的 偏导数： 1 0 0 -1 59ZGx0 -11 0 68ZGy 图 3-11 Roberts边缘检测算子Sobel 边缘检测算子用如图 3-12 所示模板，来近似计算图像 ),(yxf对 和 的偏 导数： -1 -2 -1 0 0 0 1 2 1 )()( 32987ZZGx -1 0 1 -2 0 2 -1 0 1 )()(74963ZZGy (3-15) (3-17) (3-16) 19 图 3-12 Sobel边缘检测算子 ewitPr边缘检测算子用如图 3-13 所示模板，来近似计算图像 ),(yxf对 和 的 偏导数： )()( 321987 ZZGx )()(741963ZZGy 图 3-13 ewitPr边缘检测算子Log 边缘检测算子是二阶导数算子，它是一个标量，无方向的，因而只需一个 模板就行了。在进行二阶导数微分计算时，常用的两个模板如图 3-14： 图 3-14 Log边缘检测算子Cany 考察了以往边缘检测算子的应用，发现尽管这些应用出现在不同的领域， 但都有一些共同的要求，归纳为三条准则：好的检测结果，好的边缘定位精度，对 同一个边缘有低的响应次数。根据这三条准则， Cany给出了三条准则的表达式， MATLAB 中集成了上述边缘检测算子函数，仿真边缘检测图像如图 3-15： -1 0 1 -1 0 1 -1 0 1 -1 -1 -1 0 0 0 1 1 1 1 1 1 1 -8 1 1 1 1 0 1 0 1 -4 1 0 1 0 20 图 3-15 传统差分算子检测 由实验结果可以看出： ewitPr边缘检测算子和 Sobel边缘检测算子因具有非各 向同性而在检测 45的道路线方面有一定优势。 Rrts边缘检测算子计算相对简 单，但图像处理后，车道线出现断点现象。考虑到 l算子是利用水平和垂直两个 方向的梯度阈值来检测道路边缘的，而道路图像中车道线与水平方向约成 45和 135，因此许多学者提出了针对车道线方向的模板，自设计差分算子。下面介绍两 种自定义的差分模板。 3.5.2 自定义差分算子 针对道路图像中车道标志线具有向左和向右倾斜的特征，如果设计针对该方向 的差分算子，可以预见比 Sobel算子更能增强车道线的位置。选用的两个差分算子 10如 式(3-18) 、式(3-19)： 032230rl SS 1121 用自定义的差分算子对灰度图像进行边缘增强，并用 MATLAB 进行仿真，实 验结果如图 3-16： (3-19) (3-18) 21 图 3-16 自定义差分算子边缘增强 从图 3-16 可以看出车道线标记在模板 21SSrl、和、 检测下得到了增强，尤其 对于远处的车道线效果更明显，但是车道线加强的同时，意味着像素点的增多，需 要进一步细化处理。考虑到各种实际情况，本课题选用第一个自定义模板如式 3-18 所示。 3.5.3 加入噪声图像检测实验 前面的实验比较的是几种差分算子在无外加噪声的情况下对道路图像的边缘检 测结果，但在实际应用中，系统采集到的图像多数情况下是已经被噪声污染的图像， 在进行去噪处理后也会有噪声的残留干扰，所以算子的抗扰性也是选取算子关键考 察的方面。通常在实际道路识别中，遇到雨、雪等恶劣气候条件的情况下，系统采 集到的图像视野中经常有大量的雨雪颗粒，严重影响对道路图像中特征曲线的提取。 在各种噪声模型中，椒盐噪声可以很好地模拟雨、雪颗粒对图像质量造成的影响 8， 因此通过实验比较各种差分算子对椒盐噪声污染后的道路图像的边缘检测能力具有 实际意义。 对加入椒盐噪声的图像，用常用的差分检测算子进行边缘检测，并用 MATLAB 进行仿真，结果如图 3-17： 22 图 3-17 加噪声后传统差分算子检测 从实验结果中可以看出加入椒盐噪声对几种差分算子检测都产生了的影响。其 中 Roberts边缘检测算子产生了断点； ewitPr边缘检测算子和 Sobel边缘检测算子的 检测效果较为理想,边缘较为完整；通过无外加噪声图像、加入椒盐噪声图像的实验 结果表明在这几种情况下， itr边缘检测算子和 l边缘检测算子的检测效果 较好， erts边缘检测算子在有噪声情况下产生较多的断点,定位不准确。 对比 Sobl边缘检测算子和自定义差分算子在有噪声干扰的情况下的边缘检测结 果，用 MATLAB 进行仿真，结果如图 3-18： 23 图 3-18 加入噪声后的边缘检测 从结果中可以看出，在椒盐噪声的影响下，自定义差分算子的检测效果较好， 车道边界特征明显，没有出现断点现象。考虑各种情况后，选用第一种如式(3-18)所 示自定义差分算子作为道路图像边缘检测算子最适合。 3.6 本章小结 本章主要介绍了进行道路识别前的准备工作,是后面章节的基础。主要讨论了图 像的预处理问题。本设计研究的道路检测系统中的道路检测技术,行驶过程采集到的 图像,由于道路不平坦、或者其它因素,视觉系统会产生振动、松动等不确定因素,使 采集到的图像质量受到影响。为了增强道路图像的识别可靠性,降低道路检测算法的 复杂性,有利于道路边界的正确识别和精确定位,需要对采集到的道路图像进行预处 理,以提高图像的质量。 在所有的图像处理算法中,没有哪一种算法可以适用于处理各类图像。每一种算 法都有一定的针对性和局限性。在实际研究过程中,为了找到各种有效的图像处理方 法,需要作广泛的实验。根据当前视觉导航系统的需要,对算法加以必要的改进,从而 可以得到适合本视觉系统的最优算法。本课题道路图像预处理包括图像的灰度化处 理、均衡化处理、滤波处理、边缘增强处理。为后续道路图像的分割和道路标志的 识别提供了很好的条件。 在研究的诸多预处理图像算法中，针对本设计提供的图像和算法自身的优点， 采用彩色通道提取法灰度化道路图像，直方图均衡化技术增强对比度，对噪声图像 24 用 3中值模板滤波，自定义差分算子边缘检测。 25 第 4 章 道路边缘的识别 4.1 引言 在视觉导航诸多复杂且具有挑战性的任务中,最受重视的是道路识别(road following),它包括道路检测和道路追踪两个部分。道路检测是视觉导航研究中的核 心问题之一,也是视觉导航发展水平的重要标志之一。检测包括道路定位，行驶物相 对道路边界的位置，判断驶出道路区域的可能性等，道路追踪不再对整幅道路图像 进行全面的处理,只是利用前一次道路检测得到的车道信息,实现对道路的快速检测 定位,这样可以进一步提高系统的实时性。由于论文时间有限，本设计只对道路检测 部分进行了仿真实验。目前，道路检测技术有单目和双目或多目视觉系统之分。 本章算法没有从立体视觉的角度来解决道路环境重建问题,因为从现有的研究结 果来看,直接通过对图像进行三维恢复获取环境信息有很多的困难：首先,计算量巨 大。其次,匹配点寻找困难。另外,遮挡问题。如今的立体视觉研究者多数简化了这 些不利因素的影响,但是就实际影响来看,任何一个因素都可能导致环境深恢复的错 误,尤其是在光线环境比较复杂的户外。这就使得基于像素点进行三维重构的方式进 行视觉导航只适用于比较简单的环境。而对于环境较为复杂的户外环境,多数没有采 取对图像进行基于像素的三维恢复的方式，而是采用单目视觉系统。 本章将在单目视觉系统针孔成像的模型下进行道路的检测,由于检测的是一般路 面，因此主要利用了道路的边缘和区域两种方法的结合。并用 MATLAB 进行了仿 真实验。 4.2 道路检测方法简介 现有的道路检测算法 11主要有以下三种： (1)基于彩色图像的分割方法。这种方法是利用彩色图像中 RGB 彩色空间原理, 根据道路在 Red,Green,Blue 三个彩色分量上与周围非路面环境的不同 ,对输入的彩 色图像进行路面和非路面的二值划分,这种方法更适用于没有车道线的非标准车道。 但是基于 RGB 的彩色图像分割方法对道路与非道路的分类标准并不是很充分,于是 人们又提出了基于 HSG 的图像分割方法。其中 Betkel 等人提出图像色彩的 HSG 表 达能提供对道路与非道路更有效的分类准则,其中的色度 H 和饱和度 S 分量对人行 道、树和天空有一致的表达,并且去除了不平整路面的影响。而一些具有高亮特征的 26 如汽车尾灯、交通信号、车道标志及道路边界等需要用灰度级 G 分量来识别。 (2)基于灰度图像的车道线检测与跟踪算法。这是目前车道线检测与跟踪的主流 方法，它可以充分利用车道线提供的灰度信息进行自主导航,非常适用于等级较高的 公路。同时这类方法有一些突出的问题需要解决,如当车道线被其它车辆遮挡时,需 要准确估计被遮挡的部分车道线。还有由树木、桥梁、建筑物及其它车辆等产生的 阴影对路面灰度值产生的影响进而对检测造成干扰等问题。 (3)神经网络方法。在智能车辆导航研究中,采用人工神经网络是一种很典型的 方法。通过在实际景物中驾驶车辆来训练神经网络,这种方法可以用于非结构化道路 跟踪,但是它也有一个很大缺点即不知道车道线的位置,因而与车道线有关的许多辅 助功能无法实现,当用于等级较高公路时,效率低下。 参考近年来有关文献，当前基于视觉的道路检测技术主要有以下两个方向的研 究：一个方向是侧重于研究道路边缘信息，另一个方向是侧重于研究路面区域信息。 根据分析，可以得知边缘和区域是物体的两个互补特性，因为获取边缘信息时容易 过分分割或合并，而导致丢失或添加图像边界，可以通过区域信息来补偿边沿的部 分不确定性，因此文中提出对边缘边界和区域边界进行综合分析,以得到准确的道路 边界。 4.3 边缘与区域相结合的道路检测方法 经过边缘增强处理后，从图 3-16 中可以看到不仅道路边缘信息,其它信息如树 木、行人等轮廓线也得到增强，这些轮廓在图像中形成了许多的假边界。为了克服 假边界的干扰,本设计采用区域生长 11的方法,得到道路图像的路面区域信息。根据 路面的区域信息和自定义差分算子提取的边缘信息定位车道线边界，这种方法的优 点是对噪声不太敏感,即使在强阴影下也能得到大体正确的路面描述。下面首先简介 区域生长法。 4.3.1 区域生长法的基本概念 区域生长的基本思想是将具有相似性质的像素点集合起来构成区域，具体先对 每个需要分割的区域找一个种子像素作为生长的起点,然后将种子像素周围邻域中与 种子像素有相同或相似性质的像素根据某种事先确定的生长或相似准则来判定合并 到种子像素所在的区域中，直到再没有满足条件的像素可被包括进来，这样一个区 域就长成了。其中生长准则常用的是图像的灰度、纹理、彩色等信息。通过上述分 析可知，在用区域生长法处理道路图像时，有以下两个问题是非常关键的。 27 一、区域生长的一个关键是选择合适的生长或相似准则，使用不同的生长准则 会影响区域生长的过程，目前，区域生长法在处理道路图像中大多采用灰度差准则。 区域生长方法将图像以像素为基本单位来进行操作，基于区域灰度差的方法，主要 有如下步骤： (1)对图像进行逐行扫