智能图像处理的交通应用

智能图像处理的交通应用 视频图像处理技术在智能交通系统中的应用 中文摘要 视频交通流参数的检测在智能交通系统 ITS 中起着越来越重要的作用，它能使交通管理者更加全面地了解交通运行状况。常用的交通流参数的检测有多种方式，但其中基于图像处理技术的视频车辆检测方式近年来开展很快，由于它具有许多其他参数检测方式所没有的优点，因此它逐渐地成为智能交通系统领域的一个研究热点。 基于视频的交通流参数检测系统具有直观、安装简便、费用低，它代表了车辆检测器的开展方向。城市交通的十字路口，车辆是按车道行驶的，车辆的检测是基于各个车道上的交通图像分析和处理来实现，我们通过在各个车道上设置虚拟检测区域，通过提取检测区域域中的图像特征来检测交通流参数。 本文以在城市录制的一段十字路口交通视频为研究对象，先获取图像背景、再进行图像门限分割及二值化、图像去噪等图像预处理，并在此根底上通过实现在虚拟检测区域内的车辆计数，提出了一种城市道路交通智能控制视频处理系统模型，该系统模型包含了在车流量计算根底上的交通灯智能控制和闯红灯车辆的跟踪。具体的研究内容主要有： 1 研究并分析了在视频交通图像里面如何提取运动目标的过程，采取背景差分的方法来提取运动车辆目标； 2 根据设置的虚拟检测区域，分析该区域内图像随时间变化的特征，完成虚检测区域域内车流量计算； 3 提出了一种城市道路交通智能控制视频处理系统模型，获得了十字路口各方向的车流量参数和违章车辆信息，并利用这些参数和信息实现了交通信号灯的智能控制以及对闯红灯违章车辆的跟踪。最后本文所使用的算法，主要采用了VC+60和OpenCV图像开发包，在PC机上给予了设计与实现并取得了较好的效果。关键词：智能交通系统；视频车流量检测；车辆跟踪 第一章 绪论 社会生产力的开展推动着交通运输现代化的进程，然而在享受着现代化交通带来的巨大便利的同时，人们也面临着道路拥挤堵塞、交通事故频发等问题导致的严重困扰。交通需求不断增长、交通系统日益复杂，单独从车辆方面或道路方面考虑，均很难有效地解决交通问题。于是，近年来把道路、车辆等，凡与交通有关的所有一切都归为一体的智能交通系统 Intelligem Transportation System，ITS 1的研究开发应运而生。ITS是一种实时、高效、全方位的综合交通运输管理系统。它是将先进的信息技术、定位导航技术、数据通信传输技术、自动控制技术、图像分析技术以及计算机网络和信息处理技术等有效地综合运用于整个交通管理体系，将人、车、路三者紧密协调、和谐统一，从而建立起大范围内、全方位发挥作用的实时、准确、高效的运输管理系统。其根本结构如图1.12所示： 智能交通系统可以为交通部门及时、准确地提供诸如车流量、道路拥塞度和事故监控等交通信息，使交通部门能有效地获取有关交通状况的信息，并进行处理，从而更好地发挥交通管理系统在交通监视、交通控制、出入控制、救援管理等方面的准确性和调控性。 目前人工智能计算机视觉技术和硬件技术的飞速开展，图像和视频技术已经广泛应用于新一代智能交通系统中。计算机视觉就是利用各种成像系统代替视觉器官作为视觉信息输入手段，由计算机来代替大脑完成处理和解释。计算机视觉不仅能使机器感知环境中的几何信息，包括位置、大小、形状、运动等，还能对它们进行描述、解释和理解。计算机视觉技术为交通系统提供了直观方便的分析手段，交通环境中的大量信息，如车辆、交通标志和路面标识等都源于视觉。 目前，世界上已形成了美国、日本、欧盟三大ITS研究开发基地，除此之外，亚洲的韩国，新加坡和我国的香港特区ITS开展水平也较高3。 美国自动化的交通管理水平以前是落后于欧洲与日本的，由于美国土地资源相比照拟丰富，因此相当一段时间内是靠修路来解决交通拥堵问题。但近年来面对已经相当庞大的公路网，要想再占用大量土地，投入大量资金大规模进行道路建设已经不可能。因此美国在智能公共交通领域已建立起相对完善的车队管理 通讯系统、地理信息系统、车辆自动定位系统、乘客自动计数系统、公交运营软件系统、交通信号优先智能交通系统中车辆视频检测、识别与跟踪方法的研究系统 、公交出行信息 出行前公交系统、车站路边的公交信息系统、车上公交信息系统、综合乘客信息系统 、电子收费和交通需求管理技术等四大系统及多个子系统及技术标准标准。 日本的智能交通开展也是相当迅速，推出的车载塞车预测系统，装置有预测系统的车辆经过某一区间时，信息中心会收集其通过这一区间所需时间，并据此统计各路段交通状况。通过 访问信息中心，同时向信息中心提供自己的行车记录。随着提供信息的车辆的增多，样本数据信息精确度也会因此而提高。如果有更多的车辆装载塞车预测系统，就可以对车辆进行有效的分流，从而减少城市塞车的时间。 欧盟对ITS的研究、开发也不甘落后，组成了欧洲道路运输信息技术实施组织 ERTICO ，总开发投入50亿美元，实施智能道路和车载设备的研究开展方案。后进行了Telematic的全面应用开发工作，欧洲方案在全欧洲范围内建立专门的交通 以道路交通为主 无线数据通信网，ITS的主要功能如交通管理、导驶和电子收费等都围绕Telematic和全欧无线数据通信网来实现。 20世纪90年代以来，中国经济进入高速开展的时期，交通需求越来越高，车辆和道路的矛盾越来越大，兴旺国家在交通上遇到的问题，在中国来得比预期的要早，甚至更严重，因此智能交通系统在我国的实施势在必行。智能交通系统的研究和推进在我国还处于起步阶段，但ITS作为新世纪经济增长点和交通系统建设必然选择的重要性已得到国家相关部门的高度重视。 在世界经济飞速开展的今天，交通在国民经济中占据着越来越重要的地位。交通的现代化程度成为衡量一国一城现代化水平的重要标志。然而，交通的现代化却带来了许多问题：道路的拥挤，事故的增加，交通环境的恶化，等等。这就需要有强有力的交通管理手段，而依靠人为管理的管理系统由于效率低、本钱高，显然已不适应交通现状。 第一代交通自动管理系统采用无线遥感、红外、雷达等方式来获取环境信息，并传达给指挥人员，由指挥人员对交通实施管理。采用这种方式比纯人工方式有了巨大进步，减轻了交警的负担，缓解了交警警力缺乏的问题。但是，采用这种方式也有其缺点，指挥人员接收到的只是信号、数据，对现场状况无法有更深入的了解，决策的正确性更多地依赖于经验，因此还不能说是真正的自动化、智能化。在ITS中车辆的实时检测、识别与跟踪是最根底的局部，其他的功能都是建立在车辆检测、识别与跟踪算法的根底上的，它要求从摄像机所得到的图像序列中，检测有无运动车辆进入摄像机的视场，并且定位出运动车辆的位置，它属于计算机视觉的研究范围。得益于人工智能计算机视觉技术和硬件技术的飞速开展，图像和视频技术已经广泛应用于新一代智能交通系统 ITS r9。视频跟踪技术近年来引起越来越多的研究者们关注，这主要由于两方面原因：一方面，计算和存储本钱的大幅度下跌使得以视频速率或近似视频速率采集存储图像序列成为可能；另一方面，视频跟踪技术的极为广阔市场应用前景也是推动此研究的主要动力。目前国内的智能交通系统的主要应用还是集中在智能视频监控功能，但实际的监控任务仍需要较多的人工完成，在很多情况下，视频监控系统所提供的信息是没有经过任何解释的视频的裸数据，这就不能充分发挥监控系统应有的实时机动的监督作用；另一方面，为了防止一些车辆和行人的违章、违法行为，对无人值守的视频监控系统的需求量日益上升，这类系统主要目标是减少对繁琐人工的依赖，自动完成对复杂环境中人和车辆进行实时观测以及对感兴趣目标的行为进行分析和描述。要完成这些任务，需要涉及到计算机视觉领域中许多核心技术，对感兴趣目标的持续跟踪是其中的核心技术之一，是基于视频场景分析、行为理解等诸多后续处理的根底。 由前文可知，车辆检测是智能交通系统研究中的一个必不可少的局部，在此根底上，可以融合其他道路参数来实现对异常行车状况报警、跟踪以及十字路口交通信号灯的智能控制等等。 交通信号灯是交管部门管理城市交通的重要标志信号。随着城市汽车保有量的越来越多，城市的交通拥挤问题正逐渐引起人们的注意。目前绝大局部交通信号灯的时间都是设定好的，不管是车流顶峰还是低谷，红绿信号灯的时间都固定不变还有一些交通信号灯能根据简单划分的时间段来调整时间，但控制起来都不是很灵活，这使得城市车流的调节不能到达最优3。而车辆闯红灯不仅是造成道路交通拥挤、堵塞的主要原因，也是产生交通事故的主要隐患。 本文所述设计正是针对这些弊端进行了改良，提出了一种城市道路交通智能控制视频处理系统模型。该模型是基于Visual C+60和OpenCV开发包来进行开发的，该系统使用视频图像处理技术，获取十字路口各方向的车流量参数，以及违章车辆信息，并利用这些参数和信息实现了交通信号灯的智能控制。并通过设置闯红灯虚拟检测区域，如果有车辆闯红灯时，很快就能将其检测到，并获取其车辆轮廓的外接矩形，更改该辆车闯红灯标志特征的值。接下来根据视频连续两帧中同一辆车之间的对应关系，用当前帧中出现的车辆轮廓的外接矩形与已经记录下来的闯红灯车辆轮廓的外接矩形相匹配，根据匹配结果实现对闯红灯车辆的跟踪，并将其图像截取并且存储。本文共分为五章根本上与文工作相对应，具体内容如下： 第一章：绪论。本章重点介绍智能交通系统 ITS 的概况，以及国内外的开展现状、趋势。并简要介绍了本文的主要研究内容。 第二章：视频车辆检测技术。本章简要介绍了当前的各种车辆检测技术、以及视频车辆检测的特点和目标检测算法。 第三章：基于视频的交通信号灯智能控制模型。本章重点介绍了本文的视频车辆检测的常用方法、如何在车辆检测的根底上获得车流量参数、分析和建立交通信号灯智能控制模型的过程以及该模型局部实验结果。 第四章：闯红灯违章行为跟踪。本章重点介绍了在对各种跟踪方法研究的根底上，通过设立闯红灯虚拟检测区域，实现对闯红灯违章行为的检测，并使用基于特征的方法实现了对闯红灯车辆的跟踪以及局部实验结果的提供。 第五章：全文总结和展望。 第二章视频车辆检测技术 车辆检测技术有多种方式。目前常用的是地感线圈、雷达 微波 、超声波、红外、激光、视频等几种检测技术4。 目前常用的车辆检测器是环型线圈检测器，它能监测车辆的存在以及路段的饱和度。环型线圈检测器成熟、稳定，检测的精度高，而且可以工作在恶劣的天气环境下，但环型线圈检测器也有其固有的缺点：环型线圈检测器不能同时监测多个车道，当安装或维护线圈车辆检测器时，需要阻断交通流。当两辆车过于接近时，环型线圈检测器将会误认为是一辆车等等。 超声波检测器利用反射回波原理制成的，微波检测器按照多普勒效应原理工作，红外检测一般采用反射式检测技术。虽然超声波检测与光学检测器不会破坏路面，但是也存在检测区域小、维护困难、容易造成二次触发等缺点。 由于电磁感应线圈与光学检测器的缺点，它们未能得到更好的推广，而基于视频与图像处理的视频车辆检测技术由于具有检测区域广，维护简单等优点，使之成为了近年来计算机视觉领域中备受关注的前沿方向。 在智能交通系统 ITS 的众多信息中，交通特征参数信息是最根本的，它包括车流量、车型分类统计、车流密度等。这些数据是交管部门制订政策、采取措施、对交通设施进行规划的科学客观的依据。要构建完整的ITS系统，首先应建立一个能准确、高效获得交通特征参数的交通信息采集系统，其核心是交通信息检测技术5。 近年来，基于计算机视觉和图像处理技术的交通信息检测技术 简称视频检测技术 逐步成为研究主流。其工作流程为：通过安装在路面上方的摄像机采集交通图像，应用计算机视觉和图像处理技术处理图像数据，获取实时、丰富、动态的交通信息，进行交通的信号控制、信息发布等。其主要优点有：首先视频检测具备图像监视和交通数据采集双重功能。二是视频车辆检测系统的灵活性要大于环形线圈，视频检测系统的检测区域容易重新定位，可满足不断变化的数据采集要求。此外，视频检测设备还可以移到别的地方使用，并且支持多条车道同时检测。三是视频检测系统的摄像机架设在地面以上，安装无需破坏路面，在系统的安装和维修期间不需要关闭车道。 视频检测算法是整个系统的核心，其好坏将直接影响系统的检测精度和检测效率。而在近几年ITS市场的推动下，基于视频图像分析和模式识别技术的交通检测算法针对其特有的应用场合，逐步成为目标检测技术的一个研究分支。0.通视频图像特点和视频目标检测过程 典型的车辆交通视频图像的特点6是： l、车辆作为唯一运动的物体； 2、车辆运动根本与车道平行，很少有并道的现象； 3、路面上一般都存在与道路方向平行的白色分道线，分道线间距固定，约为7m； 4、路面的平均灰度反映了当前的光照条件。 因此我们可以根据这些特点对视频序列中的车辆进行检测，并在车辆计数的前提下，获取车流量参数。 视频目标检测的根本过程7是：通过视频摄像头，对目标进行图像输入，将输入的目标模拟图像经过图像采集卡进行数字化转换，变换成可用计算机进行处理的数字图像。由于在进行图像采集过程中，会有一些影响图像质量的噪声信号产生，所以应用这些数字图像进行处理之前，必须进行图像滤波除噪，图像增强等图像预处理，再对预处理后的图像，进行图像分割和特征提取，最后利用提取的目标图像特征进行目标检测和目标跟踪。.视频车辆检测方法 基于视频的车辆检测方法，可分为如下4类：知识型，运动型，立体视觉型和像素强度型。 1 基于知识的方法陟101N用车辆的形状、颜色、对称性等信息，以及道路和阴 影等常识信息进行相关检测。该方法简单、直观，易于编程实现，但需要估计多个经验阈值，如车辆长宽的经验比值、车辆边缘的最小长度、车辆阴影与道路的灰度差异阈值等。经验阈值准确与否，直接关系系统性能的好坏。 2 基于运动的方法主要利用序列图像之间存在的大量相关信息进行车辆的预检测，主要有光流法四。光流法能检测出独立运动的对象，不要预先知道场景的任何信息，且适用于摄像机移动情况。但缺点是耗时大，对过于复杂、过快或过慢的运动检测效果不好，不适合实时系统。 3 建立在视差或频差理论根底上的机器立体视觉，运用两个或多个摄像机对同一景物从不同位置成像获得立体像对，通过各种算法匹配出相应像点，从而恢复深度 距离 信息1121。该方法能在车速很小时直接检测其位置，但它要求正确标定摄像机，受车辆运动或天气等因素影响，这是很难做到的。在基于立体视觉的车辆检测中，常用IPM Inverse Perspective Mapping 13法估计图像中车辆及障碍物的位置。 4 基于像素强度的方法直接检测帧间变化，主要有时间差分法和背景差分法。时间差分法14在一个较短的时间内检查相邻各帧之间像素强度的变化，非零像素被认为是运动对象造成的。该方法适合于动态变化的环境，但不适合摄像机运动的情况，也不能完整提取运动对象。现有的背景模型根本是建立在统计模型根底或其变种之上。该方法快捷简单，实时性较好，适合运动快且形变较大的运动目标，但不适合有全局运动的场景，如不平坦或弯路较多的道路等。虽然车辆检测算法开展至今己有40多年，但解决以下问题是一项长期的任务： 1 车辆在尺度、位置、方向上的变化。例如进入视野的车辆具有不同的速度，在形状、大小、颜色等方面都会产生变化。 2 车辆的外观受车辆的观察角度和邻近物体的影响。同时，车辆之间的遮挡、光照条件的改变也会对车辆的外观造成一定影响。 3 道路两边的场景在持续变化，环境光照随时间和天气改变。 4 巨大的图像处理任务与系统的实时性要求。 因此，车辆检测算法在识别速度和准确度上与人们的预想还有很大差距，今后的开展方向应该表达在提高算法的速度、准确度、自适应性方面。 视频图像的最大的特点是：它有丰富的原始数据、相邻近帧间的强相关性以及时域上的动态时变模式等，在很大程度上使运动目标易于检测、分割和识别成为可能；与静态图像相比，图像序列及视频的最大优点就在于对运动信息的捕获。因此运动目标的提取与分析理应是图像序列和视频研究的重点。运动目标检测是检测视频序列中是否存在相对于背景图像运动的物体。运动目标检测对于一个视频监视和处理系统来说有着至关重要的作用。它处于整个系统的最底层，是其他高级应用如目标跟踪、目标识别的根底。只有正确地检测到运动目标才能进行下面的工作，否那么就会产生很大的偏差和错误以致后面的工作无法开展。运动目标检测依据前景目标所处的背景环境，可以划分为两类一静态背景下的运动目标检测和动态背景下的运动目标检测，本文主要研究摄像机不发生运动的静态背景运动目标检测。运动目标检测结果的好坏直接关系到整个系统的优劣。好的运动目标检测算法应能准确的检测到运动目标，而且能适应各种监控环境有较强的抗干扰性和处理速度快实时性的特点。通常一个好的运动检测算法应具有以下特点： 1 在各种天气条件下都可使用，无论是刮风或雨雪天气； 2 能适应环境光线的变化，尤其是较快的光线变化； 3 能处理场景中背景物体的干扰，如由于风吹动树梢摇晃； 4 处理无序的大面积区域的各种运动。但是对于一个算法来说考虑到各种实际应用环境尤其是室外的情况，要想满足上面的所有条件是很困难的，而且有的要求本身就是矛盾的。因此只能根据实际的应用需要相应的调整各个要求标准在整体中寻找均衡条件，实现整个系统的性能最优化。 常用的运动目标检测算法可以分为连续帧间差分法、光流法和背景差分法，下面将分别介绍它们。.间差分法 对于背景静止的运动目标检测来说，随着时间的推移背景没有变化只有运动目标有位移。位移表达在视频帧中就是发生运动的区域灰度值产生了较大变化，如果能检测到这种变化就可以分析目标的运动情况了。通过相邻帧的差分就可以检测到这种变化。 利用公式 21 计算相邻帧之间的差异得到差分图像取，然后选择阈值对差分图像二值化就可以获得初始的运动目标，根据需要可以添加后处理去除噪声干扰得到更好的结果。图像的二值化处理是一种基于灰度的处理。对于给定的阈值，程序将灰度大于给定阈值的点变成自点，另外的点变为黑点。图像经处理后变为只有黑自二色的二值图像。判决门限的自适应比人为的设定一个固定门限的检测效果要好很多，因为自适应的门限可以反映出来不同检测视频以及不同的时间，光照度条件下的灰度信息，并根据灰度信息的变化，自动调节门限值。假设一幅图像的宽为m，高为n，图像像素点 x，y 处的像素灰度值为f x，y ，采用了如下的公式来计算自适应门限15：假设灰度图像f x，Y 二值化后的结果图像为g x，y ，那么 相邻帧间差分法进行目标检测的主要优点是：算法实现简单；程序设计复杂度低；易于实现实时监视；基于相邻帧差的方法，由于相邻帧的时间间隔一般较短，因此该方法对场景光线的变化一般不太敏感。 最根本的帧间差分法可以检测到场景中的变化，并且提取出目标，实际应用中，帧间差分法的结果精度不高，难以获得目标所在区域的精确描述。考虑到后续的跟踪和识别总是希望检测到的运动区域能够尽可能的和运动目标的真实轮廓相同，这样就可以为跟踪和识别提供准确的信息提高系统性能。但是在使用过程中存在两个问题：一是两帧间目标的重叠局部不容易被检测出来，即只检测出目标的一局部或者出现了较大比例的空洞，这是由于我们直接用相邻的两帧相减后，保存下来的局部是两帧中相对变化的局部，所以两帧间目标的重叠局部就很难被检测出来；二是检测目标在两帧中变化的信息，这样会存在较多的伪目标点，检测出的目标往往比实际的目标大一些，这是由于实际目标颜色或者灰度在一定的区域内较为均匀所导致的。. 光流方法的运动检测采用了运动目标随时间变化的光流特性16。光流是图像灰度模式的外表运动。光流中既包括了被观察物体的运动信息，也包括了有关的结构信息。光流场的不连续性可用来将图像分割成对应于不同运动物体的区域。考虑像素点m在位置 x,y 处f时刻的灰度值I x,y,t ，令点m的速度为如果灰度随x,y,t缓慢变化，将上式左边泰勒展开为：其中O dt2 代表阶数大于或等于2的项，消去I x,y,t 并忽略O dt2 ，得其中是图像在m处的梯度，是图像在m处的速度的梯度。是向量的点积，这个方程就是光流约束方程 optical flowconstraint equation 。有Vx，Vy，两个未知数而只有一个约束，显然不能唯一确定光流，必须参加其他约束条件来同时求解Vx，Vy。为此人们提出了各种方法来求解，比方：使用光流全局平滑性假设来求解光流的HomSchunck方法；用一个模型通过最小二乘法来拟合像素点邻域内的光流值约束光流进行局部调整的Lucas-Kanade方法；利用二阶导数求光流的Nagel方法等。光流法的优点是在摄像机运动时也能检测出独立的运动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置那么不能被应用于全帧视频流的实时处理。.分法 背景差分法适用于摄像机静止的情形。当有运动目标出现的时候，当前图像帧的亮度就会发生变化，通过将当前图像帧和背景模型进行比拟，确定出亮度变化较大的区域，即认为该区域为前景区域。这种方法的计算速度很快，可以获得关于运动目标区域的完整精确的描述。但对于比拟繁忙的场景来说背景模型的初始化比拟困难，而且对场景中光照变化、大面积运动和噪声比拟敏感，在实际应用中需采用一定的算法进行背景模型的动态更新，以适应环境的变化。 可以说背景差分法核心有两个，一是用适宜的概率分布建立背景模型，另外就是不断的更新背景模型以适应现实场景的变化使之能够抵抗背景变化的干扰。出于处理速度和算法性能及应用场合的考虑，本文选择了不断的更新背景模型，以适应现实场景的变化的方法作为前景区域的检测方法。 本章节首先介绍了了当今的主要车辆检测技术，分析各自特点并认为基于视频的车辆检测方法是将来的车辆检测开展的大趋势。之后，分别介绍了与视频车辆检测相关的几种经典的动目标检测方法，并阐述了这些方法在视频车辆检测中的进一步开展情况，为后续的如何有效地提取运动车辆目标的过程这一工作的展开作好铺垫。 第三章基于视频的交通信号灯智能控制模型 近年来，实时交通视频处理系统被广泛地运用到许多场合中，在智能交通系统 ITS 中发挥了越来越重要的作用。在基于视频分析技术的交通检测算法中，前景运动目标的分割、提取算法为后续目标跟踪以及目标分类 机动车、行人、非机动车等 提供了核心的参数，同时也是最容易受到各种因素干扰的关键局部17。 由前文可知，背景差分法是提取前景运动目标的一种比拟成功的方法。它通过计算输入图像与背景图像之差，以获取前景物体。在本文中将使用输入图像与背景进行差分运算的方法来提取运动信息。目标提取的具体流程如图31所示： 1 将彩色图像转换成灰度图像 本实验使用的是彩色图像，而对车流量检测只需要视频图像的灰度信息即可，所以每读入一帧彩色图像，都要先将其转换成灰度图像。自然界中颜色是由三种根本色红 Red ，绿 Green ，蓝 Blue 组成，而计算机中显示的任何一种颜色都可以用这三种根本颜色按照不同的比例混合得到，这就是三原色理论。公式如下： 其中足R，G，B为三原色，而x，y，z为3种根本颜色的系数，C为任意一种颜色，计算机图像颜色处理是根据三元色理论，对三种基色分别量化成0到255共256个级别，这样根据红、绿、蓝三种不同基色的组合，就能够表示256x256x256种颜色，这么多种颜色对于人眼来说足够了。如常见颜色R G B组合值表示有：红 255，0，0 ，蓝 0，255,0 ，绿 O，0，255 ，黄 255，255，0 ，灰 128，128，128 等等。 灰度 Grayscale 就是指只包含亮度信息，不包含色彩信息的图像，计算机中表示灰度图是把亮度值进行量化等分成0-255共256个级别，O最暗 全黑 ，255最亮 全白 ，而在R G B模型中，如果R G B，那么颜色 R，G，B 就表示灰度色。 考虑到图像的合理性，选用下面的公式进行灰度转换 其中Gray表示图像中像素的灰度值，R表示该像素的红色分量，G表示绿色分量，B表示蓝色分量；O30，059，011分别为实验和理论推导证明得出的最合理灰度图像的权值。这样输入的彩色图像就转换成为实验中需要的灰度图像。 2 图像平滑 图像平滑主要是为了消除噪声，它包括空域法和频域法两大类：在空间域内可以用邻域平均来减少噪声；在频率域，由于噪声频谱通常多在高频段，因此可以采用各种形式的低通滤波方法来减少噪声。 在空域法中，图像平滑的常用方法是采用中值滤波或均值滤波，对于中值滤波，就是指把以某点似力为中心的小窗口内的所有像素的灰度按从大Nd,的顺序排列，将中间值作为力处的灰度值 假设窗口中有偶数个像素；那么取两个中间值的平均 。但对于细节多，特别是点、线、顶点多的图像不宜采用中值滤波。而均值滤波方法，常采用模板法来实现，即通过一个点和它周围的几个点的某种运算 通常是平均运算 来消除突然变化的点，从而滤掉一定的噪声。由于本文需要提取的特征为车辆的轮廓，所以应该采用均值滤波的方法进行图像平滑。 均值滤波常用的模板有： 中间的宰表示中心元素，即用该元素做为处理后的元素。高斯模板是一种加权平均的模板，其把中心点的权值加强为最高而随着距中心点距离的增加减小系数值，这是为了减小平滑处理中的模糊现象。本文便是利用该高斯模板来进行空域滤波，去除噪声和平滑图像的。 3 获取背景 在基于复杂背景下的交通视频图像中，要单独的获取一帧不包含运动物体的图片帧，也确实比拟困难。因此，我们需要考虑复杂背景图像下参考帧的获取，需要对M帧图像进行叠加，取平均值，然后进行定时更新。 4 图像背景更新 前一步的在背景消除处理中，背景作为参考帧，背景的好坏直接影响到检测的结果。简单的背景差分方法的实现可以认为背景是始终不变的，这样实现起来比拟简单。但是在现实的情况下，背景会随着时间的变化而变化，比方光照引起的变化、背景物体移入移出等。如果保持背景模型不变的话，有可能会把很多背景点误检为前景点，因此需对背景进行更新。 背景更新采用了每隔一段时间进行背景提取并进行背景更新的方法：程序中设置一个定时器，每隔一段时间，程序就开始进行新一轮背景提取，在此背景的提取过程中，程序进行车辆的检测。不过此时所用的背景为上一次提取的背景，当前背景提取完后，用当前背景覆盖前一次提取的背景，图像下一帧的车辆检测就使用更新后的背进行检测。此方法能够有效抑制光线和自然条件的缓慢变化，并能够提高背景差分算法检测车辆的效果。本文用一种加权系数法18更新背景图像。 其中，Bpt为要估计的背景；Bpt-1为初始背景；Cpt-1为当前图像，0 K 1。本文在选取不同K值进行屡次实验比拟背景更新效果后，将K值设定为095，以实现背景在不同时间段光照不同的情况下的更新，提高检测的准确性。图32为实际交通十字路口视频处理后得到的灰度背景图像。输入的灰度图像减去背景图像后的提取目标效果首先通过连续获取假设干帧图像，采取如前所示的方法即可以获取交通视频背景，实验证明，当取值为200帧以上的时候，将获得较好的背景。将获取的每帧图像与所得到的背景帧图像相减，得到检测到的运动车辆目标效果，在本实验中M取200帧。 6 二值化背景差分的图像并进行形态学处理 图像经过二值化处理以后，即可以看到运动车辆目标都以白色点标示。但是通过对图像进行二值化分割后，由于光线的反射、车辆车窗灰度及车身灰度与路面太接近等原因，不可防止分割的差图存在横向及竖向的断层，所以需要对图像进行形态学处理处理。 形态学一般是指生物学中研究动物和植物结构的一个分支。人们后来用数学形态学 也称图像代数 表示以形态为根底对图像进行分析的数学工具。数学形态学的语言是集合论，数学形态学中的集合表示图像中的不同对象。例如，在二值化图像中，所有黑色像素的集台是图像完整的形态学描述。数学形态学的根本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状，分析、识别图像，它的应用可以简化图像数据，保持图像根本影状特性，并除去不相干的结构，即输入是图像，输出是从这些图像中提取出来的属性。数学形态学的根本运算有四个：腐蚀、膨胀、开操作和闭操作。它们可应用于二值化图像和灰度图像中。本文利用形态学处理中的闭操作，用于去除孤立的噪声前景点和填补车窗和车身间的色差所产生的孔洞。本实验处理的视频分辨率为 352x285 个像素，考虑到在实验中要检测目标为机动车辆，平均大小约为 6080 个像素，远大于其他运动目标如：行人、摇动的树叶等等，因此以图3.3所示的滤波核，先后进行两次先腐蚀后膨胀的形态学闭运算，用以消除干扰信息。 图3.4为实际交通十字路口视频图像处理后得到的车辆目标，可以看出原始的十字路口的彩色视频图像经过前文所述的各种处理后，提取了比拟完整的车辆目标。 在前面章节中，图像的预处理并没有限制检测区域，因而系统的处理将会消耗大量的硬件资源，甚至会导致系统运行起来非常缓慢，无法满足系统的实时性要求。而以设置虚拟检测区域为典型代表的视频检测方式，较之传统的地感线圈检测方式具有以下优点： 1 安装方便，不破坏路面，施工时根本不影响交通； 2 利用多种探测器，实现不同的检测功能； 3 检测器设置方便、灵活； 4 可以实现大区域检测： 5 系统采用模块化、结构化设计，可扩展性好、系统运行效率高； 6 维护方便且本钱较低。 因此本文采取设置虚拟检测区域的方式来分析处理图像，这样就会大大减少硬件资源的消耗，提高系统运行的效率【19】。目前在国际上不少公司都推出了自己的视频检测产品，如美国的Autoscope，Video Track-900，VTDS，西门子的ARTEMIS和比利时的Traficon等。.置虚拟检测区域的设置方法 虚拟检测区域就是在图像中选择了一个检测带，比方： 6010 个像素的区域，只在这个范围内对数据进行计算。在检测区域设定的时候还要注意以下两点:虚拟检测区域的设定：由图32可以看出，一般摄像头都不是装在道路的正上方，一般位于道路的交叉45度处。因为数字图像是离散点阵，一幅数字图像，可以用公式 3.8 表示： 等式右边的矩阵就代表数字图像，矩阵中的每一个元素称为像素。表示图像的横向像素数和纵向像素数。每一个像素都有两个坐标，表示其在图像中的位置。所以检测区域的设定方法可以参照离散序列求面积的方法，由起始点 Xo，Yo ，横坐标y的变化范围是0, m+n ，Y每次增l 到达下一个像素点 ，纵坐标X的变化范围为 X1，X2 ，依次画下来，便可以得到以任意一个点 Xo，Yo 为起点的图35所示矩形检测区域。 2 虚拟检测区域的宽度：实验说明，其宽度应宽于车辆但又略小于车道宽度，长度应该等于.，这样的大小便可以满足检测要求。.型示意图以及相关参数说明 我们根据该交通路口视频实际情况，给出图36中各车道的平均车流量以及路段平均车流量的定义20。 1 各车道平均车流量Ci：定义：为单位时间内该路段某车道通过的车辆个数，单位为 辆秒 。数学模型：在tkj到tkj+t时间段，车道i内有N辆汽车通过，那么Ci N/t,这里k表示测试次数，测量一定次数K后，那么其中CKi表示第k次测试时车道i的车流量参数，K为总测试次数为常量。 2 路段平均车流量C定义：路段平均车流量定义为单位时间内该路段通过的车辆个数，单位为 辆/秒 。数学模型：车道的车流量为Ci假设该路段同方向上共有R条车道，那么 图3.6是本文中使用的城市的单一十字路口的示意图，这个路口示意图包含了以下几个内容： 1 标明了各路口的方向； 2 标明了各路口的车道的数目，本文中假设每个方向的只有正向和反向两个车道，正反车道间用隔离带隔开； 3 标明了虚拟检测区域的位置：东西方向的虚拟检测区域应设在车辆在红灯停车等待时，东西方向左转弯区域右侧，东侧路口和西侧路口各设置一个，同理，南北方向也是如此设置，在本实验中，分别为的检测区域E1、检测区域W1、检测区域Sl、检测区域N1； 4 标明了南北方向车辆通行时，东西方向车辆闯红灯时的闯红灯虚拟检测区。 东西方向车流量检测所需的数据由图36中的检测区域El和检测区域W1来提供，而南北方向车流量检测所需的数据由检测区域N1和检测区域S1来提供。 由于一般摄像头都不是装在道路的正上方，一般位于道路的交叉45度处，由图3.2中实际的十字路口的视频图像可以看出。所以不同的虚拟检测区域的阈值也应该不同，这样才能准确对各个虚拟检测区域通过的车辆的进行计数，各虚拟检测区域的阈值是通过使用前1025帧图像对车辆检测计数进行训练而获得的。在本实验中这个车辆计数过程表述如下： 1 从摄像头获取实时视频后，并进行图像的灰度变换和图像缩放变换，使之成为分辨率 352288 个像素的灰度图像，并进行高斯滤波以平滑图像； 2 用上一章中背景提取和更新方法获取统计背景，并将当前的灰度图像与其做差分运算，得到前景图像，亦即所有的活动目标； 3 将处理后的前景图像用自适应阈值方法进行图像的二值化操作，将该图像变为只含有亮点 像素值为255 和暗点 像素值为O 的二值化图像，并进行形态学闭操作，用以填充车辆目标中的孔洞和去除其他较小的动目标 如：行人和摇动的树叶等等 ； 4 前一步中获得的图像中，在十字路口的东西南北四个方向上都设置虚拟检测区域； 5 在每一个虚拟检测区域中进行以下车辆车流量计算过程：Stepl:初始化车辆通过标志flag为0；Step2：读入虚拟检测区域的图像，并判断该检测区域是否开始有亮点，假设有那么将flag设置为1，表示该车辆第一次进入虚拟检测区域；Step3：Step2之后每读入图像的一帧都要判断车辆通过标志flag是l还是O。假设flag是1，累计检测区域内的亮点个数 在实验中以变量sum表示 ，但不对车辆数目 在实验中以变量number表示 进行累加。Step4：连续读入假设干帧图像后，当亮点的个数到达一定值，并在第一次到达该值时，认为有车经过并对车辆数目进行累加，即number+，并修改flag的值，使之再次为0。Step5：继Step4后，再读入下一帧图像时，但需要判断是否还是前面已经计数过的那一辆车，即判断车辆通过标志flag是否为1。假设flag不是1而是0，那么认为是新进入虚拟检测区域的车辆，那么跳转置Step2执行。如此循环下去，在检测周期 在本实验中为连续读取2075帧图像的时间 ，在东西和南北车辆各自的通行时间内，便可计算各检测区域车辆的数目，具体的流程如图3.7所示。再由公式 39 和 310 便可以计算车流量的值。.分析 根据实际情况，红绿信号灯时间应该根据公式 3.11 中的东西和南北方向上车流量的总和公式 3.12 中的两个方向车流量的比例这两个参数来动态调节。 车流量的总和C说明了单位时间内的各方向车流量的总体情况，即总体车流量是大还是小；而两个方向车流量的比例k，那么说明了不同的交通流方向上车流量的差异，即东西和南北方向的车流量是否悬殊。在这种想法下，本文构建了一个用这两个参数进行动态调节红绿灯周期的交通信号灯智能控制模型。 该模型中的一些参数的说明：东西方向车流量 CH 的定义为：在一个红绿信号灯周期T内，东西方向绿灯通行时间 TH 内的车流量 NH 与东西方向绿灯通行时间 TH 的比值，单位为：辆/秒。 南北方向车流量 CV 的定义为：在一个红绿信号灯周期丁内，南北方向绿信号灯通行时间 TV 内 也即东西方向红信号灯时间 的车辆数目 NV 与东西方向绿灯通行时间的比值，单位为：辆/秒。.建立 1 根据两个方向车流量的总和 C CH+CV 建立红绿信号灯时间动态调整表格 表3.1 ，车流量的总和C在不同的范围内，红绿信号灯周期丁的值也不同，C越大，T也相应地增大。这样就应该根据车流量总和C在一定范围内对红绿信号灯周期丁进行动态调整，并将此作为交通信号灯周期的外层调整标准，该标准决定了十字路口的每个车流方向的总体时间，具体不同的C和T的对应关系见表3.1。根据实际交通中的情况可知，在较短的时间内，在某一个方向上的车流量的变化不会太大，决定采取以下方案：Stepl：在检测周期内 本实验中为读取用于检测区域阈值训练1025帧后再读取2075帧图像的时间 ，按前文所述的方法计算虚拟检测区域内的车流量，并记录每个虚拟监测区域的出流量，计算C CH+CV和k CH/CV的值；表31外层调整标准表Step2：根据东西和南北方向上的车流量的比例七。争来调整总的车辆通行时间T的组成局部TH和TV使其满足两个条件，公式 3.13 和 3.14 ：. 因此建立了红绿信号灯时间动态调整表3.2，根据东西和南北方向的车流量差异来动态调节东西和南北方向的红绿信号灯时间。但在实际情况中，并不要精确到每次都以k的准确值来确定乃，这样会在很大程度上增加不必要的计算量，根据表3.2中的区间划分标准，取k的上限值来计算。在车流量总和C确定对应为某一个值T时，东西和南北方向红绿信号灯时间的分配情况，即TH和TV的取值情况，并将表3.2作为红绿信号灯周期的内层调整标准。 这样就可以实现根据十字路口不同方向的车流量情况对红绿信号灯周期的动态调节了。.nCV开发包简介 OpenCV是Intel开源计算机视觉库。它由一系列C函数和少量C+类构成，实现了图像处理和计算机视觉方面的很多通用算法21。l、OpenCV具有以下特征，为本实验的完成提供了很好的平台： 1 开源计算机视觉库采用CC+编写； 2 使用目的是开发实时应用程序； 3 独立于操作系统、硬件和图形管理器； 4 具有通用的图像视频载入、保存和获取模块； 5 具有底层和高层的应用开发包； 6 基于Intel处理器指令集开发的优化代码； 7 统一的结构和功能定义； 8 强大的图像和矩阵运算能力； 9 方便灵活的用户接口。2、OpenCV的函数体系22 OpenCV中每个函数的命名都以“cv开始然后是该函数的行为及目标。例如用来创立图像的函数cvCreatelmage，载入图像的函数cvloadImage。OpenCV为图像处理及计算机视觉在实际工程中的应用而设计的一个类库。其中所有的函数都由于其在实际应用中所实现的不同的功能而分属不同的类型。主要的函数类型有： 1 根本的图像处理与分析函数。这个类型的函数主要用于实现一些根本的图像处理与分析功能。例如图像平滑，函数cvSmooth、Sobel算子cvSobel、Canny边缘分割函数cvCanny等。 2 结构分析函数。包括有轮廓处理函数。几何学函数以及平面细分函数。 3 运动分析与目标跟踪函数。包括有用于运动分析与目标跟踪的函数。例如背景重建函数cvAcc。用光流法或动态轮廓模型来实现目标跟踪的函数cvCalcOpticalFlowT3M和cvSnakelmage以及卡尔曼滤波函数CvKalman等。 4 摄像机标定和3D重建函数。包括有用于摄像机标定。姿态估计以及从两个摄像机进行3D相似重构的函数。 5 GUl与视频处理函数。包括有高级图形用户接口highGUI用以实现对图像的载入、显示及保存等根本操作以及用以实现视频输入输出及处理的函数。 利用这些函数，在VCH60开发环境下，就可以实现本文所提出的城市道路交通智能控制视频处理系统模型的开发。.号灯动态调整模型的实验过程和结果分析交通信号灯动态调整模型的实验过程由以下四个程序模块实现：视频读取程序模块：该模块的主要功能是从视频文件中以25帧/秒的速度，开辟内存空间后逐帧读取视频图像，得到的视频图像如图3.8 a 所示。本模块使用的相关函数有：1 cvQueryFrame CvCapture?capture :可从摄像头或者视频文件中逐帧读取 彩色图像；2 cvCreatelmage CvSize size，int depth，int channels ：开辟图像存储所需要的内存空间，并初始化图像大小、像素深度和图像通道数；3 cvReleaseImage Ipllmage?image -程序运行结束后，释放内存空间。2、车辆分割和提取程序模块：该模块的功能是实现彩色视频图像的灰度转换、图像平滑、背景提取和更新、二值化和形态学操作。本模块使用的相关函数有：1 cvCvtColor const CvArr*SIC，CvArr*dst,hat code ：将源图像转换成另一色彩空间的目标图像，本实验中code的类型为：CV BGR2GRAY，代表从RGB彩色图像转换成灰度图像；2 cvSmooth const CvArr*SIC，CvArr*dst,int smoothtype，int paramI，intparam2，double param3 ，double param4 ：使用各种方法平滑图像，本实验中的smoothtype的类型为Cv-GAUSSIAN，即用高斯模板将图像进行平滑处理去除噪声；cvConvertScale const CvArr*src，CvArr?dst，double scale，double shift ：将源图像按一定尺度和平移转换成目标图像，本实验中为cvConvert pFrImg，pBkMat ；将每帧读取视频的灰度图像作为初始的背景图像；4 cvRurmingAvg eonst CvArr?image，CvArr?aCc，double alpha,const CvArr*mask ：用滑动平均的方法用读取的当前帧的灰度图像，按一定的调节更新速率alpha，本实验以alpha 005的速率更新背景图像，处理得到的视频图像如图38 b 所示；5 cvAbsDiff const CvArr*sicl，const CvArr*sic2，CvArr*dst ：图像相减函数，本实验中用当前帧的灰度图像减去更新背景灰度图像，得到当前帧对应的前景图；6 cvAdaptiveThreshold const CvArr?src，CvAn?dst，double _value，intadaptive_method，hat threshold_type，int block_size，paraml ：用自适应阈值的方法获得前景灰度图像的二值化图像：7 evDilate const CvArr?src，CvArr?dst，IplConvKemel?element,int iterations ：对图像进行形态学的膨胀操作；cvErode const CvArr*SlC，CvArr*dst,IplConvKemel?element，int iterations ：对图像进行形态学的腐蚀操作； 这两部操作用于突出车体，处理得到的视频图像如图3.8 c 所示：3、车流量计算程序模块：该模块的功能是通过在虚拟检测区域对提取的车辆进行计数并计算车流量信息。本模块使用的子程序有：1 检测区域车辆计数子程序：用于计算各个检测区内的车辆数目，以检测区域W1为例：/检测区W1车辆检测计数过程for i1 O；i1 M1+N1-1 ；i1+ /列变化 forj1 xl_low；j1 x1_up；j1+ illuminance l int cvGetReal2D pFrMat，j 1，y1 ； If illuminance l 255 ， countl 1； sum1+ countl； else countl 0； if il M1 xl_up+； else xl_up-； if il N1 xl_low-； else x1_low+； y1+；虚拟检测区域 if suml 160 & flag1 0 /大于且第一次大于检测阈值时计数 flagl l； /标志有了一辆车进入检测区域，检测标志置1numberl+ flag1；/车辆检测计数printf flagl dtsuml dnumberl fn,flag1，suml，number1 ； If suml 160 flagl O；/一辆车计数结束，检测标志置02 车流量计算子程序：将东西方向和南北方向的车流量分别计算出来，处理得到的视频图像如图3.8 d 所示。4、交通灯智能控制程序模块：主要功能是用东西和南北方向的车流量之和与之比这两个参数来实现红绿灯时间的智能控制。本模块包含红绿灯时问外层调整、内层调整子程序和模拟显示子程序：1 外层调整子程序：通过计算东西和南北方向的车流量之和，并将车流量和划分成7个区间，分别对应不同的东西和南北方向绿灯通行时间之和；2 内层调整子程序：通过计算东西和南北方向的车流量之比，并将车流量比值划分成6个区间，分别对应不同的南北方向绿灯通行时间和东西方向红灯等待时间；3 模拟显示子程序：按照调整后的红绿灯时间，在窗口中模拟不同方向通行时绿灯亮的倒计时过程，处理得到的视频图像如图3.8 e 所示。前景，夜晚检测效果不佳23。不过在正常情况下夜晚路口的车流量也很小，因此本文并没有把夜晚的情况列入讨论范围之内。本章节主要在第二章视频图像预处理的根底上，设置虚拟检测区域，并以简单可行的车辆计数算法，实现了在很小的虚拟检测区域内就可以计算车辆的车流量。这样可大大减少硬件资源的消耗，提高系统运行的效率。以路口模型示意图的方式，标明了各虚拟检测区域的位置。而且通过对十字路口各个方向车道车流量的分析，可以得出各个方向车道的车流量之间的对应关系，并在此根底上建立城市道路交通智能控制视频处理系统的交通信号灯的智能控制局部，并用实验结果证明了交通信号灯的智能控制系统模型的合理性。 第四章闯红灯违章行为跟踪 随着经济快速的开展，城市交通拥堵严重、事故频发、环境恶化。为提高道路的通行能力，合理调节公路网的交通流分配，减少交通事故的发生以及其带来的损失，必须准确、快速地对交通异常和交通事件进行检测24。 通过道路上监控摄