数字图像处理车牌识别技术ppt课件

图像模式识别应用,专题：车牌识别技术 图像分析处理技术的综合应用,1,一、车牌识别技术简介,车牌识别是现代交通管理的重要措施，是智能交通系统的重要环节 内容： 车牌识别系统是采用数字摄像技术和计算机信息管理技术，对运行车辆实现智能管理的综合运用技术 理论基础：数字图像处理和模式识别 车牌识别技术具有典型性，容易推广到其它识别对象,2,识别流程,主要由三部分组成 图像捕获一般采用CCD摄像头，包括整车图像或牌照(一般为彩色图像) 后两步由计算机实现 关键部分是第三步：字符识别（OCR）,3,识别步骤,具体识别步骤如下(不是唯一的)： (1) 获取整车或局部图像； (2) 对获取车辆数字图像进行预处理； (3) 车牌定位； (4) 二值转换； (5) 车牌分类； (6) 车牌分割； (7) 字符识别； (8) 结果优化(车牌模糊识别)。,4,二、车牌定位与分割,车牌定位：通过车牌区域的特征来判别牌照的位置，将车牌从图像中分割出来 步骤： (1)彩色图像灰度化 (2)图像增强 (3)边缘检测 (4)模板匹配 (5)输出牌照子图像,5,CCD 输出,CCD捕获的汽车图像,6,灰度图像,彩色图像灰度化,7,灰度增强,灰度增强改变对比度,8,边缘提取(方法多种),定位、分割后输出 下步工作是对分割输出进行字符识别,9,1、彩色图像灰度化,CCD摄像头输出的图像一般是24位真彩色图像，需进行灰度化，使不同颜色车体统一化，同时实现快速处理 两种制式都可以采用 PAL制： 亮度 NTSC制：亮度,10,2、对比度增强,利用灰度变换增强对比度，突出车牌区 一般采用截取式变换 ： 常采用下式,11,3、边缘检测,主要方法 (1) 对图像进行直分析处理 (2) 提取车牌区域边界 (3) 灰度点运算 (4) 模板匹配 (5) 算子法 (6) 形态学处理 (7) 其它边缘提取方法,12,车牌图像特征,车牌定位与分割的理论与方法是根据车牌图像的特点来确定的 车牌图像主要特征有： (1) 车牌区域内的边缘灰度直方图统计特征 (2) 车牌的几何特征 (3) 车牌区域的灰度分布特征 (4) 车牌区域的水平、垂直投影特征 (5) 车牌形状特征和字符排列格式特征 (6) 车牌的形态学特征 (7) 频谱特征,13,车牌图像的组成,组成：省份汉字(或其他汉字)+字母或阿拉伯数字，共7位，即 X1X1X3X4X5X6X7 例：川AK0387 尺寸：宽 45mm、高 90mm、间隔符宽10mm、单元间隔 12mm 字符笔画在竖直方向是连通的 牌底与字符颜色对照大，边缘非常丰富 四类：蓝底白字、黄底黑字、黑底白字、 白底黑字,14,定位分割难点,抓拍图像受环境因素干扰，特别环境光的干扰，环境光太强时，图像淡薄，对比度变差； 车尾有其它字符，使车牌定位困难； 车牌大都存在污染而变脏； 车牌部分被遮挡； 车牌图像为运动图像，拍摄时产生失真。,15,模板匹配,用与图像中车牌一样大小的已知模板，在经对比度增强后的图像中，从起点(0,0)开始，逐步平移一一匹配，寻找最佳区域 匹配公式： 最大值为输出 已知模板并不是某个具体的车牌，而是具有车牌统计特性的通用模板，是一种模糊匹配,16,形态学处理确定车牌位置,将图像二值化,通过膨胀、腐蚀操作定位,17,车牌定位算法之一,(1) 对原始图像进行基于方向区域距离测度的彩色边缘检测得到原始边缘图像 (2) 对原始边缘图像中的每一边缘点进行边缘颜色对检测，获得候选车牌边缘图像 (3) 对候选车牌边缘图像进行闭运算获得连通域图像 (4) 计算各连通域的宽高比，剔除不在阈值范围内的连通域，若只剩下一个连通域，则可确认为车牌区域，转(7),18,车牌定位算法之一,(5) 若还有多于一个连通域，则计算r。剔除不在阈值范围内的连通域，若只剩下一个连通域，则可确认为车牌区域，转(7) (6) 若还有多于一个连通域，则对其进行彩色边缘检测然后进行水平扫描，统计每行灰度值为1的个数N，如果有连续M行以上Nn1,n2，则可认为此连通域为车牌区域 (7) 在原始图像中提取车牌图像,19,三、车牌字符识别技术,与通用的OCR识别方法类似 模板匹配法 首先对字符二值化，并归一化字符尺寸，然后进行模板匹配，选取择最匹配输出 神经网络匹配法，两种算法： (1) 先对各字符进行特征提取，利用特征训练网络分类器，然后用分类器识别字符 (2) 由网络对输入图像自动提取特征并识别,20,1、预处理,车牌经定位、分割检出后，基本上具有被识别的条件，但还需做适当预处理 预处理： (1) 图像二值化 在彩色图像灰度化后，因车牌类型不同，会出白底黑字和黑底白字两种，需要统一为一种 (2) 字符分割,21,2、二值化,二值化的关键是阈值的选择 二种方法：全局阈值、局部阈值 全局阈值 其中hl是灰度值为l的像素个数。,22,3、倾斜校正,提取的车牌图像有可能是倾斜的，为了便于识别，需对图像进行倾斜度校正 方法：哈夫(Hough)变换 计算车牌图像上、下边界直线 计算边界直线的倾斜度 P 倾斜度校正,23,4、尺寸归一化,字符的大小归一化可以简单地用统计分析法来完成 归一化内容: (1) 位置归一化，即把字符移到规定的位置上， 使字符的质心对中，也可字符边框定位 (2) 大小归一化，使被识别字符具有同样大小,24,5、字符识别,识别方法较多 匹配法识别 采用相关函数作为相似度测度 其中，T为模板，S为模板覆盖下的图像子块，i、j为子块左上角坐标，M、N为模板长和宽,25,6、字符优化,按照上述车牌定位和切割方法取得的单个字符图像，可能存在字符与边框相连、字符变形和字符断裂等情况，为此在真正识别之前需要对字符位图作进一步的技术处理； 常用的方法是将用于识别的字符位图按新的点阵大小重新采样，然后搜索字符位图的准确上下左右边界值，依照字符位图的宽高值和新的边界值重新确定字符像素点，并排除非字符情况，如左右边界值之差过小、上下边界差过小等情况即认为非字符。,26,7、字符类型,民用车汉字：京、津、晋、冀、蒙、辽、吉、黑、沪、苏、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、川、贵、云、藏、陕、甘、青、宁、新，渝” ； 英文字母：除“I”外的“AZ”其他字母； 数字：09； 数字和字母：“WJ”、“警”+ 09 ； 军用车汉字：甲、乙、丙、丁、戊、己、庚、辛、壬、癸、子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥； 民用车尾字：包括“09、学、试、领、港”等字。,27,8、标准特征库,将切分下来的字符图像变换到4040的点阵空间上，按照水平和垂直方向提取二值特征、按照字符结构在水平、垂直、左、右四个方向的几何投影图像特征建立多维特征库，其中标准汉字从宋体字库中选取，字母及数字从OCR-A字库中选取。对标准字符分别进行归一化、轮廓化和特征抽取，标准模板就是从中抽取特征得到的特征向量。,28,10、字符匹配,两种主要方法：模板匹配法和人工神经网络算法； 模板匹配算法首先把待识别字符二值化，并将其尺寸大小缩放为字符数据库中模板的大小，然后与所有的模板进行匹配，最后选最佳匹配作为结果； 基于人工神经网络的算法主要有两种： (1) 一种是先对待识别字符进行特征提取，然后用所获得的特征来训练神经网络分类器； (2) 另一种方法是直接把待处理图像输入网络，由网络自动实现特征提取直至识别出结果。前一种方法识别结果与特征提取有关，而特征提取比较耗时，因此特征提取是关键。,29,