数字图像处理车牌识别课件

图像模式识别应用图像模式识别应用专题：车牌识别技术专题：车牌识别技术图像分析处理技术的综合应用图像分析处理技术的综合应用图像模式识别应用专题：车牌识别技术1一、车牌识别技术简介一、车牌识别技术简介n n车牌识别是现代交通管理的重要措施，是车牌识别是现代交通管理的重要措施，是智能交通系统的重要环节智能交通系统的重要环节n n内容：内容：车牌识别系统是采用数字摄像技术和计算车牌识别系统是采用数字摄像技术和计算机信息管理技术，对运行车辆实现智能管机信息管理技术，对运行车辆实现智能管理的综合运用技术理的综合运用技术n n理论基础：数字图像处理和模式识别理论基础：数字图像处理和模式识别n n车牌识别技术具有典型性，容易推广到其车牌识别技术具有典型性，容易推广到其它识别对象它识别对象一、车牌识别技术简介车牌识别是现代交通管理的重要措施，是智能2主要应用领域主要应用领域n n主要应用场合主要应用场合(1)(1)公安卡口公安卡口(2)(2)高速公路收费管理高速公路收费管理(3)(3)城市道路监控系统城市道路监控系统(电子警察电子警察)(4)(4)海关车辆管理海关车辆管理(5)(5)停车场管理停车场管理(6)(6)车辆流量统计车辆流量统计主要应用领域主要应用场合3车牌识别技术现状车牌识别技术现状n n完整的车牌自动识别系统由图像釆集、图像处理、完整的车牌自动识别系统由图像釆集、图像处理、完整的车牌自动识别系统由图像釆集、图像处理、完整的车牌自动识别系统由图像釆集、图像处理、模糊识别等模块组成；模糊识别等模块组成；模糊识别等模块组成；模糊识别等模块组成；n n在现有的技术条件下，车牌识别系统均无法达到在现有的技术条件下，车牌识别系统均无法达到在现有的技术条件下，车牌识别系统均无法达到在现有的技术条件下，车牌识别系统均无法达到100%100%100%100%的识别率，好的识别系统可达的识别率，好的识别系统可达的识别率，好的识别系统可达的识别率，好的识别系统可达95%95%95%95%以上；以上；以上；以上；n n先进识别系统的识别时间在一百毫秒以下；先进识别系统的识别时间在一百毫秒以下；先进识别系统的识别时间在一百毫秒以下；先进识别系统的识别时间在一百毫秒以下；n n基于视频技术的识别系统，可方便地进行图像回基于视频技术的识别系统，可方便地进行图像回基于视频技术的识别系统，可方便地进行图像回基于视频技术的识别系统，可方便地进行图像回放、检索；放、检索；放、检索；放、检索；n n其它识别系统：条形码识别、射频标识识别等。其它识别系统：条形码识别、射频标识识别等。其它识别系统：条形码识别、射频标识识别等。其它识别系统：条形码识别、射频标识识别等。车牌识别技术现状完整的车牌自动识别系统由图像釆集、图像处理、4有关识别率的统计数据有关识别率的统计数据n n各环节的识别率：各环节的识别率：（1 1）牌照定位）牌照定位 98%98%（2 2）单字分割）单字分割 97.8%97.8%（3 3）车牌识别）车牌识别 95%95%从上面统计情况可看出，目前单项识别率从上面统计情况可看出，目前单项识别率均达到均达到95%95%以上，但总识别率仅能达以上，但总识别率仅能达 91%91%以以上，仍需进一步提高。上，仍需进一步提高。有关识别率的统计数据各环节的识别率：5系统组成系统组成n n车牌识别系统组成车牌识别系统组成车牌识别系统组成车牌识别系统组成系统组成车牌识别系统组成6识别流程识别流程n n主要由三部分组成主要由三部分组成主要由三部分组成主要由三部分组成n n图像捕获一般采用图像捕获一般采用图像捕获一般采用图像捕获一般采用CCDCCDCCDCCD摄像头，包括整车图像或牌摄像头，包括整车图像或牌摄像头，包括整车图像或牌摄像头，包括整车图像或牌照照照照(一般为彩色图像一般为彩色图像一般为彩色图像一般为彩色图像)n n后两步由计算机实现后两步由计算机实现后两步由计算机实现后两步由计算机实现n n关键部分是第三步：关键部分是第三步：关键部分是第三步：关键部分是第三步：字符识别（字符识别（字符识别（字符识别（OCROCROCROCR）识别流程主要由三部分组成7识别步骤识别步骤n n具体识别步骤如下具体识别步骤如下具体识别步骤如下具体识别步骤如下(不是唯一的不是唯一的不是唯一的不是唯一的)：(1)(1)(1)(1)获取整车或局部图像；获取整车或局部图像；获取整车或局部图像；获取整车或局部图像；(2)(2)(2)(2)对获取车辆数字图像进行预处理；对获取车辆数字图像进行预处理；对获取车辆数字图像进行预处理；对获取车辆数字图像进行预处理；(3)(3)(3)(3)车牌定位；车牌定位；车牌定位；车牌定位；(4)(4)(4)(4)二值转换；二值转换；二值转换；二值转换；(5)(5)(5)(5)车牌分类；车牌分类；车牌分类；车牌分类；(6)(6)(6)(6)车牌分割；车牌分割；车牌分割；车牌分割；(7)(7)(7)(7)字符识别；字符识别；字符识别；字符识别；(8)(8)(8)(8)结果优化结果优化结果优化结果优化(车牌模糊识别车牌模糊识别车牌模糊识别车牌模糊识别)。识别步骤具体识别步骤如下(不是唯一的)：8二、车牌定位与分割二、车牌定位与分割n n车牌定位：车牌定位：通过车牌区域的特征来判别牌通过车牌区域的特征来判别牌照的位置，将车牌从图像中分割出来照的位置，将车牌从图像中分割出来n n步骤：步骤：(1)(1)彩色图像灰度化彩色图像灰度化(2)(2)图像增强图像增强(3)(3)边缘检测边缘检测(4)(4)模板匹配模板匹配(5)(5)输出牌照子图像输出牌照子图像二、车牌定位与分割车牌定位：通过车牌区域的特征来判别牌照的位9CCD CCD 输出输出n nCCDCCD捕获的汽车图像捕获的汽车图像CCD输出CCD捕获的汽车图像10灰度图像灰度图像n n彩色图像灰度化彩色图像灰度化灰度图像彩色图像灰度化11灰度增强灰度增强n n灰度增强改变对比度灰度增强改变对比度灰度增强灰度增强改变对比度12边缘提取边缘提取(方法多种方法多种)n n定位、分割后输出定位、分割后输出n n下步工作是对分割输出进行字符识别下步工作是对分割输出进行字符识别边缘提取(方法多种)定位、分割后输出13车徽车徽边缘提取与边缘提取与识别识别车徽边缘提取与识别141 1、彩色图像灰度化、彩色图像灰度化n nCCDCCDCCDCCD摄像头输出的图像一般是摄像头输出的图像一般是摄像头输出的图像一般是摄像头输出的图像一般是24242424位真彩色图像，需位真彩色图像，需位真彩色图像，需位真彩色图像，需进行灰度化，使不同颜色车体统一化，同时实现进行灰度化，使不同颜色车体统一化，同时实现进行灰度化，使不同颜色车体统一化，同时实现进行灰度化，使不同颜色车体统一化，同时实现快速处理快速处理快速处理快速处理n n两种制式都可以采用两种制式都可以采用两种制式都可以采用两种制式都可以采用PALPALPALPAL制：制：制：制：亮度亮度亮度亮度NTSCNTSCNTSCNTSC制：亮度制：亮度制：亮度制：亮度1、彩色图像灰度化CCD摄像头输出的图像一般是24位真彩色图152 2、对比度增强、对比度增强n n利用灰度变换增强对比度，突出车牌区利用灰度变换增强对比度，突出车牌区利用灰度变换增强对比度，突出车牌区利用灰度变换增强对比度，突出车牌区n n一般采用截取式变换一般采用截取式变换一般采用截取式变换一般采用截取式变换 ：常采用下式常采用下式常采用下式常采用下式2、对比度增强利用灰度变换增强对比度，突出车牌区163 3、边缘检测、边缘检测n n主要方法主要方法(1)(1)对图像进行直分析处理对图像进行直分析处理(2)(2)提取车牌区域边界提取车牌区域边界(3)(3)灰度点运算灰度点运算(4)(4)模板匹配模板匹配(5)(5)算子法算子法(6)(6)形态学处理形态学处理(7)(7)其它边缘提取方法其它边缘提取方法3、边缘检测主要方法17车牌图像特征车牌图像特征n n车牌定位与分割的理论与方法是根据车牌图像的车牌定位与分割的理论与方法是根据车牌图像的车牌定位与分割的理论与方法是根据车牌图像的车牌定位与分割的理论与方法是根据车牌图像的特点来确定的特点来确定的特点来确定的特点来确定的n n车牌图像主要特征有：车牌图像主要特征有：车牌图像主要特征有：车牌图像主要特征有：(1)(1)(1)(1)车牌区域内的边缘灰度直方图统计特征车牌区域内的边缘灰度直方图统计特征车牌区域内的边缘灰度直方图统计特征车牌区域内的边缘灰度直方图统计特征(2)(2)(2)(2)车牌的几何特征车牌的几何特征车牌的几何特征车牌的几何特征(3)(3)(3)(3)车牌区域的灰度分布特征车牌区域的灰度分布特征车牌区域的灰度分布特征车牌区域的灰度分布特征(4)(4)(4)(4)车牌区域的水平、垂直投影特征车牌区域的水平、垂直投影特征车牌区域的水平、垂直投影特征车牌区域的水平、垂直投影特征(5)(5)(5)(5)车牌形状特征和字符排列格式特征车牌形状特征和字符排列格式特征车牌形状特征和字符排列格式特征车牌形状特征和字符排列格式特征(6)(6)(6)(6)车牌的形态学特征车牌的形态学特征车牌的形态学特征车牌的形态学特征(7)(7)(7)(7)频谱特征频谱特征频谱特征频谱特征车牌图像特征车牌定位与分割的理论与方法是根据车牌图像的特点来18车牌图像的组成车牌图像的组成n n组成：组成：组成：组成：省份汉字省份汉字省份汉字省份汉字(或其他汉字或其他汉字或其他汉字或其他汉字)+)+)+)+字母或阿拉伯数字，字母或阿拉伯数字，字母或阿拉伯数字，字母或阿拉伯数字，共共共共7 7 7 7位，即位，即位，即位，即 X1X1X1X1X1X1X1X1 X3X4X5X6X7X3X4X5X6X7X3X4X5X6X7X3X4X5X6X7例：川例：川例：川例：川A A A A K0387K0387K0387K0387n n尺寸：尺寸：尺寸：尺寸：宽宽宽宽 45mm 45mm 45mm 45mm、高、高、高、高 90mm 90mm 90mm 90mm、间隔符宽、间隔符宽、间隔符宽、间隔符宽10mm10mm10mm10mm、单元、单元、单元、单元间隔间隔间隔间隔 12mm 12mm 12mm 12mmn n字符笔画在竖直方向是字符笔画在竖直方向是字符笔画在竖直方向是字符笔画在竖直方向是连通连通连通连通的的的的n n牌底与字符颜色牌底与字符颜色牌底与字符颜色牌底与字符颜色对照大对照大对照大对照大，边缘非常丰富，边缘非常丰富，边缘非常丰富，边缘非常丰富n n四类：蓝底白字、黄底黑字、黑底白字、四类：蓝底白字、黄底黑字、黑底白字、四类：蓝底白字、黄底黑字、黑底白字、四类：蓝底白字、黄底黑字、黑底白字、白底黑字白底黑字白底黑字白底黑字车牌图像的组成组成：省份汉字(或其他汉字)+字母或阿拉伯数字19定位分割难点定位分割难点n n抓拍图像受环境因素干扰，特别环境光的抓拍图像受环境因素干扰，特别环境光的干扰，环境光太强时，图像淡薄，对比度干扰，环境光太强时，图像淡薄，对比度变差；变差；n n车尾有其它字符，使车牌定位困难；车尾有其它字符，使车牌定位困难；n n车牌大都存在污染而变脏；车牌大都存在污染而变脏；n n车牌部分被遮挡；车牌部分被遮挡；n n车牌图像为运动图像，拍摄时产生失真。车牌图像为运动图像，拍摄时产生失真。定位分割难点抓拍图像受环境因素干扰，特别环境光的干扰，环境光20环境光太强环境光太强车牌图像太弱车牌图像太弱环境光太强车牌图像太弱21文字干扰文字干扰其他字符干扰其他字符干扰文字干扰其他字符干扰22车牌污染车牌污染车牌被污染车牌被污染车牌污染车牌被污染23部分被挡部分被挡车牌字符下边被遮挡车牌字符下边被遮挡部分被挡车牌字符下边被遮挡24运动失真运动失真车牌字符因运动失真车牌字符因运动失真运动失真车牌字符因运动失真25梯度法边缘提取梯度法边缘提取n n梯度法梯度法梯度法梯度法(一阶偏微分一阶偏微分一阶偏微分一阶偏微分)又称又称又称又称 Roberts Roberts Roberts Roberts算子算子算子算子一种利用局部差分法提取边缘一种利用局部差分法提取边缘一种利用局部差分法提取边缘一种利用局部差分法提取边缘(锐化锐化锐化锐化)的方法的方法的方法的方法 F(j,k)f(j,k+1)F(j+1,k)梯度法边缘提取梯度法(一阶偏微分)又称Roberts算子26边缘模板法边缘模板法n n边缘模板是一种边缘模板是一种边缘模板是一种边缘模板是一种算子，算子，算子，算子，常用的有常用的有常用的有常用的有SobelSobelSobelSobel算子算子算子算子n nSobelSobelSobelSobel算子算子算子算子是一种由两个卷积构成的梯度模板是一种由两个卷积构成的梯度模板是一种由两个卷积构成的梯度模板是一种由两个卷积构成的梯度模板分别检测分别检测分别检测分别检测水平边缘水平边缘水平边缘水平边缘和和和和垂直边缘垂直边缘垂直边缘垂直边缘，运算结果是一幅，运算结果是一幅，运算结果是一幅，运算结果是一幅边缘图像边缘图像边缘图像边缘图像边缘模板法边缘模板是一种算子，常用的有Sobel算子27PrewittPrewitt算子边缘提取算子边缘提取n n与与与与SobelSobelSobelSobel算子类似，这也是一种边缘模板，仅是模算子类似，这也是一种边缘模板，仅是模算子类似，这也是一种边缘模板，仅是模算子类似，这也是一种边缘模板，仅是模板权系数不一样板权系数不一样板权系数不一样板权系数不一样n n输出：输出：输出：输出：Prewitt算子边缘提取与Sobel算子类似，这也是一种边28快速边缘检测快速边缘检测n n在车牌系统中还常采用一种更简单的模板来提取在车牌系统中还常采用一种更简单的模板来提取在车牌系统中还常采用一种更简单的模板来提取在车牌系统中还常采用一种更简单的模板来提取边缘边缘边缘边缘(对于有干扰的图像效果不理想对于有干扰的图像效果不理想对于有干扰的图像效果不理想对于有干扰的图像效果不理想)n n特点：运算速度快，车牌笔画轮廓突出，而车体特点：运算速度快，车牌笔画轮廓突出，而车体特点：运算速度快，车牌笔画轮廓突出，而车体特点：运算速度快，车牌笔画轮廓突出，而车体其他部分轮廓不突出其他部分轮廓不突出其他部分轮廓不突出其他部分轮廓不突出快速边缘检测在车牌系统中还常采用一种更简单的模板来提取边缘(29掩模匹配法掩模匹配法n n锐化：罗比逊模板、普雷外特模板、柯赤模板锐化：罗比逊模板、普雷外特模板、柯赤模板锐化：罗比逊模板、普雷外特模板、柯赤模板锐化：罗比逊模板、普雷外特模板、柯赤模板n n上述三种模板均可用于边缘提取，车牌检测常用上述三种模板均可用于边缘提取，车牌检测常用上述三种模板均可用于边缘提取，车牌检测常用上述三种模板均可用于边缘提取，车牌检测常用柯赤柯赤柯赤柯赤(Krisch)(Krisch)(Krisch)(Krisch)模板模板模板模板,由由由由8 8 8 8个算子组成个算子组成个算子组成个算子组成掩模匹配法锐化：罗比逊模板、普雷外特模板、柯赤模板30高斯高斯-拉普拉斯算子法拉普拉斯算子法n n二阶微分算子二阶微分算子二阶微分算子二阶微分算子该算子对噪声不敏感该算子对噪声不敏感该算子对噪声不敏感该算子对噪声不敏感(55)(55)(55)(55)n n输出输出输出输出:高斯-拉普拉斯算子法二阶微分算子31哈夫哈夫(Hough)(Hough)变换提取直线变换提取直线n n利用图像全局特性将边缘像素连接起来形成区域利用图像全局特性将边缘像素连接起来形成区域利用图像全局特性将边缘像素连接起来形成区域利用图像全局特性将边缘像素连接起来形成区域封闭边界的一种方法封闭边界的一种方法封闭边界的一种方法封闭边界的一种方法n n原理：将二维空间原理：将二维空间原理：将二维空间原理：将二维空间(x,y)(x,y)(x,y)(x,y)平面中的直线用二维极平面中的直线用二维极平面中的直线用二维极平面中的直线用二维极坐标坐标坐标坐标(,),),),)空间表示空间表示空间表示空间表示将直线将直线将直线将直线 表示为：表示为：表示为：表示为：即将即将即将即将(x,y)(x,y)(x,y)(x,y)平面的直线变换为平面的直线变换为平面的直线变换为平面的直线变换为r-r-r-r-空间的一个点空间的一个点空间的一个点空间的一个点该方法亦用于该方法亦用于该方法亦用于该方法亦用于倾斜校正倾斜校正倾斜校正倾斜校正哈夫(Hough)变换提取直线利用图像全局特性将边缘像素连接32哈夫哈夫(Hough)(Hough)变换原理变换原理哈夫(Hough)变换原理33模板匹配模板匹配n n用与图像中车牌一样大小的已知模板，在经对比用与图像中车牌一样大小的已知模板，在经对比用与图像中车牌一样大小的已知模板，在经对比用与图像中车牌一样大小的已知模板，在经对比度增强后的图像中，从起点度增强后的图像中，从起点度增强后的图像中，从起点度增强后的图像中，从起点(0,0)(0,0)(0,0)(0,0)开始，逐步平开始，逐步平开始，逐步平开始，逐步平移一一匹配，寻找最佳区域移一一匹配，寻找最佳区域移一一匹配，寻找最佳区域移一一匹配，寻找最佳区域n n匹配公式：匹配公式：匹配公式：匹配公式：最大值为输出最大值为输出最大值为输出最大值为输出已知模板并不是某个具体的车牌，而是具有车牌已知模板并不是某个具体的车牌，而是具有车牌已知模板并不是某个具体的车牌，而是具有车牌已知模板并不是某个具体的车牌，而是具有车牌统计特性的通用模板，是一种统计特性的通用模板，是一种统计特性的通用模板，是一种统计特性的通用模板，是一种模糊匹配模糊匹配模糊匹配模糊匹配模板匹配用与图像中车牌一样大小的已知模板，在经对比度增强后的34形态学处理确定车牌位置形态学处理确定车牌位置将图像二值化将图像二值化,通过膨胀、腐蚀操作定位通过膨胀、腐蚀操作定位形态学处理确定车牌位置将图像二值化,通过膨胀、腐蚀操作定位35车牌定位算法之一车牌定位算法之一(1)(1)(1)(1)对原始图像进行基于方向区域距离测度的彩色对原始图像进行基于方向区域距离测度的彩色对原始图像进行基于方向区域距离测度的彩色对原始图像进行基于方向区域距离测度的彩色边缘检测得到原始边缘图像边缘检测得到原始边缘图像边缘检测得到原始边缘图像边缘检测得到原始边缘图像(2)(2)(2)(2)对原始边缘图像中的每一边缘点进行边缘颜色对原始边缘图像中的每一边缘点进行边缘颜色对原始边缘图像中的每一边缘点进行边缘颜色对原始边缘图像中的每一边缘点进行边缘颜色对检测，获得候选车牌边缘图像对检测，获得候选车牌边缘图像对检测，获得候选车牌边缘图像对检测，获得候选车牌边缘图像(3)(3)(3)(3)对候选车牌边缘图像进行闭运算获得连通域图对候选车牌边缘图像进行闭运算获得连通域图对候选车牌边缘图像进行闭运算获得连通域图对候选车牌边缘图像进行闭运算获得连通域图像像像像(4)(4)(4)(4)计算各连通域的宽高比，剔除不在阈值范围内计算各连通域的宽高比，剔除不在阈值范围内计算各连通域的宽高比，剔除不在阈值范围内计算各连通域的宽高比，剔除不在阈值范围内的连通域，若只剩下一个连通域，则可确认为的连通域，若只剩下一个连通域，则可确认为的连通域，若只剩下一个连通域，则可确认为的连通域，若只剩下一个连通域，则可确认为车牌区域，转车牌区域，转车牌区域，转车牌区域，转(7)(7)(7)(7)车牌定位算法之一(1)对原始图像进行基于方向区域距离测度的36车牌定位算法之一车牌定位算法之一(5)(5)(5)(5)若还有多于一个连通域，则计算若还有多于一个连通域，则计算若还有多于一个连通域，则计算若还有多于一个连通域，则计算r r r r。剔除不在阈。剔除不在阈。剔除不在阈。剔除不在阈值范围内的连通域，若只剩下一个连通域，则值范围内的连通域，若只剩下一个连通域，则值范围内的连通域，若只剩下一个连通域，则值范围内的连通域，若只剩下一个连通域，则可确认为车牌区域，转可确认为车牌区域，转可确认为车牌区域，转可确认为车牌区域，转(7)(7)(7)(7)(6)(6)(6)(6)若还有多于一个连通域，则对其进行彩色边缘若还有多于一个连通域，则对其进行彩色边缘若还有多于一个连通域，则对其进行彩色边缘若还有多于一个连通域，则对其进行彩色边缘检测然后进行水平扫描，统计每行灰度值为检测然后进行水平扫描，统计每行灰度值为检测然后进行水平扫描，统计每行灰度值为检测然后进行水平扫描，统计每行灰度值为1 1 1 1的的的的个数个数个数个数N N N N，如果有连续，如果有连续，如果有连续，如果有连续M M M M行以上行以上行以上行以上Nn1,n2Nn1,n2Nn1,n2Nn1,n2，则可，则可，则可，则可认为此连通域为车牌区域认为此连通域为车牌区域认为此连通域为车牌区域认为此连通域为车牌区域(7)(7)(7)(7)在原始图像中提取车牌图像在原始图像中提取车牌图像在原始图像中提取车牌图像在原始图像中提取车牌图像车牌定位算法之一(5)若还有多于一个连通域，则计算r。剔除37其它方法：其它方法：自适应边界搜索法自适应边界搜索法n n利用倒利用倒L L型、水平直线、垂直直线这些结构型、水平直线、垂直直线这些结构元素搜索、定位字符，然后找出符合一定元素搜索、定位字符，然后找出符合一定格式的字符群，即认为是车牌。格式的字符群，即认为是车牌。其它方法：自适应边界搜索法利用倒L型、水平直线、垂直直线这38其它方法：其它方法：区域生长法区域生长法n n对边缘图像进行均匀性区域生长，以获得对边缘图像进行均匀性区域生长，以获得潜在的车牌区域，然后利用车牌的几何特潜在的车牌区域，然后利用车牌的几何特征以及车牌区域内的边缘灰度直方图统计征以及车牌区域内的边缘灰度直方图统计特征删除伪车牌，获取真实车牌。特征删除伪车牌，获取真实车牌。其它方法：区域生长法对边缘图像进行均匀性区域生长，以获得潜39其它方法：其它方法：形态学运算法形态学运算法n n灰度图像数学形态学运算法则利用车牌形灰度图像数学形态学运算法则利用车牌形状特征、字符排列格式特征，对预处理后状特征、字符排列格式特征，对预处理后的灰度图像进行一系列的形态学运算，得的灰度图像进行一系列的形态学运算，得到直线与一定数目的字符相邻的区域即认到直线与一定数目的字符相邻的区域即认为是车牌。为是车牌。其它方法：形态学运算法灰度图像数学形态学运算法则利用车牌形40其它方法：其它方法：DFT DFT变换法变换法n nDFTDFT变换法是先对图像逐行做变换法是先对图像逐行做DFTDFT变换，然变换，然后把频率系数逐行累加平均并根据这些平后把频率系数逐行累加平均并根据这些平均值做出频谱曲线，根据频谱曲线中的均值做出频谱曲线，根据频谱曲线中的“峰峰”的起始点位置确定车牌水平位置，对的起始点位置确定车牌水平位置，对这一水平区域逐行做这一水平区域逐行做DFTDFT变换可确定车牌竖变换可确定车牌竖直位置。虽然上述车牌定位算法已在实践直位置。虽然上述车牌定位算法已在实践中取得成功，但对于车辆实时监控系统来中取得成功，但对于车辆实时监控系统来说上述方法所需的时间仍然偏长。说上述方法所需的时间仍然偏长。其它方法：DFT变换法DFT变换法是先对图像逐行做DFT41其它方法：其它方法：图像差分投影法图像差分投影法n n基于图像差分投影法：将车辆灰色图像按水平方基于图像差分投影法：将车辆灰色图像按水平方基于图像差分投影法：将车辆灰色图像按水平方基于图像差分投影法：将车辆灰色图像按水平方向求差分图，然后按垂直方向求差分，最后对差向求差分图，然后按垂直方向求差分，最后对差向求差分图，然后按垂直方向求差分，最后对差向求差分图，然后按垂直方向求差分，最后对差分后的车辆图像分别在水平和垂直方向投影，按分后的车辆图像分别在水平和垂直方向投影，按分后的车辆图像分别在水平和垂直方向投影，按分后的车辆图像分别在水平和垂直方向投影，按照给定的车牌尺寸范围找出可似车牌区域；照给定的车牌尺寸范围找出可似车牌区域；照给定的车牌尺寸范围找出可似车牌区域；照给定的车牌尺寸范围找出可似车牌区域；n n按照水平和垂直方向投影得出有可能的车牌区域按照水平和垂直方向投影得出有可能的车牌区域按照水平和垂直方向投影得出有可能的车牌区域按照水平和垂直方向投影得出有可能的车牌区域有三个，包括两个车灯区，由于车灯区在尺寸和有三个，包括两个车灯区，由于车灯区在尺寸和有三个，包括两个车灯区，由于车灯区在尺寸和有三个，包括两个车灯区，由于车灯区在尺寸和字符数上不符合常规车牌特征，所以即可排除，字符数上不符合常规车牌特征，所以即可排除，字符数上不符合常规车牌特征，所以即可排除，字符数上不符合常规车牌特征，所以即可排除，从而仅剩下唯一的车牌区域，再从灰色图像中切从而仅剩下唯一的车牌区域，再从灰色图像中切从而仅剩下唯一的车牌区域，再从灰色图像中切从而仅剩下唯一的车牌区域，再从灰色图像中切出真正的车牌区图像。出真正的车牌区图像。出真正的车牌区图像。出真正的车牌区图像。其它方法：图像差分投影法基于图像差分投影法：将车辆灰色图像42三、车牌字符识别技术三、车牌字符识别技术n n与通用的与通用的与通用的与通用的OCROCROCROCR识别方法类似识别方法类似识别方法类似识别方法类似n n模板匹配法模板匹配法模板匹配法模板匹配法首先对字符二值化，并归一化字符尺寸，然后进首先对字符二值化，并归一化字符尺寸，然后进首先对字符二值化，并归一化字符尺寸，然后进首先对字符二值化，并归一化字符尺寸，然后进行模板匹配，选取择最匹配输出行模板匹配，选取择最匹配输出行模板匹配，选取择最匹配输出行模板匹配，选取择最匹配输出n n神经网络匹配法，两种算法：神经网络匹配法，两种算法：神经网络匹配法，两种算法：神经网络匹配法，两种算法：(1)(1)(1)(1)先对各字符进行特征提取，利用特征训练网络先对各字符进行特征提取，利用特征训练网络先对各字符进行特征提取，利用特征训练网络先对各字符进行特征提取，利用特征训练网络分类器，然后用分类器识别字符分类器，然后用分类器识别字符分类器，然后用分类器识别字符分类器，然后用分类器识别字符(2)(2)(2)(2)由网络对输入图像自动提取特征并识别由网络对输入图像自动提取特征并识别由网络对输入图像自动提取特征并识别由网络对输入图像自动提取特征并识别三、车牌字符识别技术与通用的OCR识别方法类似431 1、预处理、预处理n n车牌经定位、分割检出后，基本上具有被识别车牌经定位、分割检出后，基本上具有被识别车牌经定位、分割检出后，基本上具有被识别车牌经定位、分割检出后，基本上具有被识别的条件，但还需做适当预处理的条件，但还需做适当预处理的条件，但还需做适当预处理的条件，但还需做适当预处理n n预处理：预处理：预处理：预处理：(1)(1)(1)(1)图像二值化图像二值化图像二值化图像二值化在彩色图像灰度化后，因车牌类型不同，会出在彩色图像灰度化后，因车牌类型不同，会出在彩色图像灰度化后，因车牌类型不同，会出在彩色图像灰度化后，因车牌类型不同，会出白底黑字和黑底白字两种，需要统一为一种白底黑字和黑底白字两种，需要统一为一种白底黑字和黑底白字两种，需要统一为一种白底黑字和黑底白字两种，需要统一为一种(2)(2)(2)(2)字符分割字符分割字符分割字符分割1、预处理车牌经定位、分割检出后，基本上具有被识别的条件，但442 2、二值化、二值化n n二值化的关键是阈值的选择二值化的关键是阈值的选择二值化的关键是阈值的选择二值化的关键是阈值的选择n n二种方法：全局阈值、局部阈值二种方法：全局阈值、局部阈值二种方法：全局阈值、局部阈值二种方法：全局阈值、局部阈值n n全局阈值全局阈值全局阈值全局阈值n n其中其中其中其中h h h hl l l l是灰度值为是灰度值为是灰度值为是灰度值为l l l l的像素个数。的像素个数。的像素个数。的像素个数。2、二值化二值化的关键是阈值的选择453 3、倾斜校正、倾斜校正n n提取的车牌图像有可能是倾斜的，为了便于识别，提取的车牌图像有可能是倾斜的，为了便于识别，提取的车牌图像有可能是倾斜的，为了便于识别，提取的车牌图像有可能是倾斜的，为了便于识别，需对图像进行倾斜度校正需对图像进行倾斜度校正需对图像进行倾斜度校正需对图像进行倾斜度校正n n方法：哈夫方法：哈夫方法：哈夫方法：哈夫(Hough)(Hough)(Hough)(Hough)变换变换变换变换计算车牌图像上、下边界直线计算车牌图像上、下边界直线计算车牌图像上、下边界直线计算车牌图像上、下边界直线n n计算边界直线的倾斜度计算边界直线的倾斜度计算边界直线的倾斜度计算边界直线的倾斜度 P P P Pn n倾斜度校正倾斜度校正倾斜度校正倾斜度校正3、倾斜校正提取的车牌图像有可能是倾斜的，为了便于识别，需对46拍摄造成的倾斜字符拍摄造成的倾斜字符拍摄造成的倾斜字符47二值化后的倾斜字符二值化后的倾斜字符二值化后的倾斜字符484 4、尺寸归一化、尺寸归一化n n字符的大小归一化可以简单地用统计分析法来完字符的大小归一化可以简单地用统计分析法来完字符的大小归一化可以简单地用统计分析法来完字符的大小归一化可以简单地用统计分析法来完成成成成n n归一化内容归一化内容归一化内容归一化内容:(1)(1)(1)(1)位置归一化，即把字符移到规定的位置上，位置归一化，即把字符移到规定的位置上，位置归一化，即把字符移到规定的位置上，位置归一化，即把字符移到规定的位置上，使字符的质心对中，也可字符边框定位使字符的质心对中，也可字符边框定位使字符的质心对中，也可字符边框定位使字符的质心对中，也可字符边框定位(2)(2)(2)(2)大小归一化，使被识别字符具有同样大小大小归一化，使被识别字符具有同样大小大小归一化，使被识别字符具有同样大小大小归一化，使被识别字符具有同样大小4、尺寸归一化字符的大小归一化可以简单地用统计分析法来完成495 5、字符识别、字符识别n n识别方法较多识别方法较多识别方法较多识别方法较多n n匹配法识别匹配法识别匹配法识别匹配法识别n n采用相关函数作为相似度测度采用相关函数作为相似度测度采用相关函数作为相似度测度采用相关函数作为相似度测度其中，其中，其中，其中，T T T T为模板，为模板，为模板，为模板，S S S S为模板覆盖下的图像子块，为模板覆盖下的图像子块，为模板覆盖下的图像子块，为模板覆盖下的图像子块，i i i i、j j j j为子块左上角坐标，为子块左上角坐标，为子块左上角坐标，为子块左上角坐标，M M M M、N N N N为模板长和宽为模板长和宽为模板长和宽为模板长和宽5、字符识别识别方法较多506 6、字符优化、字符优化n n按照上述车牌定位和切割方法取得的单个字符图按照上述车牌定位和切割方法取得的单个字符图按照上述车牌定位和切割方法取得的单个字符图按照上述车牌定位和切割方法取得的单个字符图像，可能存在字符与边框相连、字符变形和字符像，可能存在字符与边框相连、字符变形和字符像，可能存在字符与边框相连、字符变形和字符像，可能存在字符与边框相连、字符变形和字符断裂等情况，为此在真正识别之前需要对字符位断裂等情况，为此在真正识别之前需要对字符位断裂等情况，为此在真正识别之前需要对字符位断裂等情况，为此在真正识别之前需要对字符位图作进一步的技术处理；图作进一步的技术处理；图作进一步的技术处理；图作进一步的技术处理；n n常用的方法是将用于识别的字符位图按新的点阵常用的方法是将用于识别的字符位图按新的点阵常用的方法是将用于识别的字符位图按新的点阵常用的方法是将用于识别的字符位图按新的点阵大小重新采样，然后搜索字符位图的准确上下左大小重新采样，然后搜索字符位图的准确上下左大小重新采样，然后搜索字符位图的准确上下左大小重新采样，然后搜索字符位图的准确上下左右边界值，依照字符位图的宽高值和新的边界值右边界值，依照字符位图的宽高值和新的边界值右边界值，依照字符位图的宽高值和新的边界值右边界值，依照字符位图的宽高值和新的边界值重新确定字符像素点，并排除非字符情况，如左重新确定字符像素点，并排除非字符情况，如左重新确定字符像素点，并排除非字符情况，如左重新确定字符像素点，并排除非字符情况，如左右边界值之差过小、上下边界差过小等情况即认右边界值之差过小、上下边界差过小等情况即认右边界值之差过小、上下边界差过小等情况即认右边界值之差过小、上下边界差过小等情况即认为非字符。为非字符。为非字符。为非字符。6、字符优化按照上述车牌定位和切割方法取得的单个字符图像，可517 7、字符类型、字符类型n n民用车汉字：京、津、晋、冀、蒙、辽、吉、黑、沪、苏、民用车汉字：京、津、晋、冀、蒙、辽、吉、黑、沪、苏、民用车汉字：京、津、晋、冀、蒙、辽、吉、黑、沪、苏、民用车汉字：京、津、晋、冀、蒙、辽、吉、黑、沪、苏、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、川、贵、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、川、贵、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、川、贵、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、川、贵、云、藏、陕、甘、青、宁、新，渝云、藏、陕、甘、青、宁、新，渝云、藏、陕、甘、青、宁、新，渝云、藏、陕、甘、青、宁、新，渝”；n n英文字母：除英文字母：除英文字母：除英文字母：除“I”“I”“I”“I”外的外的外的外的“AZ”“AZ”“AZ”“AZ”其他字母；其他字母；其他字母；其他字母；n n数字：数字：数字：数字：09090909；n n数字和字母：数字和字母：数字和字母：数字和字母：“WJ”“WJ”“WJ”“WJ”、“警警警警”+09”+09”+09”+09；n n军用车汉字：甲、乙、丙、丁、戊、己、庚、辛、壬、癸、军用车汉字：甲、乙、丙、丁、戊、己、庚、辛、壬、癸、军用车汉字：甲、乙、丙、丁、戊、己、庚、辛、壬、癸、军用车汉字：甲、乙、丙、丁、戊、己、庚、辛、壬、癸、子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥；子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥；子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥；子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥；n n民用车尾字：包括民用车尾字：包括民用车尾字：包括民用车尾字：包括“09“09“09“09、学、试、领、港、学、试、领、港、学、试、领、港、学、试、领、港”等字。等字。等字。等字。7、字符类型民用车汉字：京、津、晋、冀、蒙、辽、吉、黑、沪、528 8、标准特征库、标准特征库n n将切分下来的字符图像变换到将切分下来的字符图像变换到将切分下来的字符图像变换到将切分下来的字符图像变换到4040404040404040的点阵空间的点阵空间的点阵空间的点阵空间上，按照水平和垂直方向提取二值特征、按照字上，按照水平和垂直方向提取二值特征、按照字上，按照水平和垂直方向提取二值特征、按照字上，按照水平和垂直方向提取二值特征、按照字符结构在水平、垂直、左、右四个方向的几何投符结构在水平、垂直、左、右四个方向的几何投符结构在水平、垂直、左、右四个方向的几何投符结构在水平、垂直、左、右四个方向的几何投影图像特征建立多维特征库，其中标准汉字从宋影图像特征建立多维特征库，其中标准汉字从宋影图像特征建立多维特征库，其中标准汉字从宋影图像特征建立多维特征库，其中标准汉字从宋体字库中选取，字母及数字从体字库中选取，字母及数字从体字库中选取，字母及数字从体字库中选取，字母及数字从OCR-AOCR-AOCR-AOCR-A字库中选取。字库中选取。字库中选取。字库中选取。对标准字符分别进行归一化、轮廓化和特征抽取，对标准字符分别进行归一化、轮廓化和特征抽取，对标准字符分别进行归一化、轮廓化和特征抽取，对标准字符分别进行归一化、轮廓化和特征抽取，标准模板就是从中抽取特征得到的特征向量。标准模板就是从中抽取特征得到的特征向量。标准模板就是从中抽取特征得到的特征向量。标准模板就是从中抽取特征得到的特征向量。8、标准特征库将切分下来的字符图像变换到4040的点阵空间531010、字符匹配、字符匹配n n两种主要方法：模板匹配法和人工神经网络算法；两种主要方法：模板匹配法和人工神经网络算法；两种主要方法：模板匹配法和人工神经网络算法；两种主要方法：模板匹配法和人工神经网络算法；n n模板匹配算法首先把待识别字符二值化，并将其尺寸大模板匹配算法首先把待识别字符二值化，并将其尺寸大模板匹配算法首先把待识别字符二值化，并将其尺寸大模板匹配算法首先把待识别字符二值化，并将其尺寸大小缩放为字符数据库中模板的大小，然后与所有的模板小缩放为字符数据库中模板的大小，然后与所有的模板小缩放为字符数据库中模板的大小，然后与所有的模板小缩放为字符数据库中模板的大小，然后与所有的模板进行匹配，最后选最佳匹配作为结果；进行匹配，最后选最佳匹配作为结果；进行匹配，最后选最佳匹配作为结果；进行匹配，最后选最佳匹配作为结果；n n基于人工神经网络的算法主要有两种：基于人工神经网络的算法主要有两种：基于人工神经网络的算法主要有两种：基于人工神经网络的算法主要有两种：(1)(1)一种是先对待识别字符进行特征提取，然后用所获得的一种是先对待识别字符进行特征提取，然后用所获得的一种是先对待识别字符进行特征提取，然后用所获得的一种是先对待识别字符进行特征提取，然后用所获得的特征来训练神经网络分类器；特征来训练神经网络分类器；特征来训练神经网络分类器；特征来训练神经网络分类器；(2)(2)另一种方法是直接把待处理图像输入网络，由网络自动另一种方法是直接把待处理图像输入网络，由网络自动另一种方法是直接把待处理图像输入网络，由网络自动另一种方法是直接把待处理图像输入网络，由网络自动实现特征提取直至识别出结果。前一种方法识别结果与实现特征提取直至识别出结果。前一种方法识别结果与实现特征提取直至识别出结果。前一种方法识别结果与实现特征提取直至识别出结果。前一种方法识别结果与特征提取有关，而特征提取比较耗时，因此特征提取是特征提取有关，而特征提取比较耗时，因此特征提取是特征提取有关，而特征提取比较耗时，因此特征提取是特征提取有关，而特征提取比较耗时，因此特征提取是关键。关键。关键。关键。10、字符匹配两种主要方法：模板匹配法和人工神经网络算法54期末考试要求期末考试要求n n1 1、开卷、开卷n n2 2、每人一套题、每人一套题n n3 3、两大类型题：综合基础题、综合应用题、两大类型题：综合基础题、综合应用题n n4 4、基础题要求：、基础题要求：基本概念、基本原理、简易计算基本概念、基本原理、简易计算n n5 5、应用题要求：、应用题要求：变换、分割、形态学处理变换、分割、形态学处理n n带计算器或笔记本电脑带计算器或笔记本电脑期末考试要求1、开卷55