基于彩色图像处理的车牌自动识别系统翻译资料

Automatic License Plate Recognition System Based on Color Image Processing

Xifan Shi¹, Weizhong Zhao ², and Yonghang Shen ²

1. College of Computer Science and Technology, Zhejiang University, ² Department of Physics, College of Science, Zhejiang University, 310027, Hangzhou, Zhejiang, China

zjufan@hotmail.com, physyh@zju.edu.cn

Abstract. A License plate recognition (LPR) system can be divided into the fol-lowing steps: preprocessing, plate region extraction, plate region thresholding, character segmentation, character recognition and post-processing. For step 2, a combination of color and shape information of plate is used and a satisfactory extraction result is achieved. For step 3, first channel is selected, then threshold is computed and finally the region is thresholded. For step 4, the character is segmented along vertical, horizontal direction and some tentative optimizations are applied. For step 5, minimum Euclidean distance based template matching is used. And for those confusing characters such as 8 amp; B and 0 amp; D, a special processing is necessary. And for the final step, validity is checked by ma-chine and manual. The experiment performed by program based on aforementioned algorithms indicates that our LPR system based on color image processing is quite quick and accurate.

1 Introduction

The automatic identification of vehicles has been in considerable demand especially with the sharp increase in the vehicle related crimes and traffic jams. It can also play a crucial role in security zone access control, automatic toll road collection and intelligent traffic management system. Since the plate can identify a car uniquely, it is of great interest in recent decade in using computer vision technology to recognize a car and several results have been achieved [2-14].

A typical LPR system can be divided into the following modules: preprocessing (including image enhancement and restoration), plate region extraction, plate region thresholding, character segmentation, character recognition and post-processing (validity checking). The first two modules, which only concern the shape and back/fore ground color of a plate and irrespective of character set in a plate, are the front end of the system. Module 4 and 5, on the contrary, are related to character set in a plate and regardless of the shape and back/fore ground color of a plate, so they are the back end of the system. Module 3, however, should take the shape and back/fore ground color of a plate as well as character set in a plate into consideration. Therefore, it is hard to say which end it can be categorized into.

To develop an automatic recognition system of a car plate, a stable recognition of a plate region is of vital importance. Techniques such as edge extraction [1][6], Hough transformation [7] and morphological operations [8] have been applied. An edge-based approach is normally simple and fast. However, it is too sensitive to the unwanted edges, which may happen to appear in the front of a car. Therefore, this method cannot be used independently. Using HT is very sensitive to deformation of a plate boundary and needs much memory. Though using gray value shows better performance, it still has difficulties recognizing a car image if the image has many similar parts of gray values to a plate region, such as a radiator region [11][12]. Morphology has been known to be strong to noise signals, but it is rarely used in real time systems because of its slow operation. So in recent years, color image processing technology [4][5] is employed to overcome these disadvantages. First, all of the plate region candidates are found by histogram. After that, each one is verified by comparing its WHR (Width to Height Ratio), foreground and background color with current plate standard and eliminated if it is definitely not of plate region. And finally, for each survivor, an attempt to read plate information is made by invoking the back end.

In the back end, first channel is selected and the plate region is thresholded in the selected channel. And then, each character is extracted by histogram and some op-

timizations such as the merge of unconnected character (i.e. Chuan, or ), the removal of space mark, frame and pin, the correction of top and bottom coordinates in y direction and tilt correction are done during this phase. Next, each character is recognized by using minimum Euclidean distance based template matching since its more noise tolerant than structural analysis based method [2][3]. And for those confusing characters, 8 amp; B and 0 amp; D, for instance, a special processing is necessary to improve the accuracy. Finally, validity checking is performed against vehicle related crimes.

2 Plate Region Extraction

In principle, image should first be preprocessed, namely, enhanced and restored. But the experiment shows that it doesnt deserve its relatively heavy computational cost, so this step is skipped.

The basic idea of extraction of a plate region is that the color combination of a plate (background) and character (foreground) is unique and this combination occurs almost only in a plate region [14]. The correctness of this assumption is proved by the success of plate region extraction.

Altogether there are 4 kinds of plates in China mainland. They are yellow back-ground and black characters plate for oversize vehicle, blue background and white characters plate for light-duty vehicle, white background and black or red characters plate for police or military vehicle, black background and white characters plate for vehicle of embassy, consulate and foreigners. At first, RGB model is used to classify all the pixels into the following 6 categories: bl

剩余内容已隐藏，支付完成后下载完整资料

基于彩色图像处理的车牌自动识别系统

施锡凡1，赵伟忠2，沉永航2

^{1浙江大学计算机科学与技术学院}

^{2浙江大学理学院物理系，浙江杭州310027}

zjufan@hotmail.com, physyh@zju.edu.cn

^{摘要：车牌识别（LPR）系统可以分为以下几个步骤：预处理，车牌区域提取，车牌区域阈值处理，字符分割，字符识别和后处理。 对于步骤2，使用车牌的颜色和形状信息的组合并且获得满意的提取结果。 对于第3步，选择第一个通道，然后计算阈值，最后对该区域进行阈值处理。 对于第4步，字符沿垂直，水平方向分割，并应用一些暂时优化。 对于步骤5，使用基于最小欧几里德距离的模车牌匹配。 对于那些混乱的字符，如8和B和0和D，需要进行特殊处理。 最后一步，通过机器和手动检查有效性。 基于上述算法的程序实验表明，我们的基于彩色图像处理的LPR系统相当快速和准确。}

^{1 简介}

^{特别是在车辆相关犯罪和交通堵塞急剧增加的情况下，车辆的自动识别需求相当大。 它还可以在安全区访问控制，自动收费道路收集和智能交通管理系统中发挥至关重要的作用。 由于车牌可以唯一识别一辆车，因此近十年来，利用计算机视觉技术识别汽车并取得了一些成果，这一点引起了人们极大的兴趣[2-14]。}

^{一个典型的LPR系统可分为以下模块：预处理（包括图像增强和修复），车牌区域提取，车牌区域阈值处理，字符分割，字符识别和后处理（有效性检查）。 前两个模块只涉及车牌的形状和背景/前景色，而不考虑车牌中的字符集，是系统的前端。 相反，模块4和5与车牌中的字符集有关，并且与车牌的形状和前/后的颜色无关，因此它们是系统的后端。 但是，模块3应该考虑车牌的形状和前/后底色以及车牌中的字符集。 因此，很难说它可以归入哪一端。}

^{为了开发汽车车牌的自动识别系统，对车牌区域的稳定识别是至关重要的。诸如边缘提取[1] [6]，霍夫变换[7]和形态学运算[8]等技术已被应用。基于边缘的方法通常简单且快速。但是，它对于可能碰巧出现在汽车前部的不需要的边缘来说太敏感了。因此，这种方法不能单独使用。使用HT对车牌块边界的变形非常敏感，需要大量的记忆。虽然使用灰度值表现出更好的性能，但如果图像具有许多与车牌区域相似的灰度值部分，如散热器区域[11] [12]，则识别汽车图像仍然有困难。众所周知，形态对噪声信号较强，但由于其运行缓慢，因此很少用于实时系统。所以近年来，彩色图像处理技术[4] [5]被用来克服这些缺点。首先，通过直方图找到所有的车牌区域候选。之后，通过比较它的WHR（宽高比），前景色和背景色以及当前标准车牌标准来验证每一个，并且如果绝对不是车牌区域，则将其消除。最后，对于每个幸存者来说，通过调用后端来尝试读取车牌块信息。}

^{在后端，选择第一个通道并且在所选通道中对车牌区域进行阈值处理。 然后，通过直方图和一些操作提取每个字符，}

^{诸如非连接字符（即Chuan或）的合并，空间标记，帧和引脚的移除，y方向上的顶部和底部坐标的校正以及倾斜校正在这个阶段完成。 接下来，使用基于最小欧几里德距离的模车牌匹配识别每个字符，因为它比基于结构分析的方法具有更高的噪声容忍度[2] [3]。 对于那些混乱的字符，例如8和B以及0和D，为了提高准确度，需要特殊的处理。 最后，针对车辆相关犯罪进行有效性检查。}

^{2车牌提取}

^{原则上，应首先对图像进行预处理，即增强和恢复。 但是这个实验表明它不值得它的计算成本相对较高，所以这一步被跳过了。}

^{车牌块区域提取的基本思想是车牌块（背景）和角色（前景）的颜色组合是唯一的，这种组合几乎只发生在车牌块区域[14]。 该假设的正确性由车牌区域提取的成功证明。}

^{中国大陆共有4种车牌块。他们是黄色的背景和黑色字符车牌的特大型车辆，蓝色背景和白色字符车牌的轻型车，白色背景和黑色或红色字符车牌为警察或军车，黑色背景和白色字符车牌大使馆车辆，领事馆和外国人。首先，RGB模型用于将所有像素分为以下6类：蓝色，白色，黄色，黑色，红色等，但不幸的是，由于在不同照明条件下RGB值差异较大，因此失败。因此引入了HLS模型，这次达到了预期的效果，但它太慢了，即需要PIII 1G大约1秒来处理1024X768照片。显然，瓶颈在于RGB值转换为HLS值，而其成功的关键在于不同照度下的不灵敏度。自然地，理想的算法必须在不同的照明下保持这种不敏感性，同时消除两种颜色模型之间的转换。因此，根据RGB域中的照度变化，像素被分为13类而不是6类。它们是深蓝色，蓝色，浅蓝色，深黄色，黄色，淡黄色，深黑色，黑色，灰黑色，灰白色，白色，浅白色等。在这里，红色没有考虑到，因为这种颜色只出现在主要字符颜色为黑色的警察或军车车牌的中央或​​右侧部分一次。因此，通过检查黑色像素来识别车牌就足够了。每张照片的速度增加到0.5秒，而正确的提取速率与HLS保持一致。但是，这还不够。实际上，使用点线隔行扫描方法，时间成本降低到非隔行扫描的1/4。在提取车牌之后，通过其形状（即WHR）验证该区域。在中国大陆，有三个WHR值，其中警察或军车车牌为3.8，超大型车牌后部2.0，其他3.6。由于3.6和3.8太靠近了，它们合并成一个。因此，如果提取车牌的WHR足够接近3.7或2.0，则验证通过。}

^{根据Amdahl法律，频繁出现的情况应该比不经常的情况更受欢迎。 在中国大陆，最常见的盘子是蓝色背景的白色人物。 因此，盘子首先被认为是白色蓝色，然后是黑色黄色，接下来是白色黑色，最后是黑色白色。}

^{以白色蓝色对为例，这个过程可以说明如下。}

^{图1 垂直提取车牌区域}

^{如图1所示，整个图像被扫描，只有深蓝色像素的数量超过给定的阈值，例如1000，因此可以推断出它是深蓝色背景车牌。 从而，通过阈值深蓝像素的直方图来识别垂直方向上的车牌区域。}

^{很明显，唯一的候选者是中间的一个（对于顶部，暗蓝色像素的数量超过阈值的行数太小并因此被忽略，如果两个相邻的车牌区域足够接近，则它们合并成 一。）。 另外，由于频繁情况的好处以及车牌区域通常出现在图像的下部的事实，扫描从下到上进行，因此首先发现中间区域。 提取出的一个在图2中。类似地，通过在水平方向上进行阈值处理，获得车牌区域，如图3所示。}

^{图2 水平提取车牌区域}

^{图3 提取的车牌区域}

^{为了确认提取，检查形态或术语WHR [2] [3]。这里是310/85 = 3.65，足够接近3.7，因此验证通过。}

^{3字符分割和识别}

^3.1阈值

^{阈值处理过程应尽可能少地引入噪声，因为后续步骤可能会受到较差的阈值算法的严重影响。此外，由于照明条件在车牌上变化很大，因此需要局部自适应阈值处理。经验方法被设计出来，他们成功地对车牌块区域进行阈值处理。}

^{有多种阈值算法，但实验表明，“简单是最好的”，如果考虑到速度和精度，那么引入双模直方图分割[13]。如图4所示，如果对象的像素形成一个峰值，而背景的像素形成另一个峰值，则直方图称为双峰。假设图像由与背景灰度级大致相同的灰度级的对象组成。幸运的是，对于字符的颜色或对象几乎相同，并且车牌区域背景的颜色也几乎相同，这种情况得到满足，这使得这种简单的分割算法起作用。由于图像中有三个（R，G和B）通道，因此三个通道的最大标准偏差会选择通道。较大的标准偏差意味着两个峰值之间的距离较长，而两个峰值之间的较长距离意味着背景和物体之间的分离更清晰，并且对阈值引入的噪声较不敏感。对于图3中的车牌区域，红色，绿色和蓝色通道的标准偏差分别为74.57,72.51,59.98，因此选择红色通道进行阈值处理。这是合理的，因为背景是蓝色的，物体是白色的，它有蓝色分量，当然，蓝色通道的标准偏差必须是最小的。}

^{在不失一般性的情况下，假定物体是白色的并且在阈值之前背景是黑色的（如果不是，则颜色反转，并且这个过程仅用于黑黄色对和黑白色对）。 可以证明，经过阈值处理后，白色像素点数为车牌区域的68％〜85％。 假设V是使得85％的车牌变白的值，并且U是剩余的平均值。 然后阈值是U减去DetalV，它是从5到10.正确的阈值是通过这个经验法则完成的。}

^3.2分割

^{首先，根据其WHR，钢车牌被分类为双线或单线。 阈值分别为前者和后者的车牌宽度的1/10和1/6。 然后选择黑色像素数量超过阈值的线条，并且如果两个相邻的选定区域足够接近，则它们合并为一个。 接下来，验证每个分割区域的WHR，如果它太大，则将其作为帧丢弃。 这个过程如图5所示。}

^{类似的过程（包括阈值获取，选择，合并和丢弃）可以在水平方向完成，如图6和图7所示。字符被分割，但性能不太令人满意，因此在此期间进行了一些优化 阶段。}

^{图5 垂直方向的分割}

^{图6 水平方向的分割}

^{图7 分割字符}

去除空间标记。 第二个和第三个字符的空间比任何其他相邻字符的空间大得多，这可以被形式化为以下经验法则：

相邻字符之间最大空间与第二大空间的比例为1.25〜1.45。

^{图8 错分的字符（由于空格标记）}

^{此规则有助于删除空格标记，如图8所示。分割后，找到8个字符，其中包括空格标记，第三个字符。 最大的空间是55，而第二大的空间是53.比率是55/53 = 1.04，不在1.25〜1.45的范围内。 它怀疑空间标记的存在。 如果情况确实如此，55必须是第二大空间，最大空间是从69（1.25X55 = 68.75）到80（1.45X55 = 79.75）。 通过增加相邻的数字，显然只有35 36 = 71在该范围内。 因此，第三个字符可能是空间标记。 它的垂直方向的直方图表明像素集中在中心部分，所以它必须标记空间并去除。}

^{不相连字符的合并。 中国大陆车牌块上的第一个是省名，是一个汉字，除川之外，所有的字符都连接在一起，需要一个特殊的过程。 图中显示了一个恰当的例子}

1. ^{川字分为三段，必须合并。 最大的空间是148，而第二大的空间是113.比率是148/113 =1.31在1.25〜1.45的范围内。 所以第四个字符应该是第二个字符，这意味着第一个字符是前三个字符的联合。 合并按照从右到左的顺序完成，直到合并角色的WHR在内普通范围。 在这种情况下，只有通过合并前三个字符才能满足WHR，这导致了无关字符川的正确合并。}

^{图9.错分的汉字（由于断开）}

^{顶部和底部的修正。坐标。 由于车牌可能倾斜，因此顶部和底部坐标可能不正确（请参见图7）。 这个过程是必需的，每个字符的坐标通过垂直方向的直方图进行纠正。 图10中显示了车牌的校正结果。}

^{图10.校正结果}

删除框架。 在图10中，最后一个字符的右下角有一些噪声，它来自帧。 但最后一个字符是连接的数字。 这个属性可以移除框架，比较如图11所示。

^{图11.拆除框架}

^{图12.由于引脚引起的顶部坐标校正降级}

^{消针的去除。 由于销钉的作用，在某些情况下，顶部和底部坐标的校正结果会降低，而不是升级，如图12所示。但是由于顶部/底部坐标的线性，顶部/底部坐标 每个角色的左右坐标必须在其顶部/底部坐标之间。 在图12中，毫无疑问，第二个的顶部坐标大于第一个和第三个的顶部坐标，因此顶部坐标被第一个和第三个坐标的平均值取代，因此引脚被成功移除。 第六个针脚可以用相同的方法去除，结果如图13所示。}

^lt;

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[21851]，资料为PDF文档或Word文档，PDF文档可免费转换为Word