大角度倾斜的车牌识别算法研究

发布时间：2020-05-21 02:28

【摘要】：车牌识别是智能交通系统中非常重要的基础功能,应用广泛。目前标准场景下的车牌识别算法相对已经比较成熟,市场上主流的车牌识别系统在标准场景下的识别率都很不错。但是在很多应用场景下,比如停车场出入口,车辆行驶方向不一,导致车牌在图像中会出现大角度的倾斜。大角度的倾斜对车牌检测有较大影响,会造成车牌的漏检,同时也会造成字符粘连和字符挤压变形,降低车牌字符的识别正确率。针对以上问题,本文对大角度倾斜车牌的检测、矫正和字符识别算法进行了深入研究,主要研究内容包括:一、构建了基于East网络的精确车牌检测算法。首先分析了对于大角度倾斜车牌应用精确检测(检测车牌字符区域的四个顶点)的必要性;其次实现了基于4个顶点坐标输出的East网络结构,主要过程包括:一是将像素点到矩形四条边的四通道距离输出修改为到4个顶点的8通道距离输出,二是使用4个顶点所围成四边形的最小外接矩形来计算IOU(交并比)。最后将此网络模型用于车牌字符区域的精确检测。实验结果表明,与传统算法相比,本文算法在保证一般车牌检测性能的基础上,对大角度倾斜车牌的检测效果有明显的提升,精确率和召回率均达到了97%以上。二、提出了基于两步倾斜矫正的车牌字符识别算法。首先利用得到的车牌区域的四个顶点坐标对车牌进行旋转变换和透视变换,将大角度倾斜车牌图像进行矫正并横向拉伸至合适大小,克服了由于大角度倾斜导致的字符粘连和字符挤压变形等问题;然后从矫正后的车牌字符图像中提取出车牌首位汉字,使用LeNet-5网络对汉字进行识别,提高汉字的识别率;最后使用CRNN网络对后几位车牌字符进行端到端的字符识别,避免了传统字符分割过程产生的误差,并且能够识别任意长度的车牌字符。实验结果表明,相对于使用CRNN网络直接对倾斜车牌字符进行识别,两步倾斜矫正可以将识别率提高近10个百分点,而首位中文识别网络可以进一步将识别率提升15个百分点至96.4%。
【图文】：

字符区域,车牌

对车牌Ｋ域的精确检测是指在含有车牌的图像中直接定位车牌字符丨ｘ：域四逡逑边形的四个顶点，输出的检测框是由四个顶点组成的围绕车牌字符区域的？个四逡逑边形，但不一定是矩形或者平行四边形，如图２－１所示。逡逑W逡逑图２－１车牌字符区域精确检测逡逑一般车牌检测算法的检测框是车牌区域的外接矩形，如下页图２－２所示。当逡逑车牌倾斜不大的时候，比如图２－２中（ａ）图，可近似认为是比较准确的检测效果。逡逑但是当车牌倾斜角度较大时，比如图２－２中（ｂ）图，字符区域带有仿射变换或者透逡逑视变换，此时用外接矩形来表示车牌区域显然不太合适，首先无法根据得到的位逡逑置信息对车牌进行倾斜矫正，其次即使不经过矫正直接对倾斜比较大的车牌图像逡逑进行字符识别，识别率也不会很理想，这是因为当倾斜比较厉害时，字符粘连和逡逑９逡逑

车牌,输出结果

发生火角度倾斜（可能带有仿射变换或透视变换）的车牌，由于检测框是车牌字逡逑符ＩＸ域的eA小外接旋转矩形包围框，并不能够准确预测出字符所在区域的顶点坐逡逑标，依然无法解决车牌的变形问题。如图２－６中（ａ）图和（ｂ）图所示，（ａ）图表示倾逡逑斜车牌ＲＢＯＸ输出结果，（ｂ）图表示根据得到的旋转角度进行旋转后的车牌图像。逡逑T以出，乍牌根据旋转仂度进行旋转矫正后，车牌字符依然是倾斜的。逡逑（ａ）倾斜车牌ＲＢＯＸ输出结果逦（ｂ）旋转后的车牌图像逡逑图２－６倾斜车牌ＲＢＯＸ输出结果逡逑相对于ＲＢＯＸ输出，，ＱＵＡＤ输出是８个通道，通过合并平均最终能得到车逡逑牌字符区域的四个顶点坐标，实现车牌区域的精确定位。不过，虽然Ｅａｓｔ算法逡逑的作者在文章中指出Ｅａｓｔ网络结构包含有ＱＵＡＤ形式的输出，但是在所有能找逡逑到的公开资料中，均只有ＲＢＯＸ输出的具体实现，而没有ＱＵＡＤ输出的实现。逡逑因此本文作者按照自己对Ｅａｓｔ网络接口的理解，设计实现了邋ＱＵＡＤ输出结构，逡逑用来完成车牌字符区域四个顶点的检测。逡逑１３逡逑
【学位授予单位】：北方工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;U495

【相似文献】