多级细粒度特征融合的端到端车牌识别研究
张文超,胡玉兰
【摘 要】 为解决预处理、车牌定位、字符分割和字符识别这一传统车牌识别方法复杂且流程衔接误差较大的问题,提出定位-识别的通道化车牌处理模型方法。首先根据车牌形态的结构化特点,改进Yolov2提取不同网络深度的多级细粒度特征,重构后进行融合,并利用k-means++算法对实验数据集真实目标框进行维度聚类,以初始化候选框进行车牌定位,提高定位精度;其次重塑Alexnet网络,采用七个全连接层共享卷积神经网络的模型结构约减算法流程,实现端到端的车牌识别。实验结果表明,该方法具有较高的识别率和鲁棒性,能适应复杂自然环境下的识别应用。
【期刊名称】沈阳理工大学学报 【年(卷),期】2018(037)005 【总页数】7
【关键词】关 键 词： 细粒度特征;卷积神经网络;车牌识别;端到端 基金项目： 国家自然科学基金资助项目(61373089；61672360)
随着城市交通管理不断向智能化发展,汽车数量的迅速增长,车牌自动辨识技术可实现汽车身份的自动化登记和验证,可应用于泊车管控、交通梳理、公路稽察等多种情景。车牌辨识作为现代智能交通系统(ITS)的关键技术,引起了各国研究者的广泛关注[1]。文献[2]提出了一种首先通过边缘密度信息滤除背景噪声,然后依据车牌字符的空间分布进一步定位车牌的方法;该方法提高了对光照和运动位移模糊的鲁棒性,但对于适应车牌形变和误切割的灵活性较差。文献[3]利用形态学粗提取车牌位置的连通域,再通过Adaboost构造级联分类器,利用Harr-like
特征筛选候选区域得到最终定位结果;但其不能应对复杂背景情况,且其分类结果对特征的选择具有较高的依赖性。文献[4]提出了利用坐标排序和连通分量进行字符切分的算法,但其未能适应汉字的不连通特性。文献[5]提出了一种基于像素点标记的字符分割方法,但其易受字符粘连和边框线条的影响,准确率较低。文献[6]提出了一种基于支持向量机(SVM)的字符辨识方法,通过提取字符的不同维度特征,构建级联的分类器对多个字符进行识别分类。传统的字符识别方法都要先对原始图片进行预处理,进行噪声滤波和图像增强,通过边缘检测结合分类的思想进行字符切分,最后训练模型对各个字符进行识别。本文通过改进Alexnet网络[7],采用卷积网络和全连接的方式集成特征提取和模式识别,将传统的预处理、车牌定位、字符分割和字符识别过程约减为输入-输出的单通道模型,减少算法流程间的衔接误差,实现端到端的车牌识别。
1 车牌定位
在建立未来无人值守的自动化智慧交通管理系统中,车牌识别将会越加重要。车牌识别技术需要能够自主检测处于监控区域内的车辆并追踪捕获其牌照内容进行后续处理。所以车牌识别首先需要以摄像机所拍摄的包含车辆元素的视频帧序列为对象进行车牌定位分析,然后进一步进行车牌字符识别。本文基于实时化目标检测算法Yolov2[8]训练车牌定位模型,并将其检测定位的车牌区域切割作为车牌字符处理系统的激励。 1.1 改进Yolov2模型训练
不同于R-CNN类算法需要先使用启发式方法得到候选区域,然后在候选区域上做分类和回归进行目标的定位和检测,Yolov2仅使用CNN网络一步预测待检测目标的位置和类别,提供车牌端到端的预测,如图1所示。
改进的车牌检测模型以Yolov2为基础,采用Darknet-19网络结构,包括19个卷积层和5个maxpooling层。Darknet-19与VGG16模型设计原则一致,主要采用3×3的卷积核,经过2×2的最大池化层后,特征维度降低2倍,同时将特征图的通道增加两倍。Yolov2的输入图片大小为416×416,经过5次最大池化层降采样后得到13×13的特征图,并以此特征图采用卷积做预测。网络输出的特征图对大物体的检测已经足够,但对于较小的待检物体则需要更细微的特征图。车牌的长宽之比近似于3∶1,且在整体检测图中所占比例较小,在深度学习网络中具有独特的结构化特征。卷积神经网络中的高层特征表现车牌的整体特征,中层特征表达车牌的局部特诊,可以通过结合不同的细粒度特征增加车牌检测的鲁棒性[9]。所以本文改进Yolov2网络结构,选取更符合车牌结构的中小型细粒度进行特征图重组,约减Darknet-19的最后5个卷积层,减少网络参数,其网络结构如图2所示。
图2中same表示卷积层保持原有特征图大小不变;Filter表示卷积核的数量;3Conv表示3个卷积层,将第1个卷积层记为第0层。由图2可知,经过特征重组后可得到13×13×1280大小的包含不同细粒度的特征输出张量。在车牌定位中改进的Yolov2网络结构借鉴了Faster R-CNN中RPN网络的先验框策略。RPN对CNN特征提取器得到的特征图进行卷积来预测每个位置的边界框及置信度[10],并且每个位置设置不同比例和标准的先验框。Yolov2将待分类图片经过32个下采样处理,获得固定大小特征图张量。车牌定位的网格划分如图3所示。
图3中每个单元格负责预测边界框的置信度c及边界框。边界框的大小可以由向量(bx,by,bw,bh)来表示;边界框的中心坐标(bx,by)代表相对于每个单元格左
多级细粒度特征融合的端到端车牌识别研究
