《图像处理与计算机视觉》期末作业
专 业： 计算机软件与理论 年 级： 2018级 学 号： 12018000758 姓 名： 何勇
2019年 8 月 21 日
车牌识别系统（VLRP）实验报告
一、实验目的
1、了解车牌识别系统及其应用；
2、结合本门课程所学内容，设计一个车牌识别系统并实现。
二、实验原理
1、图像预处理：
针对车牌的颜色特征，利用hsv色域进行二值化，并进行膨胀和去噪处理。摄像时的光照条件，牌照的整洁程度，摄像机的状态（焦距，角度和镜头的光学畸变），以及车速的不稳定等因素都会不同程度的影响图像效果，出现图像模糊，歪斜或缺损，车牌字符边界模糊不清，细节不清，笔画断开，粗细不均等现象，从而影响车牌区域的分割与字符识别的工作，所以识别之前要进行预处理。
2、车牌定位：
对预处理后的图片进行区域标记，根据各连通量的长宽比以及黑色像素所占比例定位车牌位置。从背景中准确地确定牌照区域是整个识别过程的关键。首先对采集到的图像进行大范围相关搜索，找到符合汽车牌照特征的若干区域作为候选区，然后对这些侯选区域做进一步分析、评判，最后选定一个最佳的区域作为牌照区域，并将其从图象中分割出来。
3、字符分割：
完成牌照区域的定位后，再将牌照区域分割成单个字符，然后进行识别。在本次系统开发中，字符分割采用垂直投影法。由于字符在垂直方向上的投影必然在字符间或字符内的间隙处取得局部最小值的附近，并且这个位置应满足牌照的字符书写格式、字符尺寸限制和一些其他条件，利用垂直投影法对复杂环境下的汽车图像中的字符分割有较好的效果。
4、字符识别：
用图像分类和识别中的所学内容对字符识别，比如基于模板匹配算法、基于支持向量机或基于神经网络的方法。我选择的是基于BP的神经网络算法。将分割出来的字符做n等分分割，统计个等分块内的黑像素比例，并与特征库比对，识别字符。
1
三、系统流程图
开始车辆图片预处理车牌定位BP神经网络特征提取字符分割字符识别画出字符结果结束
2
四、实验步骤
4.1 基于颜色的BP神经网络车牌定位
图4-1 车牌定位流程图
图4-2 车牌底色库部分样本
建立车牌底色库，在本论文中仅对蓝底白字车牌进行研究。对于这些车牌样本，将其从RGB色彩空间转换为得到其CR CB红色及蓝色分量。对车牌样本每个像素，均可得到其CR CB。而我们关心的只是两种像素，即蓝色非蓝色像素。对于蓝色的像素，在转换为CR CB 后其对应的BP神经网络映射关系为输出为1。非蓝色的像素，在转换为CR CB后相对应的BP映射为输出为0。由于BP神经网络要求输入值0到1，所以CR CB还需作简单的处理，把它转为符合要求的输入。
到此，用于进行车牌定位的BP神经网络模型有了输入层及输出层。即，输入层含两个神经结点（某像素的CR CB分量），输出层仅一个神经结点（对应逻辑关系为这个像素在视觉上是否为蓝色），中间层设计为仅含4结点的一层。
设计好BP神经网络模型后，将车牌的底色投入训练，在网络收敛后可用。这时的神经网络可以认为是已具备区分蓝色及非蓝色的能力了（对于训练得到的权值保存到一个文件CharBpNet.txt中，以便在恢复网络时直接读取而节省大量的训练时间）。然后对任意的一张含车牌的图像每个像素，将它投入网络当中，如果网络认为是蓝色的（结点输出为范围在0.8—1.0间的），那么将此像素映射成255；如果网络认为非蓝色的（结点输出范围在0—0.8间），那么将此像素映射成0。这样我们可以得到除了一张二值图像外，还可以将车牌从复杂的自然图像分离开来（当然这是从十分理想的角度出发的，实际上当车辆颜色也是蓝色的时候是无法分离的）。
3
图4-3 左图为自然车辆图像，右图为经BP神经网络后得到的二值图像
4.2基于图像投影技术的车牌分割
图像投影技术一般分为水平投影和垂直投影。所谓投影就是对图像的某种特征的统计，然后以直方图形式反映其特征强度。一般是对二值图像而用的，水平方向的投影就是每行的非零像素值的个数，在这里就是1或者255，垂直投影就是每列图像数据中非零像素值的个数。
由于车牌字符在车牌上，所以这部分可以认为是对字符的粗定位或车牌的精确定位。在设计上算法上可以这样做。对二值图像分别作水平和垂直方向的投影，得到其直方图分布，然后分别在波峰的地方作直线，这样水平方向和垂直方向共计四条直线，它们相交形成一矩形，此矩形即为车牌的大概位置。
图4-4 将要进行投影的二值图像
4.2.1 水平投影技术
逐行统计白点直方图显示投影统计结果波峰即车牌上下边缘 4
车牌识别系统实验报告
