【转】EasyPR--一个开源的中文车牌识别系统

[i=s] 本帖最后由 9crk 于 2015-2-11 14:16 编辑 [/i]

我正在做一个开源的中文车牌识别系统，Git地址为：https://github.com/liuruoze/EasyPR

　　我给它取的名字为EasyPR，也就是Easy to do Plate Recognition的意思。我开发这套系统的主要原因是因为我希望能够锻炼我在这方面的能力，包括C++技术、计算机图形学、机器学习等。我把这个项目开源的主要目的是：1.它基于开源的代码诞生，理应回归开源；2.我希望有人能够一起协助强化这套系统，包括代码、训练数据等，能够让这套系统的准确性更高，鲁棒性更强等等。

　　相比于其他的车牌识别系统，EasyPR有如下特点：

它基于openCV这个开源库，这意味着所有它的代码都可以轻易的获取。 它能够识别中文，例如车牌为苏EUK722的图片，它可以准确地输出std:string类型的"苏EUK722"的结果。 它的识别率较高。目前情况下，字符识别已经可以达到90%以上的精度。 　　系统还提供全套的训练数据提供（包括车牌检测的近500个车牌和字符识别的4000多个字符）。所有全部都可以在Github的项目地址上直接下载到。

　　那么，EasyPR是如何产生的呢？我简单介绍一下它的诞生过程：

　　首先，在5月份左右时我考虑要做一个车牌识别系统。这个车牌系统中所有的代码都应该是开源的，不能基于任何黑盒技术。这主要起源于我想锻炼自己的C++和计算机视觉的水平。

　　我在网上开始搜索了资料。由于计算机视觉中很多的算法我都是使用openCV，而且openCV发展非常良好，因此我查找的项目必须得是基于OpenCV技术的。于是我在CSDN的博客上找了一篇文章。

　　文章的作者taotao1233在这两篇博客中以半学习笔记半开发讲解的方式说明了一个车牌识别系统的全部开发过程。非常感谢他的这些博客，借助于这些资料，我着手开始了开发。当时的想法非常朴素，就是想看看按照这些资料，能否真的实现一个车牌识别的系统。关于车牌照片数据的问题，幸运的很，我正在开发的一个项目中有大量的照片，因此数据不是问题。

　　令人高兴的是，系统确实能够工作，但是让人沮丧的，似乎也就“仅仅”能够工作而已。在车牌检测这个环节中正确性已经惨不忍睹。

　　这个事情给了我一拨不小的冷水，本来我以为很快的开发进度看来是乐观过头了。于是我决定沉下心来，仔细研究他的系统实现的每一个过程，结合OpenCV的官网教程与API资料，我发现他的实现系统中有很多并不适合我目前在做的场景。

　　我手里的数据大部分是高速上的图像抓拍数据，其中每个车牌都偏小，而且模糊度较差。直接使用他们的方法，正确率低到了可怕的地步。于是我开始尝试利用openCv中的一些函数与功能，替代，增加，调优等等方法，不断的优化。这个过程很漫长，但是也有很多的积累。我逐渐发现，并且了解他系统中每一个步骤的目的，原理以及如果修改可以进行优化的方法。

　　在最终实现的代码中，我的代码已经跟他的原始代码有很多的不一样了，但是成功率大幅度上升，而且车牌的正确检测率不断被优化。在系列文章的后面，我会逐一分享这些优化的过程与心得。

　　最终我实现的系统与他的系统有以下几点不同：

他的系统代码基本上完全参照了《Mastering OpenCV with Practical Computer Vision Projects》这本书的代码，而这本书的代码是专门为西班牙车牌所开发的，因此不适合中文的环境。 他的系统的代码大部分是原始代码的搬迁，并没有做到优化与改进的地步。而我的系统中对原来的识别过程，做了很多优化步骤。 车牌识别中核心的机器学习算法的模型，他直接使用了原书提供的，而我这两个过程的模型是自己生成，而且模型也做了测试，作为开源系统的一部分也提供了出来。 　　尽管我和他的系统有这么多的不同，但是我们在根本的系统结构上是一致的。应该说，我们都是参照了“Mastering OpenCV”这本数的处理结构。在这点上，我并没有所“创新”，事实上，结果也证明了“Mastering OpenCV”上的车牌识别的处理逻辑，是一个实际有效的最佳处理流程。

　　“Mastering OpenCV”，包括我们的系统，都是把车牌识别划分为了两个过程：即车牌检测（Plate Detection）和字符识别（Chars Recognition）两个过程。可能有些书籍或论文上不是这样叫的，但是我觉得，这样的叫法更容易理解，也不容易搞混。

车牌检测（Plate Detection）：对一个包含车牌的图像进行分析，最终截取出只包含车牌的一个图块。这个步骤的主要目的是降低了在车牌识别过程中的计算量。如果直接对原始的图像进行车牌识别，会非常的慢，因此需要检测的过程。在本系统中，我们使用SVM（支持向量机）这个机器学习算法去判别截取的图块是否是真的“车牌”。 字符识别（Chars Recognition）：有的书上也叫Plate Recognition，我为了与整个系统的名称做区分，所以改为此名字。这个步骤的主要目的就是从上一个车牌检测步骤中获取到的车牌图像，进行光学字符识别（OCR）这个过程。其中用到的机器学习算法是著名的人工神经网络（ANN）中的多层感知机（MLP）模型。最近一段时间非常火的“深度学习”其实就是多隐层的人工神经网络，与其有非常紧密的联系。通过了解光学字符识别（OCR）这个过程，也可以知晓深度学习所基于的人工神经网路技术的一些内容。 　　下图是一个完整的EasyPR的处理流程:

[attach]2267[/attach]

　　本开源项目的目标客户群有三类： 需要开发一个车牌识别系统的（开发者）。 需要车牌系统去识别车牌的（用户）。 急于做毕业设计的（学生）。 　　第一类客户是本项目的主要使用者，因此项目特地被精心划分为了6个模块，以供开发者按需选择。 　　第二类客户可能会有部分，EasyPR有一个同级项目EasyPR_Dll，可以DLL方式嵌入到其他的程序中，另外还有个一个同级项目EasyPR_Win，基于WTL开发的界面程序，可以简化与帮助车牌识别的结果比对过程。 　　对于第三类客户，可以这么说，有完整的全套代码和详细的说明，我相信你们可以稍作修改就可以通过设计大考。

　　推荐你使用EasyPR有以下几点理由：

这里面的代码都是作者亲自优化过的，你可以在上面做修改，做优化，甚至一起协作开发，一些处理车牌的细节方法你应该是感兴趣的。 如果你对代码不感兴趣，那么经过作者精心训练的模型，包括SVM和ANN的模型，可以帮助你提升或验证你程序的正确率。 如果你对模型也不感兴趣，那么成百上千经过作者亲自挑选的训练数据生成的文件，你应该感兴趣。作者花了大量的时间处理这些训练数据与调整，现在直接提供给你，可以大幅度减轻很多人缺少数据的难题。 　　有兴趣的同志可以留言或发Email:liuruoze@163.com 或者直接在Git上发起pull requet，都可以，未来我会在cnblogs上发布更多的关于系统的介绍，包括编码过程，训练心得。

　　最后，祝大家国庆快乐，节日顺利！

原文地址：http://images.cnitblog.com/blog/673793/201409/182204399402788.jpg