不懂代码也能用TensorFlow做验证码识别

浏览: 9188

项目地址：https://github.com/kerlomz/captcha_trainer，欢迎各位大佬们指点，开发环境为：Pyhon 3.6，Mac请安装CPU版本的TensorFlow（只能使用CPU版，很慢很慢，还烫得可以煮鸡蛋，CPU使用pip安装的版本默认是不支持AVX2指令集的，需要下载源码自行编译，会有不少的速度提升。普通的CPU尝鲜：pip install tensorflow），所以强烈建议训练GPU性能爆炸的电脑。

###项目更新速报：

  1. 项目中新增了量化模块，能够缩小为原大小的1/4（2018/09/16）

  2. 项目新增了验证码在线标注工具，包含了四个流程：请求验证码上级页面，请求验证码，将免费识别的结果发至验证码正误反馈页面，保存分类后的结果。

长话短说，开门见山，网络上现有的代码以教学研究为主，对于验证码识别有刚需的朋友们，无需阅读代码，几个参数任何人都能使用机器学习技术训练一个模型，如本文有不严谨之处还请告知与谅解，此文旨在献给不求甚解，拿来主义者。

笔者选用的时下最为流行的CNN卷积神经网络进行端到端的验证码识别懒人们仅仅需要了解一点基本的理念即可，下面笔者将带领大家走马观花瞧一瞧如何为之：

1.故事从两个配置文件说起

config.yaml # 系统配置

# Device: [gpu:0, cpu:0] The default device is GPU.
# - requirement.txt  -  GPU: tensorflow-gpu, CPU: tensorflow
# - If you use the GPU version, you need to install some additional applications.
# TrainRegex and TestRegex: Default matching apple_20181010121212.jpg file.
# TrainsPath and TestPath: The local absolute path of your training and testing set.
System:
  NeuralNet: 'CNNNet'
  Device: 'cpu:0'
  DeviceUsage: 0.9
  TrainsPath: 'd:\tmp\'
  TrainRegex: '.*?(?=_.*\.)'
  TestPath: 'E:\Task\TestGroup\patchca\'
  TestRegex: '.*?(?=_.*\.)'
​
# SavedStep: A Session.run() execution is called a Step,
# - Used to save training progress, Default value is 100.
# TestNum: The number of samples for each test batch.
# - A test for every saved steps.
# CompileAcc: When the accuracy reaches the set threshold,
# - the model will be compiled together each time it is archived.
# - Available for specific usage scenarios.
# EndAcc: Finish the training when the accuracy reaches [EndAcc*100]%.
# EndStep: Finish the training when the step is greater than the [-1: Off, EndStep >0: On] step.
# LearningRate: Find the fastest relationship between the loss decline and the learning rate.
Trains:
  SavedStep: 100
  TestNum: 500
  CompileAcc: 0.8
  EndAcc: 0.95
  EndStep: -1
  LearningRate: 0.001

笔者十分怀念大学时光，就用校园生活的大白话捋一捋何为机器学习吧。简单来说，给机器刷题（训练集），机器边做题边对照标准答案（结合测试集进行训练），机器用学习收获的结晶（模型）通过套公式写出了标准答案（识别）。学习指的就是找到特征与标签的映射关系。这样当有特征而无标签的未知数据输入时，我们就可以通过已有的关系得到未知数据标签。

综上所述，我们得出了第一个结论：我们需要 训练集 和 测试集 来训练 模型

1.1 训练集

大致常见的有以下几种方案：

  1. 人工打码

  2. 认真分析验证码特征，自己生成几乎一样的验证码来代替训练集（Kaptcha）

  3. 对接打码平台：前提是要写一个爬虫，并且该爬虫需要具备以下功能：（1）下载验证码图片、（2）接入打码平台识别验证码、（3）将打码结果输入到验证码网站进行对错校验

  4. 专用的免费训练集下载工具：在线标注工具

    # Headers: 请求头部 Headers
    # Payload: 请求参数 Payload
    # - @captcha 代替识别结果.
    # - @timestamp 代替时间戳.
    # - @random 代替随机数.
    # BeforeUrl: 验证码的上一级页面URL（为了生成验证码对应的Session）.
    # CaptchaUrl: 验证码URL.
    # FeedbackUrl: 验证码正误判断反馈接口 URL.
    # FeedbackCharset: 验证码正误判断反馈接口 字符集（有些网站使用GBK返回）.
    # Method: [POST, GET, JSON]. 验证码正误判断反馈接口请求方式
    # TrueMsg: 验证码正确反馈 消息.
    # TrueCode: 验证码正确反馈 请求状态码.
    # FalseMsg: 同上，二者选其一即可.
    # FalseCode: 同上，二者选其一即可.
    # CharLength: 验证码长度.
    # CharSet: [ALPHANUMERIC, ALPHABET, NUMERIC]. 验证码字符集.
    # PrintFeedback: 打印反馈消息.
    # PrintPayload: 打印反馈请求参数.
    YourModelName:
      Headers: {
        user-agent: 'Chrome'
      }
      Payload: {
        'checkCode': '@captcha',
        'tm': '@timestamp'
      }
      BeforeUrl: None
      CaptchaUrl: None
      FeedbackUrl: None
      Method: 'POST'
      FalseMsg: ''
      FalseCode: 200
      CharLength: 3
      CharSet: 'NUMERIC'
    #  PrintFeedback: True
    #  PrintPayload: True

1.2 测试集

极力推荐外部打码+人肉打码混合（特别是一些机器容易识别错的）

1.3 开始刷题

训练集和测试集到手之后就可以开搞了。

System:
  Device: 'gpu:0' # 配置用来训练的设备，GPU比CPU快得多的多，但是要安装额外的环境依赖
  Language: 'en-US' # [zh-CN, en-US] 训练输出信息的语言
  NeuralNet: 'CNNNet'  # [CNNNet] 目前阉割掉了DenseNet待后期优化后放出
  TrainsPath: 'E:\Task\Trains\cn_exec' # 训练集的存放路径
  TrainRegex: '.*?(?=_.*\.)' # 训练集的文件名匹配，一般有两个原则：不重名、包含标注
  TestPath: 'E:\Task\TestGroup\cn_exec' # 同上
  TestRegex: '.*?(?=_.*\.)' # 同上

默认的命名规则为 正确标注_时间戳.jpg上面对应的命名规则通过正则 .*?(?=_.*\.) 提取到正确标注，所以如果不按照这个规则命名，就需要自己另写对应于正确标注的匹配正则

正则这里补充一下，因为很多人踩坑了。大多数人感觉都是像这样的文件名：xxxx.jpg，xxxx是验证码的标注，那么正则这么写：.+?(?=\.)，这个匹配的目的是为了匹配出正确的标注。

Trains:
  TestNum: 300 # 每个批次测试样本数，换言之：每次小测验出300题
  SavedStep: 100 # 训练过程中每100个步长保存模型，接地气的说法：每背100个单词消化一下
  EndAcc: 0.97 # 结束训练的准确率指标，换句话说，100分考97分就能毕业了
  CompileAcc: 0.9 # 编译精度，超过这个精度就编译一次，适合奇葩需求，不要在意
  EndStep: -1 # 结束训练的步长指标，换句话说，跑10公里就结束了，不看成绩了
  LearningRate: 0.0003 # 学习率和loss值密切相关，按默认的来就好了，一般还有几种选项：0.1, 0.01

2.可以嘴角开始疯狂上扬了

先晒出模型方面的参数，不要被吓到，讲一讲其实很简单的

model.yaml # 模型配置

# Convolution: The number of layers is at least 3.
# - The number below corresponds to the size of each layer of convolution.
# Provide flexible neural network construction,
# Adjust the neural network structure that suits you best
# [Convolution, Pool, Optimization: {Dropout}]
CNNNet:
  Layer:
    - Convolution: 32
    - Pool: [1, 2, 2, 1]
    - Optimization: Dropout
    - Convolution: 64
    - Pool: [1, 2, 2, 1]
    - Optimization: Dropout
    - Convolution: 64
    - Pool: [1, 2, 2, 1]
    - Optimization: Dropout
  ConvCoreSize: 3
  FullConnect: 1024
​
# ModelName: Corresponding to the model file in the model directory,
# - such as YourModelName.pb, fill in YourModelName here.
# CharSet: Provides a default optional built-in solution:
# - [ALPHANUMERIC, ALPHANUMERIC_LOWER, ALPHANUMERIC_UPPER, NUMERIC]
# - Or you can use your own customized character set like: ['a', '1', '2'].
# ImageChannel: [1 - Gray Scale, 3 - RGB].
# CharLength: Captcha Length.
Model:
  ModelName: patchca
  ImageChannel: 1
  CharLength: 4
  CharSet: ALPHANUMERIC_LOWER
​
# Magnification: [ x2 -> from size(50, 50) to size(100,100)].
# OriginalColor: [false - Gray Scale, true - RGB].
# Binaryzation: [-1: Off, >0 and < 255: On].
# Smoothing: [-1: Off, >0: On].
# Blur: [-1: Off, >0: On].
# Resize: [WIDTH, HEIGHT].
Pretreatment:
  Magnification: 0
  OriginalColor: false
  Binaryzation: 240
  Smoothing: 3
  Invert: false
  Blur: 5
#  Resize: [160, 60]·

2.1 神经网络

我们选用的神经网络是最基础的CNN模型了，一般来说就是

卷积层+池化层+卷积层+池化层...+全连接层

笔者曾经上课时存了一个很好理解的图示，斯坦福大学的CS231N的课程的传送门卷积运算显然是一个线性操作，而神经网络要拟合的是非线性的函数，因此和全连接网络类似，我们需要加上激活函数，笔者的代码选取的为ReLU函数。池化层的作用：通过卷积操作，我们完成了对输入向图像的降维和特征抽取，但特征图像的维数还是很高。维数高不仅计算耗时，而且容易导致过拟合。为此引入了下采样技术，也称为pooling即池化操作。池化的做法是对图像的某一个区域用一个值代替，如最大值或平均值。在这里，笔者选择的是最大值，因为前者是非线性的，一般情况下将获得更好的效果。（笔者在此便不徒增各位的选择困难了，私下决定在代码里定死）

2.2 模型

忘了和大家说一件很重要的事，光把验证码丢给计算机纯属耍流氓，好比要考试了，老师不告诉你考试范围，所以，我们还要告诉机器 这图片对应的验证码是几位的，用的是什么字符集等，例如 “AB3D” 是 4位，字符集用的是英文+数字混合。

字符集给各位安排好了：

  • ALPHANUMERIC: 英文大小写与数字混合

  • ALPHANUMERIC_LOWER: 英文小写与数字混合

  • ALPHANUMERIC_UPPER: 英文大写与数字混合

  • NUMERIC: 纯数字

  • ['a', 'A', '1', ...]: 当然也不会忘了有奇葩需求的你们，还可以自定义，但是要和部署配置对应上哦

注： 本来想加中文的，但大家需要知道，中文的难度太大了，这个基本的神经网络结构完全不足以支撑，即使能训练，最多只有很低的识别率，训练时间也极高，所以这个Demo就一切从简，只考虑最常见的

2.3 预处理

节奏很快，给了考试范围，预处理又是为了什么呢，这个不知道从何说起了，这个并不是必须的环节，更像是优化，好比老师出题，出的都是无限维向量空间上的泛函，一题要解一百年，那我们分析个锤子，我们通过预处理，把维度降低到一元一次方程，识别难度降低了，识别速度也快了。一般情况下，预处理有这么几种：笔者的训练系统自带了 二值化、滤波、模糊特别强调一下：为什么网上没人提及过模糊处理呢，待我举个栗子：

经过处理，类型A和类型B在肉眼上看是不是很像一个模子刻出来的。滤波主要是为了降噪，二值化旨在排除颜色的干扰，经过这些预处理，足够解决大部分简单的字符型验证码了。

2.4 开工

不用过多介绍了吧，上图也没讲什么，大致就告诉我们两样东西：第一，测试环节的预测报告第二，识别率

每100步的检验有两种格式输出消息：

  1. Flag: , Predict:

  2. False, Flag: , Predict: 输出这些消息的意义在于，满足笔者不肯放过每一个细节的监视欲望。acc_on_train 说的是是准确率注：这个100%是要强调一下的，仅仅说明抽样的300个测试集中，预测率100%。该模型实际线上的识别率是99.8%，大约1w个测试样本。

感谢时间：十分感谢全国失信网的验证码用以学习和研究http://zxgk.court.gov.cn/zhzxgk/captcha.do?captchaId=08578d94beef4817afaa7b9fe1c64d58&random=0.11016792282004739再次声明：本人未以任何形式收集该网站上的个人信息，仅作研究学习用途，该软件仅限于个人玩耍使用，请勿用于商业用途，否则作者概不负责。```

3. 惊！玩转深度学习的原因竟然是

到这里差不多已经接近尾声了，经过封装打包，傻瓜式训练神器锻造出炉。下面简单介绍一下：

  1. CPU版不需要安装额外的依赖，但有些版本低的电脑需要安装VC运行时库，还有，Win7 SP1以下是不支持TensorFlow的。

最便捷的验证码训练工具 - CPU版/GPU版链接: https://pan.baidu.com/s/12NB-goVKT2xUUpgcRqqm8A 密码: w9cr

  1. GPU版的话需要安装CUDA 和 对应版本的 cuDNN，鉴于官网经常崩溃，我这里也给出百度云备用的下载地址：

链接: https://pan.baidu.com/s/113op-T7tQZC0V90NWHrBcg 密码: pg59

下面祭出神器界面：

笔者思前想后：光训练模型可不行，还要会部署。笔者准备在下一篇将祭出杀手锏“验证码平台一键部署神器”。

后记

如果各位好汉对验证码识别感兴趣的，可以加QQ群（857149419）交流，新群，欢迎大家一起学习和交流。思来想去，源代码还是上传一下走过路过点个星在此谢谢大家了！https://github.com/kerlomz/captcha_trainer

推荐 1
梁勇
本文由 kerlomz 创作，采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者，并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点， 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台，并不用于任何商业目的，如果有任何问题，请及时联系我们，我们将根据著作权人的要求，立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录或注册