爬虫的几个问题，请教一下大佬，

[yixiugegegege]

爬取一个网站

1，会出现一个 5 位的 数字+字母的 干扰线验证码，请问哪里有可以学习这种识别验证码的文章或者源码。（已经百度，但是都是用 tesseract 最低级的验证码破解。我试了，识别不了）。

2，这个网站需要增量爬取。静态页面 ，页数 3w+ 怎么才能有快捷的方法实现增量呢（想到：重新爬一遍，然后和数据库对比）

3，定时爬取，（每天晚上 11 点）

[soli]

验证码简单的话，可以试试机器学习搞。图省事儿的话，用打码平台。

[winsky]

增量：每次从最新的开始爬，校验获取的数据是不是已经有了，如果已经存在（或者已经有的数据超过一定条数），就直接结束

[qwertyegg]

@soli 我有跟 lz 同样的疑问，现在我已经抓下来很多验证码的例子了，问题是怎么训练呢，用什么数据来训练比较好？

[Rufeer]

通常网站用的第三方的验证码方案，你可以看看源码里面的验证码怎么出来的，然后用这个可以生成足够的图片，参考 mnist 手写识别进行机器学习

[sheep3]

1. 验证码接打码平台
2. 你这个数据量不就是判断有没有，没有就抓去插入吗
3. corntab 了解一下

[xuxueli]

分布式爬虫: https://github.com/xuxueli/xxl-crawler

任务调度: https://github.com/xuxueli/xxl-job/

（验证码接云识别服务）

[lihongming]

简单的验证码用开源识别算法搞定，复杂的扔给扔给打码兔之类的平台搞定。能用钱解决的问题都不要花费时间，除非你想做研究而不是用于生产

[lvsemi1]

我的做法，做成交互式的，验证码识别丢给实习生

[alvin666]

5 楼正解，另外如果验证码不是生成的可以全爬下来做个数据库，有新的验证码直接在数据库里面找（ 12306 的验证码识别就是这么干的）

[cyy564]

图像处理之后再用 tesseract 识别

[golmic]

验证码识别：
https://www.zhihu.com/answer/120141781

如果需要可以联系我，方式见微信公众号 pydatame。

增量抓取可以采用数据库对比或者本地记录爬取过的 url 等方式实现。

[jeffreychiu95]

1. 搜索引擎、github 上面找一下是否已有关于目标网站验证码的代码实现。如果没有，可以看看有没有别的网站用同类型的验证码，再搜索。如果有研究的兴趣，学习图像处理和机器学习的相关知识。接入打码平台很便宜，同时你可以获取到标注好的数据集。之后自己训练模型去识别。
2. 如果是像微博、知乎用户动态等 feed 流的，有明显的先后顺序的，可以考虑每次取出已有的最新的 id(或者其它标识)，开始爬取，当爬到这个 id 时就停止。如果想获取像 v 站新发的帖子，新发布的网页这种的。数据量小的话，可以将已有的 url/id 读取到内存，看是否已经有。数据量大的话，Redis 了解一下~
3. corntab