需要爬取一个网站内容，需登录和验证码（简单字母数字），怎么破？

[daoluan]

学校教务系统的网站，最近添加了验证码，不知如何爬取了。

一个方案：收集验证码图片，降噪处理什么的，标记对应的验证码，生成一个验证码数据集。在需要输入验证码的时候，用图片与数据集中的验证码数据集比较～

「一个方案」可行么？

[Bviews]

让用户输入验证码吧。要不然如果验证码比较复杂你的样本库数量大的话，5秒内还要完成抓取解析如果不考虑网络延时的话，可能时间差不多。

[daoluan]

@okidogi 呃。。真不认镇看题，有验证码在那里，cookie 不能直接使用。

[daoluan]

@zhwei 嗯，我已经尝试过了，因为我的 python 服务器是部署在 sae 上，但 sae 不允许写文件，http://sae.sina.com.cn/?m=devcenter&catId=206 PHP 和 java 可以使用 sae 的 TMPFS，但 python 没有这个待遇。

到底怎么破！

[daoluan]

@zhwei
@Bviews

正在考虑用户输入验证码，突破的关键还是前一条回复所说的。请求验证码图片的时候要放入 cookie，不然获取的验证码是没什么用的。

[ccdjh]

采集同学的数据，自己建立数据库，第一次握手时，先回复一条确认，第二条再回复数据，这样就10秒啦！

[okidogi]

@daoluan 是啊，点了回复之后就发现看错题了。囧。
chrome有个插件，可以将cookie导出成wget可以使用的格式。可以手动输入验证码，然后保存cookie，然后wget。

https://chrome.google.com/webstore/detail/cookietxt-export/lopabhfecdfhgogdbojmaicoicjekelh?hl=en

[zhwei]

@daoluan 我直接保存了用于登陆的对象, 第一次请求的时候调用`pre_login`方法, 返回验证码和请求识别码(eg. md5(datetime) 用户辨认是哪一个请求), 并且将整个对象保存到一个字典中,key为请求识别码, 用户输入验证码后,调用`login`方法, 从字典中`pop`出相应的对象, 模拟登陆.

登陆流程 https://github.com/zhwei/gotit/blob/gunicorn/code.py#L82-L106
保存的对象 https://github.com/zhwei/gotit/blob/gunicorn/addons/zf.py

[daoluan]

@zhwei 你确定这能用在微信公众平台上？

[zhwei]

@daoluan 需要你自己改一下， 没有做过微信公众平台