想要深入修炼 python 爬虫的功力，有什么建议么？

[aljun]

楼主自己以前是做 web 前后段的，现在对爬虫很感兴趣，看完了文档就直接上 urillib(1,2),scrapy,requests 等等的“框架”吧，然后基本的爬虫规则算是知道，但是发现现在的网站防爬虫厉害啊，比如现在就不懂怎么爬知乎了，另外还有其他的网站，而且验证码这关要怎么过`````````

我是小菜，勿喷````

[qw7692336]

我搞过验证码识别，简单的验证码都是有规律的。
只要是自己编写的验证码生成算法，都容易识别。

[aljun]

@qw7692336 求详情赐教 z （我比较渣⋯⋯）

[leavic]

@aljun 确实有部分网站验证码登录后只靠 keep alive session 维持 session 内的验证，这种着实恶心，实在不行找个 ocr api 帮你识别好了。

[zkwolf]

验证码可以。。。下载下来自己输，能用 cookie 登录的用 cookie 登录好了

[aisk]

全站爬微博！这个好玩并且有价值

[gouwudang]

楼主对爬虫感兴趣的话，欢迎发一份简历过来 [e-mail] ，可以实践各种奇葩的问题和解决办法。

[wingyiu]

http://www.zhihu.com/question/20899988

[souwiki]

建议学习基础的 requests 比较好 然后再学习深入的模块
https://souwiki.com/532.html