想要深入修炼 python 爬虫的功力，有什么建议么？

[aljun]

楼主自己以前是做 web 前后段的，现在对爬虫很感兴趣，看完了文档就直接上 urillib(1,2),scrapy,requests 等等的“框架”吧，然后基本的爬虫规则算是知道，但是发现现在的网站防爬虫厉害啊，比如现在就不懂怎么爬知乎了，另外还有其他的网站，而且验证码这关要怎么过`````````

我是小菜，勿喷````

[knightdf]

说实话，一个 scrapy 就够你研究了，验证码普通的直接识别，发邮箱的自动从邮箱里读取，复杂的类似 Google 那样的手动输入或者 GG 。知乎应该是要登录，控制好规则不难，别想一台机器一个账号搞定

[knightdf]

还有， urllib,requests 这不叫爬虫框架，只是个 http 库

[binux]

你做 web 前后端的,不知道怎么过防爬虫?
建议继续修炼 web 前后端的功力...

[aljun]

@binux 你是说记下 IP 防止爬虫么？请赐教`````

[aljun]

@knightdf 那我若是想好好地学学的话，哪些书或者路子比较好呢?

[binux]

@aljun 你是做前后端的, 如果让你做防爬虫, 你怎么做? 怎么过?

[aljun]

@binux 测 user-agent ，服务器记 ip 做 403 ？还有呢？

[binux]

@aljun 你都做了绕过?还是不能爬知乎?

[knightdf]

@aljun 1 ，官方文档 2 ，源码 多看看源码，自然都理解了

[aljun]

@binux 好吧，那如果想更加精进自己爬虫的功力的话，最好看什么书比较好呢？

[binux]

@aljun 前后端开发的书...

[bzzhou]

RFC2616 好好读读~

[haozhang]

@bzzhou +1

[julyclyde]

urllib 、 requests 只能叫组件，还不能叫框架
框架得承担起程序运行的重任，让人来写其中细小的部分

[aljun]

@julyclyde 所以我打了个引号⋯⋯

[julyclyde]

爬虫这个其实不适合于兴趣吧
靠兴趣学习，是需要有成功给自己带来鼓励的
而写爬虫，并不是一个只要足够聪明努力就一定能成功的方向

[greatghoul]

抓取百度贴吧的数据吧

[leavic]

scrapy 很容易上手的，就 scrapy 而言，你不需要深入太多，如果想了解其原理，你得学 twisted 框架。

[leavic]

验证码这个，我有点惊讶楼主你真是做后端的？ cookies 是干啥的？

[aljun]

@leavic 那万一是那种很暴力和不讲道理的网站呢?