推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3287 天前的主题，其中的信息可能已经有所发展或是发生改变。
楼主自己以前是做 web 前后段的，现在对爬虫很感兴趣，看完了文档就直接上 urillib(1,2),scrapy,requests 等等的“框架”吧，然后基本的爬虫规则算是知道，但是发现现在的网站防爬虫厉害啊，比如现在就不懂怎么爬知乎了，另外还有其他的网站，而且验证码这关要怎么过`````````
我是小菜，勿喷````
 |
1
knightdf 2015-11-20 21:04:55 +08:00
说实话，一个 scrapy 就够你研究了，验证码普通的直接识别，发邮箱的自动从邮箱里读取，复杂的类似 Google 那样的手动输入或者 GG 。知乎应该是要登录，控制好规则不难，别想一台机器一个账号搞定
|
|
2
knightdf 2015-11-20 21:07:05 +08:00
还有， urllib,requests 这不叫爬虫框架，只是个 http 库
|
 |
3
binux 2015-11-20 21:23:18 +08:00
你做 web 前后端的,不知道怎么过防爬虫?
建议继续修炼 web 前后端的功力... |
 |
12
bzzhou 2015-11-20 23:20:51 +08:00
RFC2616 好好读读~
|
 |
14
julyclyde 2015-11-20 23:23:52 +08:00
urllib 、 requests 只能叫组件，还不能叫框架
框架得承担起程序运行的重任，让人来写其中细小的部分 |
|
16
julyclyde 2015-11-20 23:45:02 +08:00
爬虫这个其实不适合于兴趣吧
靠兴趣学习，是需要有成功给自己带来鼓励的 而写爬虫，并不是一个只要足够聪明努力就一定能成功的方向 |
 |
17
greatghoul 2015-11-20 23:50:51 +08:00 via Android
抓取百度贴吧的数据吧
|
 |
18
leavic 2015-11-20 23:50:55 +08:00
scrapy 很容易上手的，就 scrapy 而言，你不需要深入太多，如果想了解其原理，你得学 twisted 框架。
|
|
19
leavic 2015-11-20 23:52:29 +08:00
验证码这个，我有点惊讶楼主你真是做后端的？ cookies 是干啥的？
|
 |
21
qw7692336 2015-11-21 00:26:15 +08:00 via Android
我搞过验证码识别，简单的验证码都是有规律的。
只要是自己编写的验证码生成算法，都容易识别。 |
|
23
leavic 2015-11-21 00:38:17 +08:00
@aljun 确实有部分网站验证码登录后只靠 keep alive session 维持 session 内的验证，这种着实恶心，实在不行找个 ocr api 帮你识别好了。
|
 |
24
zkwolf 2015-11-21 01:01:15 +08:00
验证码可以。。。下载下来自己输，能用 cookie 登录的用 cookie 登录好了
|
 |
25
aisk 2015-11-21 01:11:50 +08:00
全站爬微博！这个好玩并且有价值
|
 |
26
gouwudang 2015-11-21 11:04:14 +08:00
楼主对爬虫感兴趣的话，欢迎发一份简历过来 [email protected] ，可以实践各种奇葩的问题和解决办法。
|
 |
27
wingyiu 2015-11-24 10:07:05 +08:00
|
 |
28
souwiki 2018-08-15 21:28:48 +08:00
建议学习基础的 requests 比较好 然后再学习深入的模块
https://souwiki.com/532.html |
Select Language