python 3 种爬取方式对比

[alexbaba]

地址 ： https://github.com/daxia4444/djangospider

提供了 3 种抓取页面的方式：
（ 1 ）多线程下载。
（ 2 ） tornado 异步下载
（ 3 ） twisted 异步下载

只是一个雏型。希望以后能改进，这是个轻型的框架，代码非常少，可以很容易明白异步抓取和多线程抓取的方式，让后 custom 你自己的需求。

[edwardlol]

...it has a few code
you can easily understand how to use ...

[gaotongfei]

@edwardlol 我也想吐槽这句话的。。。

[shakespaces]

已 star

[alexbaba]

不好意思，目前还有很多地方需要修改，希望有 hack 来一起完善这个框架，以后会加入分布式的功能，目前打算用 Django 的 Molde 作为数据库接口。打算用虚拟机启动几个 ubuntu 来作为 exmaple 分布式。