开源一个 python 脚本驱动的定向爬虫

[binux]

python爬虫绝大多数都是定向抓取，并进行一定程度的结构化解析

这套爬虫设计采用python脚本驱动抓取动作，适用于各类页面（要实现通用爬虫也没问题）
经过实践证明好用的更新调度机制，以及灵活稳定的抓取环模型
辅以 WEB 化的脚本编写、调试、监控，看图你就懂了：



这套爬虫是我一年多前设计开发的，抓取200个站点，在至少2个商业环境中运行，现在在Apache协议下重写开源。希望能终结各种自己写python爬虫的必要。

github项目： https://github.com/binux/pyspider
快速开始： https://github.com/binux/pyspider/wiki/Quickstart
其他更详细的文档： https://github.com/binux/pyspider/wiki

[yanwen]

支持一个。

[alexapollo]

看起来还不错~

[hhrmatata]

有web调试和监控，看起来很不错

[arbipher]

赞！
抓取200个站点，求加到wiki上。

[hadoop]

赞！

[9hills]

支持一下

[binux]

@arbipher 以前的脚本放出来不好。。而且不兼容了

[arbipher]

@binux 说的也是，但是就这个是比较恶心的地方。。。

[exoticknight]

其实是终结各种我们大家写python爬虫的必要……

[RIcter]

请手下我的膝盖...已感谢

[figo]

看起来不错

[chon]

从BYR论坛过来支持一下~

[moroumo]

支持啊，我也用scrapy写过一个简单的

[caomu]

手机上手动回复点赞加马克。。。

[forever139]

支持下

[lj0014]

自带webui非常不错

[nealv2ex]

看了一上午了，我的python果真是战5渣。

[spritevan]

这个 webui 好丑啊

[binux]

@spritevan 帮我改啊

[spritevan]

只会说不会改啊 （＾ω＾）