再次分享 pyspider 爬虫框架

[binux]

虽然 252 天前已经分享过，但是第二个里程碑 commit 数已经快到第一个的 2 倍了。。
功能上丰富了非常多，甚至已经部分超过原来不开源的版本了。。
请允许我再次分享一次 pyspider

github 地址： https://github.com/binux/pyspider
demo 地址： http://demo.pyspider.org/ （感谢 @phoenixlzx ）

* python 脚本，可以用任何你喜欢的 html 解析包（内置 pyquery ）
* WEB 界面编写调试脚本，起停脚本，监控执行状态，查看活动历史，获取结果产出
* 支持 MySQL, MongoDB, SQLite
* 支持抓取 JavaScript 的页面
* 组件可替换，支持单机 /分布式部署，支持 Docker 部署
* 强大的调度控制

由于功能太多，更多请参考： https://github.com/binux/pyspider/wiki
pycon 上的 slide： http://www.slideshare.net/roybinux/pyspider-pycon2014beijing

[wusuopuBUPT]

@phoenixlzx 好啊-_-

[wusuopuBUPT]

牛！

[hustlzp]

碉堡了！

[withrock]

我觉得更牛逼的是你博客里写的那个“如何从 WEB 页面中提取信息”
http://blog.binux.me/2014/07/how-to-extract-data-from-web/
micro-data

[Yiph]

MARK

[binux]

@withrock micro-data目前需要在html里面加标签，而且太理想了。。

[staticor]

mark/ 对比着scrapy学习学习。。。

[geew]

已收藏 好东西 不过这star数也是醉了


可能是我看的原因...

[Mrabbit]

谢谢分享，已star

[zhchyu999]

好东西

[oaix]

上HN首页了，恭喜恭喜

[yanchao7511461]

好东西啊 好东西

[shoumu]

@binux how

[binux]

@shoumu 能说的就是blog写的那些了。。

[qloog]

看起来很牛掰的东西~

[binux]

HN 上有人提出要测性能。。于是。。
多线程下 5700 pages/min，作为对比 scrapy bench 4800 pages/min
多进程都不想欺负它了。。

PS：我用了无限制消息队列，流量直接往下一个模块上压。。由于不清楚 scrapy 的实现其实结果不好说。。
https://gist.github.com/binux/67b276c51e988f8e2c31

[crossmaya]

windows上跑不起来，我只是过来说一声。。

[binux]

@crossmaya 我没有windows，前面有人报过issue，然后可以了啊

[crossmaya]

@binux 我从拉一下代码吧，昨天试过，启动后python进程就出错退出了，出错信息具体没看，我在试试。

[crossmaya]

看了一下，可能pycurl模块的问题！