再次分享 pyspider 爬虫框架

[binux]

虽然 252 天前已经分享过，但是第二个里程碑 commit 数已经快到第一个的 2 倍了。。
功能上丰富了非常多，甚至已经部分超过原来不开源的版本了。。
请允许我再次分享一次 pyspider

github 地址： https://github.com/binux/pyspider
demo 地址： http://demo.pyspider.org/ （感谢 @phoenixlzx ）

* python 脚本，可以用任何你喜欢的 html 解析包（内置 pyquery ）
* WEB 界面编写调试脚本，起停脚本，监控执行状态，查看活动历史，获取结果产出
* 支持 MySQL, MongoDB, SQLite
* 支持抓取 JavaScript 的页面
* 组件可替换，支持单机 /分布式部署，支持 Docker 部署
* 强大的调度控制

由于功能太多，更多请参考： https://github.com/binux/pyspider/wiki
pycon 上的 slide： http://www.slideshare.net/roybinux/pyspider-pycon2014beijing

[kslr]

里面好多我想要的东西，开始拆 T_T

[forever139]

@binux 第一次分享出来的时候，就拉到本地测试过，环境啥的都好了，就是页面没反应，然后搞了几个月的scrapy,这次再试试。

[binux]

@benjiam pyspider 不是通用爬虫啊，你要是想知道通用爬虫怎么解决，来百度我告诉你：）

@forever139 开个ISSUE啊。。ISSUE对项目帮助很大的。。

[Jaycee]

赞。。。

[xujialiang]

不得不说！！！好东西啊！！！！！！！

[zyx89513]

我用过 Portia， 请问和Portia比有哪些不同呢？

[laike9m]

其实你该申请主题演讲的。。

[s12348765]

收藏下。。。

[sohoer]

看到爬虫我就来劲！呵呵！不错

[binux]

@zyx89513
没用过 Portia，看介绍，感觉不是一层的东西，Portia 更像一个规则配置器，下层还是跑的 scrapy。
规则上，还是 http://blog.binux.me/2014/07/how-to-extract-data-from-web/ 里面，“xpath / css选择器 / 正则表达式” 这一层的东西，只是用表单简化配置罢了。

pyspider 虽然也有 自动生成css选择器的辅助工具，但是为了灵活性，或者说，还没有做这一层。

[yakczh]

-r requirements.txt
这里面内容是啥?

[binux]

@laike9m 我觉得介绍一个东西，10分钟提起听讲者兴趣就好了。。又不是经验分享，需要把问题说清楚。。

[binux]

@yakczh 依赖包

[laike9m]

@binux 也对

[glongzh]

上HN了，赞一下！

[yakczh]

http://localhost:5000/debug 这是python的在线编辑器? 通过后台 修改python代码,这个怎么调试呢?

[binux]

@yakczh 后台修改的是pyspider的组件代码？

[shoumu]

能不能更多地分享一些那两个抽取demo的内容

[binux]

@shoumu 你是指how，还是指demo的数据？

[jprovim]

@binux 恭喜,上HN頭條了.