有什么开源爬虫，请推荐

[sewyu]

是这样，我打算撸个小破网站，专门发布那些类似 “新用户注册，享受 xx 优惠”的新闻。 全靠手动不行啊，所以想找个合适的爬虫。大家推荐下呗。
谢谢

[Daddy]

@pupboss 一流手机靠信仰，二流手机靠主题，三流手机靠福利 ？

[vitovan]

http://vitovan.github.io/such-cute/index-cn.html

[alexinit]

绝对是 scrapy

[sewyu]

@kepenj 哈哈，我其实就想抓来自己用，不是经常有一些网站有这种活动么，比如新注册的用户可以 1 元买水果什么的。如果能抓到这些信息 分享出来就完美了。
@vitovan 谢谢，学习一下

[li24361]

webmagic

[assassinpig]

小的自己写了就是 日后经常用个框架

[gzlock]

@mariadb 有，搜 child_process 可以查到用法，我直接用 fork 方法建立线程，很方便

@des nodejs 里一样是子线程，跟其它语言一样，都是可以控制整个子线程的生命周期和线程间通信，怎么去区分好不好呢？

[mariadb]

@gzlock child_process 是创建多个进程，不是多个线程

[PandaSaury]

自己造轮子吧

[PandaSaury]

php + swoole

[gzlock]

@mariadb 没法使用主进程的变量而已

[Chrics]

scrapy

[yytsjq]

PHP Simple HTML DOM Parser

[Tink]

自己提取

[MicroPan]

java 的话 推荐 webmagic

[des]

@gzlock 应该是子进程，有个管理进程的包。但也是新的 vm ，并不共享

[xpol]

没人推荐 Ruby 方案吗？ 我来一发： https://github.com/postmodern/spidr

[hjkl0001]

scrapy

[paperpeper]

scrapy ++

[hjkl0001]

使用 scrapy