一个好用的爬虫应该有什么样的功能？有什么有趣的玩法？

[GrahamCloud]

这两周，我们做了一个目前来看非常易用的云爬虫：

主页在这里， zaoshu.io

现在，我们提出了很多酷的设想，也在一步一步慢慢完善。 大家快来玩玩。 如果你也有酷的想法，愿意洗耳恭听。 期待可以一起合作。

[moonkiller]

lz 你太牛了。我就要个你这样的功能=。=

[GrahamCloud]

@moonkiller 真的？有问题有需要随时说啊

[moonkiller]

@GrahamCloud 问题太多，不知道从哪儿说 ಥ_ಥ。。。。

[GrahamCloud]

@moonkiller 来加微信： Zaoshuio ，慢慢说

[fhefh]

先 mark 试用中

[F0nebula]

竖屏打开首页没有显示
"热门数据来源 TOP 16"
的图标 不过可以点击

[GrahamCloud]

@F0nebula 感谢！

[jadetang]

好奇问一下，你们的爬取机器是只有一台吗，如果数据量过大，会爬取得很慢吗

[GrahamCloud]

@jadetang 用的阿里云

[hoyixi]

哈哈，赞一个

[GrahamCloud]

@hoyixi 昨天上线了神奇功能，快来试试

[jadetang]

@GrahamCloudge 这个和阿里云没关系的啊。如果 1 万个人用，零点的时候有 100 万个爬取任务在爬取。那么你是弄一台很高配的 ecs 去跑吗

[GrahamCloud]

@jadetang 肯定是分布式的啊……

[jadetang]

@GrahamCloud 那同一个任务是怎么只在一个机器上去跑的？

[GrahamCloud]

@jadetang 我们有非常好的任务调度，嘛，非常好。

[YingJie]

楼主你好，请问你们的爬虫是基于 pyspider 吗？

[peesefoo]

以后会收费吗

[GrahamCloud]

@YingJie 接近了

[GrahamCloud]

@peesefoo 流量成本越来越高，以后必须要收费啊

[lneoi]

注册的时候 看到“立即注册造数，获取你的数据”。犹豫了一秒，为什么我要主动贡献我的个人信息给你...然后就明白 我理解错了..