一个好用的爬虫应该有什么样的功能？有什么有趣的玩法？

[GrahamCloud]

这两周，我们做了一个目前来看非常易用的云爬虫：

主页在这里， zaoshu.io

现在，我们提出了很多酷的设想，也在一步一步慢慢完善。 大家快来玩玩。 如果你也有酷的想法，愿意洗耳恭听。 期待可以一起合作。

[iammapping]

能不能设置规则，爬完列表下钻到详细页爬其他信息

[GrahamCloud]

@iammapping 正在努力搞这个功能。

[GrahamCloud]

@haigeek 太感谢了！求加微信： Zaoshuio

[demov2]

以前有一个国外的网站提供一样的服务，后来被收购了。。就没有服务了。。体验很不错。试用一下~

[isb]

试着爬链家十个页面。。不知道为什么快十分钟了还是在执行任务中。。。

任务能否有个进度条。。

还有可否增加终止任务？？

[siknet]

恕我无理，这个东西和火车头之类的相比有什么优点？可视化吗？实际操作试了一下，好像不是很利啊。

比如 http://videos.yizhansou.com/这个站，点选下面的剧集会连上面的置顶剧集一起选择，这个怎么解。。。

[RyuZheng]

试了一下，似乎还不太行，尝试的网站是国家食品药物监管局
http://app2.sfda.gov.cn/datasearchp/gzcxSearch.do
就想爬一下这些列表。

[GrahamCloud]

@isb 这个提议非常好

[GrahamCloud]

@siknet 现在这个站点进去没东西，现在智能识别问题是还有，谢谢发现这个问题

[GrahamCloud]

@RyuZheng 这个会作为重点帮你搞定

[ivvei]

多久才能出结果…… 随便扔了个页面地址过去，十几分钟了还在“分析页面”中……

[GrahamCloud]

@ivvei 应该是几秒钟就该分析好了，是什么网站。

[siknet]

@GrahamCloud http://videos.yizhansou.com/
这个链接，之前论坛没断好 url 。

[ivvei]

@GrahamCloud http://www.zjsgat.gov.cn/jwzx/jsyw/index_1.html 这个，浙江省公安厅新闻页

[ivvei]

@GrahamCloud 今天试了下，倒是可以出结果了。不知道是不是昨天网络问题……

[GrahamCloud]

@ivvei 昨天有一段时间是出现了网络问题，嗯。

[GrahamCloud]

@ivvei 这个网站需要的数据，你看都能按你要求下来不。

[ivvei]

@GrahamCloud 还不错。虽然有小部分错乱，但是我要的数据还是取到了的。要是能支持翻页就好了。

[GrahamCloud]

@ivvei 翻页是支持的，在你的控制台地址设置里面。

[isnowify]

很赞！