一个好用的爬虫应该有什么样的功能？有什么有趣的玩法？

[GrahamCloud]

这两周，我们做了一个目前来看非常易用的云爬虫：

主页在这里， zaoshu.io

现在，我们提出了很多酷的设想，也在一步一步慢慢完善。 大家快来玩玩。 如果你也有酷的想法，愿意洗耳恭听。 期待可以一起合作。

[lins]

能分页爬嘛？

[GrahamCloud]

@lins 可以啊，修改规则里面。

[greatghoul]

楼主选择页面的标签的那个功能能开源吗？好喜欢。

[tokoy]

蛮酷的 主要用啥语言爬的？

[GrahamCloud]

@greatghoul 暂时不能，哈哈，还要完善。

[wujunze]

上周已经试用了

[exalex]

感觉好牛逼，特别是交互酷炫

[tumbzzc]

“执行出错”，能不能把出错信息贴出来？

[wshedu]

我试了两个东西
一个是小说
一个是企业信息 tianyancha.com 这个直接 403
小说这个不能爬分页，
能不能从爬数据-存储到数据库整个动作写完，如果可以的话。就可以放弃火车头了

[carlding123]

每太用明白，选择规则时候点框框是什么意思，关键词么？没点击就选上了，选上还有时候取消不了，并且一个链接很多的页面好像并没有爬其他的页面呢...并且分析报告也没看懂，有没有文档啥的额...

[misaka20038numbe]

测试了一下,被我的博客防镜像拦截了.说明有些加了保护的网站也是爬不了的.

[GrahamCloud]

@tumbzzc 如果告诉我您的邮箱，我们后台帮您排查一下

[GrahamCloud]

@wshedu 欢迎加我的微信， Zaoshuio
我们想了解能不能做到更多个性化的要求。

[GrahamCloud]

@carlding123 分页是目前最大的问题，我们争取这周能拿出一个好的方案来。

[GrahamCloud]

@misaka20038numbe 我们是模拟了一个浏览器在访问，求加微信 Zaoshuio

[billyellow]

蛮有意思的，支持支持

[misaka20038numbe]

@GrahamCloud 原来是用了框架,怪不得.我不怎么用微信.

[wshedu]

@GrahamCloud 已添加微信。就是我这个帐号

[GrahamCloud]

@misaka20038numbe 给的意见非常宝贵，感谢。

[GrahamCloud]

@wshedu 白天就加，手机拉下了。