一个好用的爬虫应该有什么样的功能？有什么有趣的玩法？

[GrahamCloud]

这两周，我们做了一个目前来看非常易用的云爬虫：

主页在这里， zaoshu.io

现在，我们提出了很多酷的设想，也在一步一步慢慢完善。 大家快来玩玩。 如果你也有酷的想法，愿意洗耳恭听。 期待可以一起合作。

[lidream2016]

@GrahamCloud http://wenshu.court.gov.cn/list/list 一直是爬取失败

[GrahamCloud]

@lidream2016 现在应该好了！

[zhucha]

假设一个页面有两列，在左键点击第一列的第一个项目时，只会自动添加第一列的其它行的相关内容，然后在 Excel 里面生成第一列。实际第二列的内容和第一列一样，但必须要再点第二列的第一个项目，然后变成 Excel 的第 N 列。
这样查看起来非常不方便，有没有办法智能识别，或者有什么办法让第 N 列自动移到第一列的下面呢？

[GrahamCloud]

@zhucha 好问题，求加微信！ Zaoshuio

[x86]

好奇有遮罩层的怎么解决

[GrahamCloud]

@x86 现在有好多点子，都在一个一个试着用

[catfish]

@GrahamCloud 正常了，之前任务重复运行

[GrahamCloud]

@catfish 多试一试，有问题随时说

[downsky]

帐号似乎验不验证没有区别。

[Nat]

楼主求个联系方式，我们公司对爬虫方面有业务需求

[DonxYu]

验证码问题貌似没解决 搜狗微信

[GrahamCloud]

@downsky 48 小时 不激活就有区别了

[GrahamCloud]

@Nat 好啊，微信： Zaoshuio

[GrahamCloud]

@DonxYu 收到，研究中。

[gabri]

好像很有趣

[exoticknight]

只用一个链接？太过简化的话就容易造成功能薄弱（当然有部分情况也是很方便
数据结构是给 dom 结构的 class 啊 id 啊路径啊做索引？
真正用的时候遇到的问题很多事混合的， AJAX 分页，然后爬出的链接要跟踪进去爬真正的数据，还要防反爬
折腾过不少，最后还是学了一下 scrapy ，起码能 work ……

[GrahamCloud]

@gabri 持续迭代中，求意见

[GrahamCloud]

@exoticknight 通用爬虫一切为了易用吧。

[cqcn1991]

用了一下，还是挺好用的
但是现在只适合抓列表页面，不适合抓详情页面。对比了一下 Import.io, 感觉完善很多，不过比国内的八爪鱼, gooseeker 都好很多了，看好你们

[GrahamCloud]

@cqcn1991 详情页功能我们正在开发中，敬请期待。