一个好用的爬虫应该有什么样的功能?有什么有趣的玩法?

2016-11-25 18:09:47 +08:00
 GrahamCloud

这两周,我们做了一个目前来看非常易用的云爬虫:

主页在这里, zaoshu.io

现在,我们提出了很多酷的设想,也在一步一步慢慢完善。 大家快来玩玩。 如果你也有酷的想法,愿意洗耳恭听。 期待可以一起合作。

25076 次点击
所在节点    推广
183 条回复
Lothar
2017-02-07 13:46:35 +08:00
这个东西确实很厉害,不过很好奇,那些需要我隐私信息登录网站才有的数据要怎么处理呢?
GrahamCloud
2017-02-07 14:03:53 +08:00
@ELLIA 求加微信 ,需要更多反馈意见!
Zaoshuio
每个任务是一天一次,多开任务即可。
爬分页的功能现在在,控制面板里,年后正在上新版,会大幅变好用。
GrahamCloud
2017-02-07 14:04:10 +08:00
@Lothar 这个就要分很多情况了,目前能处理好很多。
ELLIA
2017-02-07 14:05:33 +08:00
@GrahamCloud 嗯,加了……
Xrong
2017-02-07 14:22:43 +08:00
对于小白挺好,但是真正想要特定网站数据或者自定义强的功能,又觉得隔靴搔痒还不如自己写代码来得方便。
gongzili456
2017-02-07 16:12:45 +08:00
防抓机制怎么破的?
GrahamCloud
2017-02-07 16:41:08 +08:00
@Xrong 这版确实如此,马上会上一版新的全面提升。到时欢迎更多意见
GrahamCloud
2017-02-07 16:41:19 +08:00
@gongzili456 要一个一个搞定,嗯
rickwise
2017-02-08 12:44:06 +08:00
Ajax 分页 能搞定么?怎么做?
catfish
2017-02-08 13:11:22 +08:00



怎么一个时间抓了这么多次,这个任务我是昨晚开始的。
nomemo
2017-02-08 13:50:00 +08:00
怎么说呢,非常理想
vizards
2017-02-08 16:08:05 +08:00
为什么有的页面分析很久也没有出现结果啊...是学校 asp 做的站点
GrahamCloud
2017-02-09 11:17:02 +08:00
@rickwise 分页可以搞,马上发布的新版欢迎玩耍,并且会做一个使用视频。
GrahamCloud
2017-02-09 11:17:25 +08:00
@catfish 取消出了问题么
GrahamCloud
2017-02-09 11:17:57 +08:00
@nomemo 怎么说呢,这么理想看了好开心啊! 当然有问题一定告诉我
GrahamCloud
2017-02-09 11:18:48 +08:00
@vizards 求告知细节认真解决一下!
zhucha
2017-02-09 12:55:06 +08:00
如果有多个分页,有时候三个分页,有时候三十个分页,这种在设置每次都抓取三十页,会不会有问题?
GrahamCloud
2017-02-09 13:23:05 +08:00
@zhucha 应该不会,如果出了问题,我可以后台帮你看看问题在哪,请放心!
vizards
2017-02-09 14:44:27 +08:00
r#116 @GrahamCloud 可能是昨天你们网络又出问题了吧,今天看了下又可以了
GrahamCloud
2017-02-09 16:21:17 +08:00
@vizards 恩,最近在上新版,多谅解。多提意见!

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/323314

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX