关于云爬虫用户场景和需求的讨论帖

[GrahamCloud]

四周以来，几个小伙伴在做云爬虫易用性上下了很多功夫，功能和交互上都保持了每周两次 push 的节奏，不足还很多，现在问题是，大家对爬虫的应用场景有什么看法，我们下一步想要做定制，开放 api 。

想做到最好的造数，主页在这里 zaoshu.io

想想很欣慰，四周以前我们还是一团糟，现在已经基本功能比较清楚了，关于云爬虫的前景，应用场景，需求，希望大家都来聊聊。嘿嘿。 欢迎合作

[wyntergreg]

把标换了吧，弄个纵泰的标好么...

另外，爬虫为什么要做云...

[GrahamCloud]

想做个好用的通用爬虫嘛，顺便解决数据量大硬盘不够的问题，哈哈

[jccg90]

之前用这个爬虫试了一下监控链家每日成交价。。。确实很方便，只用了几分钟就搞定了每天定时监控。。。但是。。。一周后过去看数据，结果发现竟然只保存了最近几次的结果，爬了一周的数据竟然没有保存，每天的邮件推送里面也没把数据推送过来，只是给个链接让自己过去取数据。。。虽然是免费服务吧，但是感觉数据应该按量计费而不是按次计费

[akira]

已抓取数据免费保存 1 周，付费用户保存 30 天。。。

唔。。这样的计费模式如何

[Mizzi]

爬取直接转 rss/atom

[GreatMartial]

额，好奇你们这“使用范例”，是怎么根据用户的浏览器历史自动生成的吗？

[alexapollo]

感觉这行越来越泛滥了。。技术倒都是前几年的

[firefox12]

你能把淘宝的各种商品爬下来吗？

[bzzhou]

做这块的太多了，做好了，分一杯羹是可以的；但是市场规模估计玄乎。

[jyf]

@wyntergreg 做雲好處是可以 cache 住對目標站點的壓力 這跟某些大博主提倡大家用 rss 訂閱一個道理 不過我覺得這個服務目前做得還是很一般

[GrahamCloud]

@jccg90 这个稍微有点苦衷，之前邮件出了点问题，现在这样是过渡一下。
按理说一周的数据是保存了的，我在后台再看一下。

[GrahamCloud]

@akira 还是只能按量收费，时间不是主要问题。

[GrahamCloud]

@GreatMartial 对，不一样地点不一样。

[GrahamCloud]

@alexapollo 第四周忙东忙西的，技术上好多还没上。

[GrahamCloud]

@jyf 关键就是应用场景，我觉得应用场景还需要思考。

[jyf]

@GrahamCloud 应用场景思考这个不能闭门造车 最好的办法就是产品好用 前期免费给大家随便用 从用户的行为中去分析大众需求

[GrahamCloud]

@jyf 说得对，现在定制个人服务免费，网站功能是全免费的目前。

[GrahamCloud]

@jyf 啊，说错了，定制个人服务收费，网站功能全免费。

[GrahamCloud]

@jccg90 感觉怪不好意思的，求加微信 Zaoshuio

[jccg90]

@GrahamCloud 哈。。。没事，当时就是随手测试一下，也不是真的需要抓数据。。。感觉这种服务还是挺方便的，如果我要用的话，一般就是用这种服务做简单的页面监控用，比如就监控某个页面的某几个数据，每天定时抓下来，并保存下来。 再高级点的功能就是，把每次抓到的数据聚合一下，出个表格之类的。但是只能保存最近 10 次的结果，这个就不太友好了，可以把限制改一下，比如限制保存的记录行数或者空间占用之类的。。。毕竟我每天抓几次数据，每次就存几个数，多存一些也不会额外占用资源吧


我用这种服务的话，一般都在抓很简单的，数据量很小东西的时候。。。复杂的需求或者规模大的需求，一般也不会用这种服务了