关于数据采集需求的讨论帖

[GrahamCloud]

我们是马不停蹄不停迭代产品的小团队！ 感谢大家的各种意见。 这个帖子里，我想跟大家认真讨论一下，大家平时写爬虫会是想采集什么数据，对一个通用爬虫，或者如果你们想定制爬虫，又会有什么要求。

另外，欢迎来看我们的新 ui ：全新 ui 的造数页面在这里

论坛已经搭建好了，正在构思放什么资源上来方便大家，也欢迎意见。

[Powered]

爬虫没太大技术含量

[syk]

在一家在线销售餐饮设备的公司干过，主要收集的最多就是淘宝同类商品价格，图片，商品链接。其次就是同类竞争商家网站销售的设备设备种类！

[GrahamCloud]

@Powered 你这个没说错，技术含量 体现应该是通用性，优化存取和 针对策略上。

[GrahamCloud]

@syk 求使用建议

[xiamx]

希望定价能显示在主页上

[imn1]

简单说，数据有效期达到按年为单位的，都是值得保留的
时效越短，其专用性质越强，就是使用人群越单一

[GrahamCloud]

@imn1 这个点非常对。

[GrahamCloud]

@xiamx 什么定价

[langmoe]

通用的。。比如这货？
http://www.shenjianshou.cn

[yuntong]

不好用...

[zhaixiaohu]

怎么一直都是正在爬取，看不了结果

[GrahamCloud]

@langmoe 方向不一样，我们想让用户完全不用写代码。

[GrahamCloud]

@zhaixiaohu
@yuntong 求告知问题

[txlty]

站长圈子有个古老的产品，叫“火车头”。

[langmoe]

@GrahamCloud 是不用写，神箭手做的就是这一块市场。开发者负责提交不同网站的爬虫规则换取报酬，而真正需要爬虫的用户，只需要在商城查找并购买规则，就可以拿到源源不断的数据。

[kindjeff]

微博的数据啊，但是爬起来很困难。

分析微博粉丝结构，评论转发点赞的人的结构还有趋势。

[frankzeng]

要一个输入商品的 url 就能获取到他的价格，名称，分类，图片这些

[yuntong]

@GrahamCloud 估计是我采用墙外连接的原因...分析时间长并且超时...
所有需求你懂的...

还是用自己专门定制的爬虫机器人靠谱啊...

[GrahamCloud]

@langmoe 这个模式有意思

[GrahamCloud]

@frankzeng 这个是基本需求，目标网站一般是哪些