看今天的阮一峰周报想到个点,数据共享计划

[meeop]

当前互联网的一大问题是数据封闭,数据被认为是重要资产严密保护在各个公司手里

这不公平也不合理:

数据是各个用户劳动创造并免费共享的(比如帖子,视频,app),但是却不能被公开的免费获取,这点非常像论文下载公司,互联网公司以此牟利
小公司缺乏数据,很难竞争,导致互联网被几家大公司垄断,进而侵犯用户利益

那么,做一个将数据重新免费共享到全互联网的机制,就很有意义,诸位怎么看?

我能想到的一个方案:

做一个数据爬取和分发插件,在用户授权的范围,当他浏览网页时,就爬取当前网页,并广播全网
下游数据消费者就能存储,解析,整理全网原始数据,供其他人使用

这个方案能做到:

免疫所有反爬策略,毕竟你不能不让用户看你的网站数据吧
数据来源于人民,再被人民分发出去,道德架构上合理

[meeop]

@summerwar 看下我上面的回答
数据分享只是数据生产端，消费端才会承担存储和法律风险
消费端就是具体落地应用了，看应用场景，比如你要做一个网盘搜索，你就监听网盘类信息呗
v2 上也经常能看到聚合全网某种数据的新应用，如果有这个生态的话，就不用自己做爬虫了，直接监听共享数据并聚合整理就行

至于存储，这也不是问题啊，普通用户不存储，谁监听谁存储，信息只是分发出去了，并不是说必须全量存储
另一个方案是 dht ，每个用户存储一部分，全网用户能生产多少数据，就一定能存储多少数据（你每天发的消息照片肯定能存储在你的手机里）