网盘增量同步技术真的很难吗?

2016-02-15 23:32:14 +08:00
 jsq2627
目前只知道 Dropbox 和坚果云有增量同步功能。
天下那么多网盘,也不乏大厂巨头的产品,为啥只有这两家有这个功能。。
11687 次点击
所在节点    云计算
12 条回复
jiongjionger
2016-02-15 23:39:04 +08:00
定位就不同。另外增量的成本其实要大一些。
jsq2627
2016-02-15 23:42:26 +08:00
@jiongjionger 我理解的是增量会节省带宽,似乎是降到成本啊 = =
openroc
2016-02-15 23:48:30 +08:00
其实很简单,大都参考 rsync 算法进行改进。
botao1
2016-02-15 23:53:16 +08:00
因为这个行业已经(要?)消亡了
dphdjy
2016-02-15 23:54:29 +08:00
猜:普通储存基本是就是静态储存+cdn
增量需要服务器参与运算分析
gamexg
2016-02-16 00:11:37 +08:00
用处不大,大部分普通用户都是存放图片、视频占大头,这些不会有增量同步的需求。
文档之类的本身就很小,争不争量无所谓。
jiongjionger
2016-02-16 00:53:25 +08:00
@jsq2627 需要使用到增量的用户和使用普通网盘的就不是一个用户群体。
普通网盘用户只是分享和存储一些资源为主。这些资源很多用户同样保存了,实际在服务器内只保存一份(考虑到负载均衡和灾备肯定不止一个副本)。在上传某个文件的时候,例如几个 G 的某热门电影。网盘会先计算这个电影的摘要信息(例如 MD5 值 + 文件大小),如果其他用户已经上传过了,则直接在数据库增加一条记录而已,并不会真的再次上传(所谓的秒传技术)。

而用到增量的用户大多是需要备份重要文件的用户,使用场景大多是在多台设备互通数据或者备份数据。大多数据是独一无二的,需要重新上传的,储存成本不在一个级别,而增量还要考虑到算力的成本,甚至整个系统内的文件热度分布太过平均, CDN 等等的成本都会成倍增加。

像百度网盘这些网盘的定位明显就是资源分享为主的,甚至有些带一些社交功能的,增加增量备份功能有点吃力不讨好,甚至没有增量备份功能反而可以带来更多的好处(过滤用户群、减少成本)。
riaqn
2016-02-16 07:42:42 +08:00
Dropbox 的增量感觉也不好啊 据说是以 4M 为单位同步的
chzyer
2016-02-16 08:43:02 +08:00
据我所知百度云最开始就提供了增量同步的 api...
yuriko
2016-02-16 11:11:41 +08:00
问下 OneDrive 是哪种呢?
貌似 office 好像是有专门的接口?
jsq2627
2016-02-16 12:12:20 +08:00
@yuriko OneDrive 只对 Office 文件提供增量同步。
jsq2627
2020-08-28 23:10:01 +08:00
@jsq2627 2020 update: OneDrive 现在已经对所有类似文件都提供增量同步了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/256728

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX