现在有网盘支持基于rolling checksum/hash 的progressive deduplication么？

[weakish]

有网盘支持这个功能么？

这个功能特别适合备份 VM 文件。我昨天备份过了的话，今天再备份，相同的部分都是秒传了。甚至，很多 VM 都差不多的，所以甚至第一次上传都可能是秒传 （因为有别的用户上传过了）。

目前我是用bup备份VM到网盘的同步目录，但是：

- 如果网盘直接支持的话，我就可以直接传VM，不用先运行bup了，虽然bup确实很快
- bup不支持删除旧备份，如果以后占用空间过多，我得全部删除，从头备份、从头上传

[mindcat]

这是神马? 0w0 好高级! 糊里糊涂的喵!

[kennedy32]

不明觉厉

[VYSE]

DROPBOX都不支持，而且现在网盘单个文件尺寸限制太大

[weakish]

@mindcat @kennedy32 簡單說就是基於block而不是file做deduplication：將文件切成很多很小的小塊，然後對每個小塊計算hash，檢測是否已經存過了，並且通過一定手段保證文件內容部分改變之後，未改變的部分會被切成和上次一樣的小塊。具體可以 google 相關的關鍵詞。

西數的arkeia網站上的介紹：http://www.arkeia.com/en/products/data-deduplication/progressive-deduplication
bup的設計文檔：https://github.com/bup/bup/blob/master/DESIGN