Windows 10/11 有哪些文件数据去重(deduplication)的方案？

[kenvix]

已知对于 Windows Server ，NTFS 和 ReFS 均支持数据去重(deduplication)。这种去重似乎不是简单地把重复的文件删掉，而是创建两个引用指向同一个数据块，然后其中一个引用的文件发生修改时进行写时复制/CoW 。

但是非 Server 版似乎没有带有这样的功能，想问下非 Server 版有类似的解决方案吗？ NTFS 或 ReFS 的都行。

[ho121]

是说硬连接吗？

[AoEiuV020JP]

@ho121 #1 不是吧，硬链接改了一个其他都会改，这里是不会改其他文件的设计，

[meattball]

Windows 10/11 里面的存储空间似乎支持数据去重

[kenvix]

@ho121 硬链接在修改时不会发生 CoW ，不是去重

[kenvix]

@meattball 没有 RAID 的需求，用存储空间似乎实在是不合适，白白损失 CPU 和 SSD 性能

[ho121]

https://github.com/microsoft/CopyOnWrite 找到个这个，但说不支持 NTFS ，只支持 ReFS

[ikas]

提取 windows server 的相关功能包,然后装到 windows 中
使用 Microsoft-Windows-Dedup-Package-amd64 这个包作为关键词搜搜看吧

[HarveyLiu]

微软 ReFS 格式支持，但是不建议现在就迁移到 ReFS ，这个格式的版本有点混乱，目前还没统一，等统一了，就可以用它的，去重特性了，目前还是得用第三方的软件去重。

[kenvix]

@HarveyLiu ReFS 我已经在用了（ devdrv ），ReFS 的去重有相关文档嘛，我没找到非 server 的

[mscsky]

https://github.com/sunhanaix/dedup_files

[kenvix]

@mscsky 去重不是硬链接啊，不是硬链接啊，是文件系统层级的。不过这个工具非常适合微信这种到处拉屎的

[Azreulo]

现在 Electron 更能到处拉屎，这框架确实好用方便，但太占资源，又太多重复文件。