求推荐 ZFS 存储池去重 vdev 用的固态

137 天前
 efsg

如题,有人说去重只是索引,不需要太大的容量,只要性能强就行,所以我应该选择 2 个 512GB 的 SATA 固态还是 2 个 280GB 的傲腾用于去重?

1112 次点击
所在节点    NAS
9 条回复
aloxaf
137 天前
跑过 zdb -S 了吗,确定值得去重?

而且确定需要块级去重吗,如果是重复的照片、视频,rmlint 这类工具就能帮你搞定了。
HOMO114514
137 天前
小海豚 6530 、CM6-R 、镁光 7500 、大普微 R5101 这种 1.92T 的读密集型盘足矣,他们就是为了这种负载设计的
adrianzhang
137 天前
什么也不如大内存管用。
xustrive
137 天前
@adrianzhang #3 那得有个 UPS 。
adrianzhang
136 天前
@xustrive 用固态一样也得用 UPS ,写并不直接落盘。
efsg
136 天前
@adrianzhang 直接开启去重太吃内存而且影响性能,所以我才想能不能加去重 vdev
adrianzhang
136 天前
@efsg 任何对 ZFS 有管理经验的人都不建议开启去重,即使你上了大内存和大固态,会发现去重仍将大幅度脱慢吞吐,原因是去重需要构建一份文件列表在内存里,且不会保存全部,不管内存多够用,那么在吞吐时候不可避免要去要求磁盘 IO ,HDD 的 IO 一般在百级别,SSD 在千级别,哪个都不够用。
efsg
136 天前
@aloxaf 跑过了,现在的数据量没办法手动去重,如果 2 个 512GB 的 SATA 固态或者 280GB 的傲腾就能搞定我觉得是值得的

root@truenas[~]# zdb -S -U /data/zfs/zpool.cache tank
Simulated DDT histogram:

bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 104M 13.0T 13.0T 13.0T 104M 13.0T 13.0T 13.0T
2 7.19M 920G 919G 919G 15.4M 1.93T 1.92T 1.92T
4 417K 52.1G 52.0G 52.0G 1.84M 236G 235G 235G
8 16.3K 2.03G 2.02G 2.02G 166K 20.7G 20.6G 20.6G
16 7.30K 927M 916M 916M 129K 16.0G 15.8G 15.8G
32 620 49.4M 34.1M 36.2M 22.6K 1.89G 1.40G 1.46G
64 50 5.01M 4.80M 4.87M 4.51K 461M 441M 447M
128 11 1.00M 482K 537K 1.82K 158M 73.1M 82.8M
256 4 130K 130K 154K 1.70K 60.4M 60.4M 70.2M
512 1 512B 512B 8.53K 848 424K 424K 7.06M
1K 3 1.50K 1.50K 25.6K 4.67K 2.33M 2.33M 39.8M
2K 1 512B 512B 8.53K 2.41K 1.20M 1.20M 20.5M
4K 1 128K 128K 128K 7.65K 979M 979M 978M
64K 1 512B 512B 8.53K 100K 50.1M 50.1M 855M
Total 112M 14.0T 13.9T 13.9T 122M 15.2T 15.2T 15.2T

dedup = 1.09, compress = 1.00, copies = 1.00, dedup * compress / copies = 1.09
aloxaf
136 天前
@efsg #8 1.09 的比率就别去重了吧,我觉得真划不来,zfs 的去重没有后悔药,想关掉这个功能只能重建数据集

建议先用 rmlint 跑一遍效果如何

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1056230

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX