PVE 纸上谈盘之买大了

[hanssx]

趁 618 想用 Intel 12 代组 PVE 开虚拟机，主要是 Linux+Windows 的虚拟机，兼顾家用的话先放到次要地位(因为没想好到底是放家里还是放公司)，在网上看了不少也在 V 站问了好多，最后硬盘好像是买大了，且听我细细道来。。。

我当时寻思一步到位，买了个 2T 的三星 970EP+4T WD 红盘，后面发现诸多不便，主要体现在 2 个方面：

1. All in One SSD ，这样对硬盘使用加大，且一损俱损，全荣才能荣。
2. 没法硬盘直通，来提高硬盘使用效率。

---

现在想到了一个办法，把 2T 换成 4 个 512G 的 SSD ，2 个 Nvme+2 个 SATA ，用途如下： 1 个 Nvme 用于 PVE 系统 1 个 Nvme 用于分配空间给其他虚拟机，比如 NAS 、LCX 容器等 1 个 SATA 用于直通给 Linux 主力 1 个 SATA 用于直通给 Windows 主力 4T WD 红盘用于开启 SMB ，共享给其他虚拟机。

好处如下：

1. 更好地隔离系统之间的影响，比如装 PVE 的那个 Nvme 不会将空间分配给其他虚拟机，不会一损俱损，只会你荣任你荣，我荣不管你。
2. 硬盘直通的时候直通 SATA 控制器，硬盘使用效率达到最高，而且还能使用硬盘的 SMART 功能。

---

补充：

Nvme 好像可以单盘直通，不过和主板有关系，有运气成分？具体参见 https://v2ex.com/t/845488

---

各位玩过的前辈，这种方案可以吗，可以的话我就去换硬盘了。

[hanssx]

@bao3 我需求主要是把 Linux 和 Windows 用作工作 /学习，可以理解为主力应用吧，
现在准备直通一块 Nvme M.2 （因为主板只有 2 个 Nvme M.2 接口），把 i350t4v2 的网卡也直通给这两个主力。

[nuk]

不直通唯一的问题是转移虚拟机不方便，不过用 pve 确实没必要直通，拿一块 nvme 做缓存它不比直通快多了？

[nuk]

@rojer12 和我差不多，不过我用 pm981a ，512G ，一半放系统，一半做缓存，没有单独的缓存盘，省钱。

[hanssx]

@nuk 做缓存能比直通快？我已经申请退货把 2T 换成 1+512G 了，折腾折腾。

[nuk]

@hanssx 直通只有一个 vm 快，缓存所有的 vm 就都是 nvme 的速度了呀

[thtznet]

没有能力做分布式存储，all in one 无论你怎么折腾都有风险

[skkk]

@mxuan zst 文件可能不安全，遇到过 zst 备份成功但还原时校验失败的问题，原因出在 PVE 的 zstd 版本较低，还有可能是当时内存中数据有问题，无法正确还原。所幸 truenas scale 的系统损坏对 zfs pool 没有损失，只损失了一些简单配置，最后导入了 2022 年 12 月的系统镜像，重新导入存储池后恢复了所有数据。

[mxuan]

@skkk zst 没有做冗余处理么？这个属于内存的比特翻转问题把，gzip 应该一样存在。

[skkk]

@mxuan 我怀疑和内存比特反转一点关系都没有，因为备份时查看信息提示备份成功。我后来搜索了相关情况，这样的问题很多，换成 Gzip 就没问题。