请问深度学习数据集存储有什么好的解决方案，外置硬盘或者 NAS？

[Olament]

需求：本人是初级深度学习炼丹师，主要做计算机视觉方向的。现在已经有 1TB 左右的数据了而且在未来还会不断增加。数据主要是图片的形式，每个图片几百 KB 左右。因为现在用的电脑没有预留机械硬盘盘位置，所以不考虑加装硬盘。

我在网上大致浏览了一下，发现两个不错的解决方案。第一种是类似于 WD MyBook 的外置硬盘。第二种是 NAS 方案。我目前比较倾向于外置硬盘方案，因为 NAS 虽然管理比较方便，但是配置和噪声可能是潜在的问题。对于外置硬盘，比较担心数据丢失和读写性能的问题。训练模型的时候硬盘 IO 这块可能存在瓶颈吗？

如果有遇到过相关问题的朋友，希望能够分享你们的解决方案。

[lsylsy2]

@ryd994 然后说来可能比较菜，我用的是 150 的 J2900 板 U 套装……

[hchechao2]

上次解压个几十万张图片就把我的 p300 弄坏了

[ryd994]

@lsylsy2 但是数据永远是要经过内存的。不存在磁盘直接到网络。如果 buffer 刚好是坏的内存的话，那数据就坏了。而且全部都会坏。然后 scrub 来回倒一下，又坏一次。
内存坏还是小事，至少有迹可循，死个明白。数据量大了还要考虑宇宙射线造成的位翻转。就一次，都不知道怎么死的。
你台式机坏，那也就坏一次，不会来回倒腾。
不来回倒也不行，因为磁盘上会有冷错误，必须定期校验。

[aheadlead]

@ryd994 不如直接一步到位 zfs

[lsylsy2]

@ryd994 我的理解是 我的工作平台（台式机、笔记本）一样没有 ECC，NAS 上 ECC 只是把初始概率降低了一半 /三分之一而不是降到 0，并且增加的成本过高（我主板 CPU 内存一共 300RMB ）；而硬盘冷错误这个就靠 scrub 解决，ecc 没有非常明显的优势。
在不使用硬件 RAID，不使用 ZFS 的情况下，偶发的坏内存 /位翻转只会影响当前读写的单个文件，不会拖垮整个文件系统，我觉得这个风险可以承受。