静态文件服务器应该用 minio 还是 tureNAS

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

Distributions

› Ubuntu

› Fedora

› CentOS

中文资源站

› 网易开源镜像站

这是一个创建于 398 天前的主题，其中的信息可能已经有所发展或是发生改变。

2 台服务器，每台上面 24 个 18TB 硬盘。无 raid 卡。2x 25G 网卡做的 LACP
后面可能要扩到 5 台。
主要对外提供图片下载，大小从几百 KB 到几 MB 都有。
如果用 tureNAS 就是做 raid5 并装 nginx 对外提供访问

18 条回复 • 2023-10-23 10:15:59 +08:00

ryd994

2023-10-21 05:47:43 +08:00 via Android

没听说过用 truenas 做静态 Web 服务器的
如果你只是想要 zfs 的话，Debian/CentOS 一样可以装 zfs for linux

sNullp

2023-10-21 05:55:57 +08:00

存储和网络服务可以 decouple 。存储 mdraid 或者 zfs 都行，非要用 truenas 好像也行。网络服务在另一台机器（ vm ）上跑 nginx 。

你这两台存储服务器很适合当 hypervisor 的存储后端用 iscsi 连接。

louisxxx

2023-10-21 06:09:04 +08:00

@ryd994 新的 truenas 就是基于 debian 系统，上面可以跑 docker

louisxxx

2023-10-21 06:10:26 +08:00

@sNullp 新的 truenas 就是基于 debian 系统，上面可以跑 docker 运行 nginx 直读硬盘，避免再绕一遍网络
@ryd994

sNullp

2023-10-21 06:12:01 +08:00

@louisxxx 道理是没错的，但是我想一楼的意思是避免在专门干 X 的平台上干 Y 。你有这么强的服务器了再来一台专门的 hypervisor 更稳。

或者直接 pve aio （不要打我）。

louisxxx

2023-10-21 06:14:23 +08:00

@sNullp 拆分也有拆分的好处，如果拆分主要是很担心网络文件协议性能不行。例如 nfs 和 iscsi 好像都比直接读硬盘差一大截。

sNullp

2023-10-21 06:15:16 +08:00

这么强调性能的话 minio 肯定也不行了。

真这么极限的话那我还是觉得 pve aio 更合适（反正也有 zfs ）

lrh3321

2023-10-21 08:39:39 +08:00

"For the first time, TrueNAS, the most widely deployed Open Source Software-Defined Storage, is now officially available on both FreeBSD (TrueNAS CORE & TrueNAS Enterprise) and Linux with TrueNAS SCALE. TrueNAS SCALE 22.02.0 (Angelfish) is now released on “Twosday”, 2/22/22. "

只有 TrueNAS SCALE 是 Linux 吧，另外两个版本是 FreeBSD 的。

你这是要自建 CDN 还是自建图床啊？ CDN 的话 OpenResty 加点模块，一致性哈希确定文件归哪台服务器管，让对应服务器自己去下载到本地缓存就好了。

01802

2023-10-21 08:42:53 +08:00 via Android

一定要用 nas 系统，omv 也比 truenas 方便。

louisxxx

2023-10-21 09:37:55 +08:00

@lrh3321 自建图床

dann73580

2023-10-21 14:18:11 +08:00

这种主流方案肯定是 minio 啊，问都不用问。可以在 nginx 上再做一层缓存。

ryd994

2023-10-21 14:19:53 +08:00 via Android

@louisxxx #4
是可以啊，我哪句说过网络和虚拟化的事了？

问题是 truenas 上除了 zfs ，还有多少服务你知道吗？这些服务又有哪个可能有漏洞你知道吗？ truenas 的防火墙怎么配你知道吗？一个要往公网上暴露的服务器，你用 truenas 这么个 nas 操作系统，有什么必要？

按你说的，需求主要就是 raid5 和 nginx 。又不是只有 truenas 能跑 zfs 。你用 Debian 装个 zfs 和 Nginx 不也可以吗？

除了 zfs ，linux mdraid 也可以用。你这是静态 HTTP 服务器，不是储存后端，对外提供图片下载，而不需要上传或处理数据。如果需要，那你应该重写你的需求。
这个需求不需要多好的数据留存率，只需要在线率。文件数据从后台部署就行了，不管你是用 FTP 还是 rsync 还是什么，反正能把文件放上去就行。

最后，就算要走网络又怎么啦？输出还不是网络。内网带宽和延迟放到公网上都是不值一提。走 rdma 的话还真未必就比本地磁盘性能差多少。

defunct9

2023-10-21 16:27:23 +08:00

truenas

louisxxx

2023-10-21 19:19:26 +08:00

@ryd994 truenas 好处是有个界面，不用去学一遍 ZFS 命令行。但确实有你说的问题，带了很多用不上的服务。要用防火墙限制外部可访问的端口号。
就算要走网络又怎么啦？输出还不是网络。内网带宽和延迟放到公网上都是不值一提。
例如通过 NFS 文件享协议读写小文件性能非常的差啊，网络可能不是问题（延迟低宽带大），但文件共享协议是问题。
不然也不会出 rdma

ryd994

2023-10-21 19:46:54 +08:00 via Android

@louisxxx 1. 你爱用就用，尊重，祝福。
有钱买两台服务器，没钱雇个运维，没时间学一下 zfs 。
2. 如果你的文件要走 nfs ，你的架构一定是有问题。储存分离不是我说的，IO 密集应用未必适合储存分离架构。
iscsi 性能并不差，rdma 性能也不差。前端做 access control 然后反代后端储存服务器，直接走 HTTP 代理的性能也不差。

louisxxx

2023-10-21 22:23:42 +08:00

@ryd994 有钱买两台服务器，没钱雇个运维。看你这话说得。
对于业务起步阶段我想说的是成本考虑，买更好的硬件能解决的性能问题比请大牛来优化程序来得更快更划算。
因为即使你请了大牛花时间不说，也不保证 100%有效果。但你多加机器，买更好的硬件肯定 100%效果。

ashuai

2023-10-22 10:40:45 +08:00

总结#16：起步阶段，讲求性价比。

建议直接 OSS ，花钱买心安，还不贵

libook

2023-10-23 10:15:59 +08:00

所谓的 NAS 系统基本就是在通用系统的基础上提供了一些管理功能而已，具体还是看你需要哪些管理功能，是不是不需要 NAS 系统来满足。

如果只是 RAID 存文件然后加个 Nginx ，好像也没必要非要找个什么 NAS 系统，随便找个 Linux 发行版稍微配一下就行了。