静态文件服务器应该用 minio 还是 tureNAS

2023-10-21 03:22:59 +08:00
 louisxxx
2 台服务器,每台上面 24 个 18TB 硬盘。无 raid 卡。2x 25G 网卡做的 LACP
后面可能要扩到 5 台。
主要对外提供图片下载,大小从几百 KB 到几 MB 都有。
如果用 tureNAS 就是做 raid5 并装 nginx 对外提供访问
2241 次点击
所在节点    Linux
18 条回复
ryd994
2023-10-21 05:47:43 +08:00
没听说过用 truenas 做静态 Web 服务器的
如果你只是想要 zfs 的话,Debian/CentOS 一样可以装 zfs for linux
sNullp
2023-10-21 05:55:57 +08:00
存储和网络服务可以 decouple 。存储 mdraid 或者 zfs 都行,非要用 truenas 好像也行。网络服务在另一台机器( vm )上跑 nginx 。

你这两台存储服务器很适合当 hypervisor 的存储后端用 iscsi 连接。
louisxxx
2023-10-21 06:09:04 +08:00
@ryd994 新的 truenas 就是基于 debian 系统,上面可以跑 docker
louisxxx
2023-10-21 06:10:26 +08:00
@sNullp 新的 truenas 就是基于 debian 系统,上面可以跑 docker 运行 nginx 直读硬盘,避免再绕一遍网络
@ryd994
sNullp
2023-10-21 06:12:01 +08:00
@louisxxx 道理是没错的,但是我想一楼的意思是避免在专门干 X 的平台上干 Y 。你有这么强的服务器了再来一台专门的 hypervisor 更稳。

或者直接 pve aio (不要打我)。
louisxxx
2023-10-21 06:14:23 +08:00
@sNullp 拆分也有拆分的好处,如果拆分主要是很担心网络文件协议性能不行。例如 nfs 和 iscsi 好像都比直接读硬盘差一大截。
sNullp
2023-10-21 06:15:16 +08:00
这么强调性能的话 minio 肯定也不行了。

真这么极限的话那我还是觉得 pve aio 更合适(反正也有 zfs )
lrh3321
2023-10-21 08:39:39 +08:00
"For the first time, TrueNAS, the most widely deployed Open Source Software-Defined Storage, is now officially available on both FreeBSD (TrueNAS CORE & TrueNAS Enterprise) and Linux with TrueNAS SCALE. TrueNAS SCALE 22.02.0 (Angelfish) is now released on “Twosday”, 2/22/22. "

只有 TrueNAS SCALE 是 Linux 吧, 另外两个版本是 FreeBSD 的。

你这是要自建 CDN 还是自建图床啊? CDN 的话 OpenResty 加点模块,一致性哈希确定文件归哪台服务器管,让对应服务器自己去下载到本地缓存就好了。
01802
2023-10-21 08:42:53 +08:00
一定要用 nas 系统,omv 也比 truenas 方便。
louisxxx
2023-10-21 09:37:55 +08:00
@lrh3321 自建图床
dann73580
2023-10-21 14:18:11 +08:00
这种主流方案肯定是 minio 啊,问都不用问。可以在 nginx 上再做一层缓存。
ryd994
2023-10-21 14:19:53 +08:00
@louisxxx #4
是可以啊,我哪句说过网络和虚拟化的事了?

问题是 truenas 上除了 zfs ,还有多少服务你知道吗?这些服务又有哪个可能有漏洞你知道吗? truenas 的防火墙怎么配你知道吗?一个要往公网上暴露的服务器,你用 truenas 这么个 nas 操作系统,有什么必要?

按你说的,需求主要就是 raid5 和 nginx 。又不是只有 truenas 能跑 zfs 。你用 Debian 装个 zfs 和 Nginx 不也可以吗?

除了 zfs ,linux mdraid 也可以用。你这是静态 HTTP 服务器,不是储存后端,对外提供图片下载,而不需要上传或处理数据。如果需要,那你应该重写你的需求。
这个需求不需要多好的数据留存率,只需要在线率。文件数据从后台部署就行了,不管你是用 FTP 还是 rsync 还是什么,反正能把文件放上去就行。

最后,就算要走网络又怎么啦?输出还不是网络。内网带宽和延迟放到公网上都是不值一提。走 rdma 的话还真未必就比本地磁盘性能差多少。
defunct9
2023-10-21 16:27:23 +08:00
truenas
louisxxx
2023-10-21 19:19:26 +08:00
@ryd994 truenas 好处是有个界面,不用去学一遍 ZFS 命令行。但确实有你说的问题,带了很多用不上的服务。要用防火墙限制外部可访问的端口号。
就算要走网络又怎么啦?输出还不是网络。内网带宽和延迟放到公网上都是不值一提。
例如通过 NFS 文件享协议读写小文件性能非常的差啊,网络可能不是问题(延迟低宽带大),但文件共享协议是问题。
不然也不会出 rdma
ryd994
2023-10-21 19:46:54 +08:00
@louisxxx 1. 你爱用就用,尊重,祝福。
有钱买两台服务器,没钱雇个运维,没时间学一下 zfs 。
2. 如果你的文件要走 nfs ,你的架构一定是有问题。储存分离不是我说的,IO 密集应用未必适合储存分离架构。
iscsi 性能并不差,rdma 性能也不差。前端做 access control 然后反代后端储存服务器,直接走 HTTP 代理的性能也不差。
louisxxx
2023-10-21 22:23:42 +08:00
@ryd994 有钱买两台服务器,没钱雇个运维。看你这话说得。
对于业务起步阶段我想说的是成本考虑,买更好的硬件能解决的性能问题比请大牛来优化程序来得更快更划算。
因为即使你请了大牛花时间不说,也不保证 100%有效果。但你多加机器,买更好的硬件肯定 100%效果。
ashuai
2023-10-22 10:40:45 +08:00
总结#16:起步阶段,讲求性价比。

建议直接 OSS ,花钱买心安,还不贵
libook
2023-10-23 10:15:59 +08:00
所谓的 NAS 系统基本就是在通用系统的基础上提供了一些管理功能而已,具体还是看你需要哪些管理功能,是不是不需要 NAS 系统来满足。

如果只是 RAID 存文件然后加个 Nginx ,好像也没必要非要找个什么 NAS 系统,随便找个 Linux 发行版稍微配一下就行了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/983958

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX