请教分布式存储，多服务器组成一个存储的解决方案，谢谢

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 2046 天前的主题，其中的信息可能已经有所发展或是发生改变。

目前有 2 组服务器，分别由 10 台和 20 台，每台有 12 块 10T 硬盘。想组成 2 个可以共享出来的目录（ iSCSI，NFS 都可以），或者有其他更好的方案，提供给另外不超过 5 台 server 做存储用。

请教有什么解决方案，谢谢

存储

请教

方案

iSCSI

16 条回复 • 2021-08-11 22:56:12 +08:00

msg7086

2019-04-20 13:55:04 +08:00

GlusterFS? Ceph?

msg7086

2019-04-20 13:55:53 +08:00

其实你要的是软件方案还是硬件拓扑方案来着……

whatever93

2019-04-20 13:58:58 +08:00 via Android

cepp

purezhang

2019-04-20 13:59:51 +08:00

@msg7086 非常感谢提供一些思路，其实我是硬件资源如上述，需求就是供不超过 5 台服务器存储。
硬件架构，软件选择都没定型，我的存储需求是通用文件系统，应用软件已经确定了，所以需求可能重点实在通用存储系统，也就是需要可以 mount，谢谢。

purezhang

2019-04-20 14:03:08 +08:00

@whatever93 ceph ？

msg7086

2019-04-20 14:14:56 +08:00

GlusterFS 基于文件，结构很简单，维护起来应该很容易，如果不介意的话直接 NFS mount 应该就行了。
Ceph 可以做成块存储，然后共享出 iSCSI。

硬件拓扑的话，集群内部最好用上专门的内网，不要和扇出流量抢带宽。

purezhang

2019-04-20 14:24:13 +08:00

需要使用专门的 API 来访问，不是通用的文件系统，不能 mount 成 path 的形式使用:
MogileFS、FastDFS、OpenAFS、MooseFS、pNFS、GoogleFS

通用文件系统
Lustre、NFS、CePh、GlusterFS

看来我需要的是后者，目前看，用的比较多的 CePh，ClusterFS

purezhang

2019-04-20 14:24:53 +08:00

@msg7086 很清晰了，谢谢

ipwx

2019-04-20 14:39:40 +08:00

@purezhang MooseFS 可以 mount，通过 fuse + mfsmount 程序（官方支持的方式）。

ipwx

2019-04-20 14:40:45 +08:00

@purezhang 我在实验室里面布了 MooseFS，还可以。Ceph 听说是更强大的文件系统，但是部署比 MooseFS 复杂太多，所以当年没上车。GlusterFS 是去中心化的，似乎加机器必须是加 replica 倍数的机器，很不灵活。

purezhang

2019-04-20 14:44:14 +08:00

@ipwx 收到，我去了解下，谢谢！

chinesestudio

2019-04-20 21:13:57 +08:00 via Android

proxmox ceph 你值得拥有

chinesestudio

2019-04-20 21:15:25 +08:00 via Android

或者 freenas 集群

purezhang

2019-04-21 00:37:55 +08:00

freenas 可以集群？

911061873

2021-06-30 16:02:04 +08:00

@purezhang 最后结局了嘛？我最近遇到同样的问题，两台服务器想把存储容量做一起，变成一个共享空间。

purezhang

2021-08-11 22:56:12 +08:00 via Android

@911061873 本来是有个项目有需求，后来搁浅了……