k8s 私有化部署，存储方案应该怎么选择？

[sniperking1234]

之前用的 juicefs 做存储，但是发现 iops 性能太低，不适合给数据库类型的服务提供存储，用 ceph 感觉太重了，除此之外，还有没有其他比较轻量级的方式？

[perfectlife]

local pv 省心

[sniperking1234]

@perfectlife 使用 localpv 的话，pod 一旦建出来就不能调度到其他 node 了吧，那么如果 node 挂了该怎么处理呢

[ysjiang4869]

@sniperking1234 主从

[pmx1990]

我记得 ceph 用起来坑也不少，之前公司 all in 容器，local 是最佳方案
做到 pod 不漂移 ip 不变等特性就好

[fisherwei]

你先说说规模呀，多少个 K8S 节点的集群，规划的存储容量是多少。

[ExplodingFKL]

可以试试 nfs-subdir-external-provisioner ，这个需要外部 NFS 服务器，

或者可以试试 nfs-server-provisioner ，在一个节点建 local-pv 通过 nfs 自动挂载到其他节点

但 ... 两者 IO 性能并不高

[drizztdu]

Longhorn

[dayeye2006199]

Openebs

[locoz]

ceph 其实不算重，rook 已经帮你简化很多了，按着要求配置就行。但 ceph 的问题在于维护起来需要有一定的专业知识，在不了解 ceph 的架构和一些设计细节的情况下，出了问题不好解决（虽然通常都可以自动解决）。

[hefish]

数据库跑到共享存储上去啊，这个注定 IO 不高吧。。。

[zzl22100048]

directpv/local-path-provisioner

[sampeng]

数据库你放 k8s ？是想学死字的 n 种写法吗？
云端也尽量不要放在 k8s 里啊。虽然他可以漂移。你线上环境飘一个试试看？

[sampeng]

ceph 真的已经是简单到爆炸了的东西。。。只要你肯大力出奇迹。就不会出问题。
比如我上一家,大力出奇迹。两台 dell 的 40T 磁阵。10 台服务器。组成一个 ceph 集群。并且是光交相连所有设备。再来 36 台的 16c64G 的服务器当 k8s 服务器。稳如泰山。2 年到我离职我都没去碰过他，全程默认值。最后一看，也就用了 10T 不到。。也就 2000 来个 pod 吧

[defunct9]

glusterFS

[sniperking1234]

@fisherwei 规模是 5-10 个节点左右，不算是大规模，所以想找个轻量级的存储

[sniperking1234]

@sampeng 现在我们集群规模没有这么大，所以感觉 ceph 有点重了

[sniperking1234]

@sampeng 我们是私有部署 k8s ，直接一套集群交出去就行了，要是再单独找机器部署数据库，相当于是两套部署逻辑了

[derek80]

这块兼顾稳定性和性能的话，商业产品还是领先一些。如果动手能力强可以用下 https://github.com/LINBIT/linstor-server

[sniperking1234]

@derek80 我去看下，感觉架构也是挺复杂的

[perfectlife]

@sniperking1234 老实讲如果是小门小户的就这几个节点，技术团队可能也不太强大，没必要有状态服务往 k8s 里扔，找个物理机器部署最安逸。至于 node 挂了该怎么处理呢，首先 node 挂的机率不大，如果是自己机房的机器，参考你日常服务器挂了咋处理。分布式存储用起来爽，出问题直接火葬场