ceph 生产环境搭建和配置推荐

[dreamdragon]

ceph 搭建生产环境和配置有什么推荐的吗 1 、是否推荐直接用官方推荐的 cephadm 2 、有没有相关的自动化安装脚本 3 、ceph.conf 是否有相关的最佳实践

[brucewsl]

都敢上生成环境了， 牛逼

[idealhs]

这个类似 minio?

[COW]

1. cephadm 肯定用，2. ansible 自己写脚本，3. 没有，配置项很多，对运维要求挺高。顺便说一下，这玩意对硬盘和网络有挺高要求，装备不行不建议硬上。

[zsj1029]

就用 cephadm 部署很方便，提前下好镜像，容器直接部署
多节点好方便的，很稳定，集群存储
硬盘一定要多
支持各类存储，块，对象，文件

[xcai]

推荐阅读 https://docs.redhat.com/zh-cn/documentation/red_hat_ceph_storage/6 即使不用 redhat 的，也可以用作参考部署和最佳实践

[Judoon]

rook

[oldAndy]

最好是请个 ceph 专家 从基础配置到最后部署一把梭 毕竟部署一套生产环境用的 ceph 硬件成本和运维成本 还是蛮高的

[dreamdragon]

@COW 好的，得整配置高一点的机器

[dreamdragon]

@zsj1029 你们生产环境也是这么整的么，运行后稳定吗

[dreamdragon]

@oldAndy 这个事情基本是一个人负责的，之前招了两个 ceph 开发，都跑路了

[dreamdragon]

@brucewsl 强行上

[zsj1029]

@dreamdragon 是的，我们集群少就几台主机，pve 配这个就行，内网带宽要够，很稳定的，跑了 2 年多了

[hejw19970413]

不会就默认！

[realpg]

如果你对性能要求很高，且是导出块存储使用，不建议没经验的自己搞

之前给人搞生产的 ceph 可行规划，都得收大五位数，实施另计

就单纯的硬件选型匹配需求就得大五位数

[oldAndy]

@dreamdragon 运维也成 会 ceph 的本来就少

[dreamdragon]

@realpg 其实已经招了几个人，成本花出去了，没弄成；招的人水平一般，估计后面还得招个专业运维的人过来

[dreamdragon]

@xcai 好的，感谢

[realpg]

@dreamdragon #16
ceph 这玩意 还是要看你的项目需求
我们这种高性能块存储要求的 因为性能过渣 已经不再搞扩容这个了
之前项目卖了以前，机房的全机房存储的 ceph 就已经不再扩容了

后面也只有性能要求很低的才从 ceph 导出 iscsi

另外这玩意的分层存储也是灾难，好像自己后续版本都干掉了

[Tinet]

硬盘记得用 nvme 或者 ssd ，不然延迟高得很，数据库应用根本用不了

[realpg]

@dreamdragon #16

ceph 只要规划好，性能算好，内网规划好是 10G*2 ，10G*4 ，40G*2 够用，基本上后期没啥可运维的

如果规模巨大，需要养一些换盘工，我们之前的 PB 级机房中心 ceph ，基层就是换盘工，做好控制台和脚本，哪块盘坏了换盘工就点点鼠标然后去换盘

ceph 自身基本你只要不升级他 就能长期稳定运行

ceph 这玩意 规划才是最麻烦的成本最高的，其次是自建管理平台能脚本化解决日常问题

当时我是总工，基本算我就俩人懂 ceph ，换盘工八个人 24 小时倒班，机房 ceph 基本两三年不出问题