上了 Ceph 以后才意识到有些东西不是一个人能够搞定的

[ccde8259]

自从上次搭 Rook Ceph 把 MySQL 扔上去跑的蠢事以来，又遇到一个心塞的问题，让我不得不考虑如何下 Ceph 。
Rook Ceph 在 K8S 上跑了一年，除了性能烂的一。。踏糊涂以外倒没有带来什么可用性上的问题。于是准备将 ZFS 里的所有文件迁移进去 RGW 提供的对象存储里边……从这里开始事情变得离谱，向 RGW 写入的时候一看速度只有 25M/s……底层是单盘可以跑上 200M/s+的 HC530 ，在 Ceph 的 RGW 上只能跑出 25M/s 的速度……
看了一看 Dashboard ，IOPS 打到了 100+，基本也是机械盘的极限……意味着也不是机械盘的问题……

[zhenjiachen]

我之前也是用的 Rook Ceph ，然后有次断电了，结果 pod 就恢复不了了，，然后 Rook Ceph 里面数据也不知道存在哪完全找不回，现在换 nfs 了，只有一个 pod ，非常的轻量，然后还能直接上 nfs 服务器看到那些文件夹。断过一次电也没出过什么问题。

[ExplodingFKL]

ceph 是同步写入 ... 如果是多副本的话就更慢了

[zizon]

记得 rgw 是个 python 的东西...
换 cephfs/rbd 试试...

[aijam]

我一度怀疑，rgw 大量损耗在 s3 xml 解析上。要不换 swift API 试试看

[yanest]

以前我也觉得 ceph 不错，后来实践了一阵，总结就是，6 个节点（ 60 个 osd ）以下还是别浪费钱了。