minio 一个坑爹的设计

[guoguobaba]

之前的业务系统，使用腾讯云的 cos 对象存储，每个系统对应一个 bucket ，配腾讯云的 ak

后来系统多了，我就想用 minio 做一层 wrapper ，使用一个腾讯云的 ak ，然后 minio 上自己管理 ak ，给每个系统分配一个，现在 k8s 里用 cosfs-csi 创建一个 pvc ，然后用 minio 把 pvc 创建一个 minio server

结果一个星期后，我发现，我存在腾讯云的 50 块钱都被耗光了，查询了一下，改造前的读写次数是个位数，改造后，cos 的读写每天有 160w

提了 cos 的一个工单，让他们给我传了一下访问日志，发现 minio 极其频繁的读/.minio.sys/目录，这可能存放了临时信息和 meta 信息，导致 cos 的读写每天都到 160w 次。

真 tmd 的是大坑啊

现在想想怎么改造，想把/.minio.sys 挂在一个本地 pvc 上，结果 minio 还不允许跨分区目录，估计要修改源代码了。

[xudaxian520bsz]

为什么不自己自建 pvc ，就画个买外置硬盘的钱，又没多少。开源的 PVC 太多了，你不会手动搭建 Ceph ，Rook 可以帮你维护搭建，Helm 一键安装

[xudaxian520bsz]

画 == 花

[jeesk]

minio 本来就是垃圾，速度慢得死

[star7th]

是你的用法不对，别抱怨人家的设计。

/.minio.sys/目录本来的设计是在本地磁盘的，谁预料到你会放上 cos 。

解决你这种分发的需求，自己写个代理就行，用 nodejs/go 之类的语言写会非常合适。如果你自己不想写，你就只能接受现成程序不吻合你的需求的心理准备

[guoguobaba]

@xudaxian520bsz 这不是 cos 便宜吗，没想到容量和读写请求一样要收费。

[imnpc]

使用云的就老老实实用云 绝对不要自己改 因为里面很多东西会产生问题的
读写次数这个最常见 以前挂载 OSS 到本机运行备份 导致读写次数很快超标 耗尽费用

[youngce]

开源对象存储使用在云服务的对象存储作为底层存储，上一次见到这么离谱的事情还是：VMware 跑在 docker 里面

[zzl22100048]

你需要的是 minio gateway 吧

[guoguobaba]

@youngce 为什么不是 docker 跑在 vm 里？ minio 本来有 gateway 的模式，但是新版本取消了。从原理来讲，gateway 只是做了一层 wrapper ，相当于 http 代理而已。
至于 oss 做 pvc ，这个很正常，s3fs 出来好多年了。

[akira]

这个需求改动成本，几百块应该下不来吧。。

[jabari]

oss 做 pvc 很正常的。了解一下 juicefs

[ryan4yin]

juicefs 的性能会好很多，它多了一层抽象，可以帮你做很多读写合并操作。