悬赏 1000 RMB，求一个 Elasticsearch 相关的解决方案

[wukaige]

目前用 es 做了一个全文检索服务，索引 3T 大小左右。

9 点上班有个访问高峰，其他时间访问量不高，9 点的时候，Es 服务需要支撑至少 1w 人同时访问，其他时间不超过 1000 。

在这种场景下，部署一个能同时支撑 1w 人的 Es 服务开销太大。

有没有一种解决方案，动态调整 Es 资源（类似于阿里云的 Elasticsearch serverless ，按量付费），1w 个人来就给你能支撑 1w 人访问的计算资源，1000 人来就给 1000 人的资源，这样能节省很大一笔开支。

[Aliencn]

那就直接用阿里云 ES 的弹性伸缩不就行了嘛。
自己实现的话也是够买弹性服务器加入集群。

[wukaige]

@Aliencn

阿里云 ES 的弹性伸缩，并发量上不了 1w

[bronyakaka]

简单说就是 资源可以减少，但是要上缓存，缓存层支撑高并发

[angeni]

搜索应该也讲二八原则，那给 80%的套上缓存可能行

[oudemen]

es 部署到 k8s 中，定时弹性扩缩容？

[my3157]

就用 ES 原生的 ILM 最方便, 部署用 k8s, 配置好 k8s 的 nodegroup, 每天九点之前, 扩容一批 es hot/warm 节点, 并且将 index 从 cold 节点提升上来, 完事了再降回 cold 节点, 缩掉扩容的 k8s 节点, 实现起来也不复杂

[justest123]

感觉像是个 AB 问题。。

先确认下，这 1W 人是真的都需要访问到 ES 吗，用缓存转移走部分重复请求或者没必要的请求吧

[sdoq19]

阿里云 elasticsearch serverless

[fengjianche]

这种分布式存储问题都一个样，先上多级缓存，再扛不住就加机器。1w 人同时访问，也不是很多啊。

[JunMemon]

ES 拆分节点类型，可以横向扩展非 data 节点，data 节点采用冷热数据部署

[bootvue]

k8s hpa

[hallDrawnel]

感觉像是个 XY 问题，你最终要做的可能不是扩容你的 ES 。试着从搜索分布分析一下？

[zhenjiachen]

k8s hpa 或者 node hpa 应该不行把。以为他们只扩充节点，但是数据不会同步到新节点并且节点关闭了数据也丢了

[shizhibuyu2023]

有悬赏平台吗，没有的话谁去开发一个，我要抢单

[winglight2016]

ES 的缓存就是靠内存，你要是裸机安装就内存弹性增加，如果是 k8s 安装，那就用 HPA 弹性加内存

[ss098]

部署 ElasticSearch Helm 到 Kubernetes ，声明 ElasticSearch 不同 node role 的 resources 以及 autoscaling 的配置。

https://github.com/bitnami/charts/tree/main/bitnami/elasticsearch

[ChoateYao]

阿里云有这种业务啊，包括 RDS 之类的数据库都有动态扩容方案

https://help.aliyun.com/zh/es/user-guide/perform-auto-scaling-for-a-cluster?spm=a2c4g.11186623.0.0.6f397de1Etkjdj

[wukaige]

@justest123

真的要访问，1w 可能还不保险。

[lasuar]

你需要一个 es 专家

[mightybruce]

"假设用户量 60w ，这 60w 个人在一分钟内发请求过来，平均每秒 1w 个请求，并发至少 1w 是这么来的。"

首先这个公式就是有问题， 怎么可能 60w 人都是活跃用户，并且用户量根本不能直接这样换算， 你这什么应用

就是一个 XY 问题。