ES 集群节点角色配比,求大佬指点一下

2020-06-01 21:41:15 +08:00
 SKYNE

0. 背景

a. 前面发了一个贴介绍了当前集群的一些情况,请移步之前的发帖

b. 同时也非常感谢几位前辈的建议

c. 现在要准备实操优化了,自己准备分两个阶段进行:

​ 阶段一: 集群角色和资源配置优化

​ 阶段二: 冷热数据分离和索引生命周期管理

d. 下面是自己准备对阶段一的方案,希望有优化维护 ES 集群的大佬帮忙指点一下,非常感谢

1. 原集群角色和资源配置概况

a. 集群角色配置不合理,没有设置属性,无法做冷热数据分离,也就无法配合做索引生命周期管理

b. 下面是具体的节点角色和资源配置情况,更详细的背景和介绍,请移步之前的发帖

c. 上次发帖说错了一个重要事情,存储都是 固态硬盘自己给说成了机械硬盘。。。

2. 节点角色变更

​ a. 准备配置 3 台 Master,8G 内存。4 台 Ingest,31G 内存。2 台 Coordinating-Only,31G 内存

​ b. 准备配置 34 台 Data 节点,31G 内存。24 台 Hot,8 台 Warm,2 台 Cold,比例 12:4:1

​ c. 因为数据节点资源配置相同,故从数据节点数量上来配比,使得资源往不同属性节点倾斜

3. ILM 配置

a. Hot: 使用 Rollover,max_size 超过 100G 时滚动,优先级设置为 100

b. Warm: 超过 90 天的索引移动到 warm 节点,一个副本分片,shrink 到 4 个主分片并 ForceMerge,优先级 50

c. Cold: 超过 240 天索引移动至 cold 节点,0 个副本并 Freeze 索引

d. Delete: 无

4. 其他配置

a. 原索引模板默认 32 的主分片,一个副本分片,准备变更为 默认 16 个主分片,1 个副本分片

​ 依据: 节点数 = 主分片数 * ( 副本分片数 + 1) , 分片数 = 单索引大小 / 20G

b. 关闭 Data 节点的 Http 功能

5. 忧心忡忡

a. Master 节点 8G 内存是否有点少

b. Data 节点的配置比例是否合理

c. Ingest 节点与 Coordinating-Only 节点配比是否得当

d. 再次希望有优化维护 ES 集群的大佬帮忙指点一下,超级感谢

1836 次点击
所在节点    程序员
3 条回复
iceecream
2020-06-01 22:33:33 +08:00
菜鸟来问问,单机多实例,是不是你的十多台机器,每台跑 4 个节点,如果掉了一台,4 个节点挂掉,岂不是要丢数据?
SKYNE
2020-06-01 22:51:11 +08:00
@iceecream 嗯嗯,会存在这样的因为主机层面的原因导致四个节点同时离线,要是有虚拟化的平台就好很多了,主要是现在也无法再对主机数量进行切分,工作量太大了。
chennqqi
2020-06-02 10:27:29 +08:00
@SKYNE 虚拟化平台也一样,物理机挂了还是会挂,ES 节点分配角色时无法决定分配均衡在不同的物理机上。ES 的设计是一台机器上只运行一个实例,这样他的角色分布能保证不同副本分布在不同节点上。版本 ES5,ES6 、7 是否实现了虚拟化场景下的 node 分布不清楚。我感觉 ES 的设计其实是一个 CP 系统,不是 AP 系统,不知道理解的对不对

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/677629

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX