a. 前面发了一个贴介绍了当前集群的一些情况,请移步之前的发帖
b. 同时也非常感谢几位前辈的建议
c. 现在要准备实操优化了,自己准备分两个阶段进行:
阶段一: 集群角色和资源配置优化
阶段二: 冷热数据分离和索引生命周期管理
d. 下面是自己准备对阶段一的方案,希望有优化维护 ES 集群的大佬帮忙指点一下,非常感谢
a. 集群角色配置不合理,没有设置属性,无法做冷热数据分离,也就无法配合做索引生命周期管理
b. 下面是具体的节点角色和资源配置情况,更详细的背景和介绍,请移步之前的发帖
c. 上次发帖说错了一个重要事情,存储都是 固态硬盘自己给说成了机械硬盘。。。
a. 准备配置 3 台 Master,8G 内存。4 台 Ingest,31G 内存。2 台 Coordinating-Only,31G 内存
b. 准备配置 34 台 Data 节点,31G 内存。24 台 Hot,8 台 Warm,2 台 Cold,比例 12:4:1
c. 因为数据节点资源配置相同,故从数据节点数量上来配比,使得资源往不同属性节点倾斜
a. Hot: 使用 Rollover,max_size 超过 100G 时滚动,优先级设置为 100
b. Warm: 超过 90 天的索引移动到 warm 节点,一个副本分片,shrink 到 4 个主分片并 ForceMerge,优先级 50
c. Cold: 超过 240 天索引移动至 cold 节点,0 个副本并 Freeze 索引
d. Delete: 无
a. 原索引模板默认 32 的主分片,一个副本分片,准备变更为 默认 16 个主分片,1 个副本分片
依据: 节点数 = 主分片数 * ( 副本分片数 + 1) , 分片数 = 单索引大小 / 20G
b. 关闭 Data 节点的 Http 功能
a. Master 节点 8G 内存是否有点少
b. Data 节点的配置比例是否合理
c. Ingest 节点与 Coordinating-Only 节点配比是否得当
d. 再次希望有优化维护 ES 集群的大佬帮忙指点一下,超级感谢
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.