这是一个创建于 1634 天前的主题，其中的信息可能已经有所发展或是发生改变。
0. 背景
a. 前面发了一个贴介绍了当前集群的一些情况，请移步之前的发帖
b. 同时也非常感谢几位前辈的建议
c. 现在要准备实操优化了，自己准备分两个阶段进行:
阶段一: 集群角色和资源配置优化
阶段二: 冷热数据分离和索引生命周期管理
d. 下面是自己准备对阶段一的方案，希望有优化维护 ES 集群的大佬帮忙指点一下，非常感谢
1. 原集群角色和资源配置概况
a. 集群角色配置不合理，没有设置属性，无法做冷热数据分离，也就无法配合做索引生命周期管理
b. 下面是具体的节点角色和资源配置情况，更详细的背景和介绍，请移步之前的发帖
c. 上次发帖说错了一个重要事情，存储都是 固态硬盘自己给说成了机械硬盘。。。
2. 节点角色变更
a. 准备配置 3 台 Master，8G 内存。4 台 Ingest，31G 内存。2 台 Coordinating-Only，31G 内存
b. 准备配置 34 台 Data 节点，31G 内存。24 台 Hot，8 台 Warm，2 台 Cold，比例 12：4：1
c. 因为数据节点资源配置相同，故从数据节点数量上来配比，使得资源往不同属性节点倾斜
3. ILM 配置
a. Hot: 使用 Rollover，max_size 超过 100G 时滚动，优先级设置为 100
b. Warm: 超过 90 天的索引移动到 warm 节点，一个副本分片，shrink 到 4 个主分片并 ForceMerge，优先级 50
c. Cold: 超过 240 天索引移动至 cold 节点，0 个副本并 Freeze 索引
d. Delete: 无
4. 其他配置
a. 原索引模板默认 32 的主分片，一个副本分片，准备变更为 默认 16 个主分片，1 个副本分片
依据: 节点数 = 主分片数 * ( 副本分片数 + 1) , 分片数 = 单索引大小 / 20G
b. 关闭 Data 节点的 Http 功能
5. 忧心忡忡
a. Master 节点 8G 内存是否有点少
b. Data 节点的配置比例是否合理
c. Ingest 节点与 Coordinating-Only 节点配比是否得当
d. 再次希望有优化维护 ES 集群的大佬帮忙指点一下，超级感谢
 |
1
iceecream 2020-06-01 22:33:33 +08:00
菜鸟来问问，单机多实例，是不是你的十多台机器，每台跑 4 个节点，如果掉了一台，4 个节点挂掉，岂不是要丢数据？
|
Select Language