ES 从 File System Cache 到 Segment 大概会耗时多少呢

2022-08-25 17:54:25 +08:00
 monetto

看 ES 原理,有一段大致是这样介绍的。

ES 将数据写入到 Memory Buffer ,同时也会将数据写入到 Translog 。

Memory Buffer 在历经 Refresh Interval ( 1 秒) 之后会把数据写入到 File System Cache ,再由 File System Cache 写入到 Segment 。

而 数据写入到 Translog 之后,要经过 5 秒 才会持久化到磁盘 log 中。

我理解 Translog 本身应该是类似于 MySQL Binlog 一样是防止数据丢失的。

但是目前看来 5s 的时间是否过长了,我理解 5s 怎么也完成 数据 从 内存 持久化 到 Segment 了啊..

1786 次点击
所在节点    Elasticsearch
4 条回复
1018ji
2022-08-25 18:25:38 +08:00
https://www.cnblogs.com/huss2016/p/14706326.html

不知道对不对,你瞅瞅吧
q474818917
2022-08-25 18:51:27 +08:00
这应该是定时频率,类似 mysql 的 redo log
anjiannian
2022-08-26 10:00:11 +08:00
数据在写入 file system cache 和 segment 后仍然在内存中没有落盘的,数据落盘是根据 translog 的大小 index.translog.flush_threshold_size 或者 30 分钟才会触发 flush 操作
LeegoYih
2022-08-26 11:51:58 +08:00
可以将 translog 设置成每次写操作直接 fsync 到磁盘,但是性能会差很多。

Elasticsearch 作为搜索引擎,不应该用数据库的思路来使用,牺牲一点点一致性保证可用性是可以理解的,如果发生崩溃故障,可以手动触发同步宕机前一段时间的数据

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/875393

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX