HBase 的 WAL 日志存在意义

2015-09-20 19:30:52 +08:00
 modkzs

新手小白刚刚开始学习 Hbase 。昨天了解到 Hbase 在写入时会将数据写入 WAL 和 Memstore ,突然对 WAL 在 Hbase 的存在意义产生了疑问。 Hbase 没有索引和事务,那么 WAL 存在感觉并没有什么用处啊?如果是容灾的话,在写入 WAL 时服务器挂掉照样没法修复啊?这样每次写入数据时都要先进行一次 WAL 的 IO 操作,还不如直接对 Hbase 的数据文件进行 IO 操作。这样大大简化读取和写入的操作流程。 Hbase 引入 WAL 的目的是什么?

3274 次点击
所在节点    程序员
7 条回复
anexplore
2015-09-20 20:10:25 +08:00
如果 memstroe 中的数据还没 flush ,宕机就丢失了;可以用 wallog 恢复吧
modkzs
2015-09-21 07:53:00 +08:00
@anexplore 如果写入 WAL 的时候服务器出问题了,数据还是会丢失吧
anexplore
2015-09-21 09:40:41 +08:00
@modkzs wal 存储在 hdfs 上,它是一种保险机制,有它丢失数据概率降低。也可以选择关闭写 log
yuankui
2015-09-21 09:42:02 +08:00
HBase 只有在 WAL 写成功了之后才会对客户端做出承诺说数据谢成功了,如果 WAL 写失败了,客户端会收到报错,这个时候丢数据,是客户端的事,干服务端没关系,可以通过客户端重试解决.

丢数据是, 承诺了存储好的数据,后来去查不到了,这才叫丢数据.
modkzs
2015-09-23 12:57:06 +08:00
@yuankui 如果是这样的话,也可以在写入数据文件之后对客户端承诺写入成功,并不需要 WAL 啊
anexplore
2015-09-24 09:40:16 +08:00
hbase 写数据是先放在内存里的,到达一定量后才 flush 到存储。如果没 flush 之前,机器挂了,内存中的数据就丢失了。如果写了 WAL 那么其他机器就可以根据 log 恢复数据。
WAL 是影响性能的,你可以选择关闭 WAL ,你可以选择关闭 WAL ,你可以选择关闭 WAL
yuankui
2015-09-24 09:42:53 +08:00
先看看书吧.

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/222221

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX