怎么监听数据库的变化来触发 Lucene 的索引更新

2020-07-08 20:05:05 +08:00
 yanshenxian

没有 rabbitmq 等消息队列的情况下...

1455 次点击
所在节点    程序员
8 条回复
liujan
2020-07-08 20:07:23 +08:00
阿里有个监听数据库变化的项目,叫:canal,你可以看下能不能满足你的需求。
yanshenxian
2020-07-08 20:13:37 +08:00
@liujan canal 支持局部订阅吗 小服务可能压力有点大
liujan
2020-07-08 20:17:00 +08:00
@yanshenxian 你可以看下他们的文档,具体我也不大记得了。
henyi2211
2020-07-08 20:19:52 +08:00
查查 binlog 日志 相关资料
200ok
2020-07-08 20:25:18 +08:00
1. 楼上说的监听数据库变化
2. 你的服务轮询数据库
3. 数据库写入方在写入数据库同时给你发一份数据
4. 数据库写入方 pub 你的服务 sub 收到 pub 信号时取查一次数据库,更新 lucene
能想到的大体是这样
Cbdy
2020-07-08 20:32:14 +08:00
canal 还行
optional
2020-07-08 22:34:53 +08:00
无侵入的方法:监听 binlog (最干净),定时扫描(可以根据 updatedAt 优化)
其次应用 dual write
sunxiansong
2020-07-09 16:19:09 +08:00
之前用 PG 的时候,pg 有个 listen/notify 特性,相当于监听 /通知消息队列

给表写触发器,数据变动的时候发消息,收到消息后更新 ELK 索引

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/688339

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX