Elasticsearch 和 Mysql 数据冗余更新问题

[Saxton]

看了官方文档，官方文档提成反规范化设计，并且提供了 4 种方式，最简单不影响性能的就是把有关系的数据掰成扁平化，目前我们系统做了一个自定义字段，考虑数据量大而且前端要做复杂筛选条件，上了 es，存数据时同时操作了 es 和 mysql，查询全部采用 es
插入的时候把自定义和系统字段全部掰成了一份文档储存，那么字段数据更新的时候该怎么办呢，或者有什么更雅的方案嘛，有做个的大佬麻烦给点意见，第一次使用 es

[theOneMe]

binlog

[Saxton]

@theOneMe 我了解到了阿里的 canal

[kidlj]

cdc debezium kafka

[strawberryBug]

看你 es 和 mysql 存储的数据结构是否一致？ es 不好做 join 查询，多表写入一个索引这种需求的话还是选用传统的方式更好扩展些，即推送更新到 mq，消费 mq 写入 es(全更新 or 部分更新)。 单表对单索引这种，canal，logstash 都行

[jabari]

Change Data Capture (CDC) canal kafka

[gBurnX]

你都没说你的业务需求，一上来就问怎么用工具？

[misaka19000]

这不简单，插入和更新都走同一套数据格式处理逻辑不就行了

[ElmerZhang]

https://github.com/alibaba/canal
要保证数据一致性，这基本是最优解

[swcat]

go-mysql-transfer -> 使用 lua 写同步逻辑

[wangxin13g]

想说 canal 的 然后看了下发现有人发了

[changdy]

debezium 😎

[WriteCloser]

1. 阿里云 DTS 订阅 binlog 同步
2. 实时性要求不高并且数据量不大可以每天跑下全量