看了官方文档，官方文档提成反规范化设计，并且提供了 4 种方式，最简单不影响性能的就是把有关系的数据掰成扁平化，目前我们系统做了一个自定义字段，考虑数据量大而且前端要做复杂筛选条件，上了 es，存数据时同时操作了 es 和 mysql，查询全部采用 es
插入的时候把自定义和系统字段全部掰成了一份文档储存，那么字段数据更新的时候该怎么办呢，或者有什么更雅的方案嘛，有做个的大佬麻烦给点意见，第一次使用 es
This topic created in 1705 days ago, the information mentioned may be changed or developed.
 |
1
theOneMe Sep 10, 2021
binlog
|
 |
3
kidlj Sep 10, 2021 via iPhone
cdc debezium kafka
|
 |
4
strawberryBug Sep 10, 2021
看你 es 和 mysql 存储的数据结构是否一致？ es 不好做 join 查询，多表写入一个索引这种需求的话还是选用传统的方式更好扩展些，即推送更新到 mq，消费 mq 写入 es(全更新 or 部分更新)。 单表对单索引这种，canal，logstash 都行
|
 |
5
jabari Sep 10, 2021
Change Data Capture (CDC) canal kafka
|
 |
6
gBurnX Sep 10, 2021
你都没说你的业务需求，一上来就问怎么用工具？
|
 |
7
misaka19000 Sep 10, 2021
这不简单，插入和更新都走同一套数据格式处理逻辑不就行了
|
 |
8
ElmerZhang Sep 10, 2021
https://github.com/alibaba/canal
要保证数据一致性，这基本是最优解 |
 |
9
swcat Sep 10, 2021
go-mysql-transfer -> 使用 lua 写同步逻辑
|
 |
10
wangxin13g Sep 10, 2021
想说 canal 的 然后看了下发现有人发了
|
 |
11
changdy Sep 10, 2021
debezium 😎
|
 |
12
WriteCloser Sep 11, 2021  1
1. 阿里云 DTS 订阅 binlog 同步
2. 实时性要求不高并且数据量不大可以每天跑下全量 |
Select Language