这是一个创建于 995 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在需要从 mysql 多张表组数据到 es 的宽表
然后计划 logstash 分别读取每张表，然后存入 redis ，在 redis 拼接写入 es 。
现在问题在于读到的几张表的顺序可能是乱序的。
所以想问下 logstash 多张表情况下怎么生成宽表到 es 。
 |
1
dabai0806 2022-03-09 12:57:24 +08:00
存到 redis 里面拼接是什么意思
我之前是 mysql 视图查出数据然后同步到 es 中 |
 |
2
awanganddong OP logstash 获取 json 数据，然后存入 redis ，再 redis 进行业务的处理。
视图的话，我了解下 |
 |
3
Geekerstar 2022-03-09 17:01:37 +08:00
直接用 canal 同步就行了
|
|
4
awanganddong OP 这个感觉太复杂了
|
|
5
awanganddong OP 昨天调研了下，准备用 canal 了
计划 canal server => go cosume => redis stream =>es 以上无法保证数据不丢失 增加个 补偿机制 |
Select Language