logstash 同步数据重复问题

[voidxx]

logstash 同步 mysql 增量数据到 elasticsearch，除了把 mysql 的主键 id 赋值给 index.document_id 外，有没有其它办法避免数据重复的问题。

如果只有这种办法，那 mysql 的自增 id，对于 es 的文档索引效率等有什么影响吗？

[Navee]

新增文档赋值 id 的话写入会非常的慢，但也只有这一种办法能完全避免重复数据了
还有一种不靠谱的方式是自己写一个同步程序，记录每次同步的最新 id，一定程度上能避免重复

[voidxx]

@Navee #1 多谢。看了些视频教程，确实也只有这个方法，但都没说对性能的影响，猜测可能影响不会很大吧。

[Navee]

@voidxx 影响非常的大

[voidxx]

@Navee 好的，但只影响写入，不影响查询的话，还能接受吧