mongodb 同步到 elastic searh 的最佳方案是什么？

[SlipStupig]

有一个需求将 mongodb 的数据增量同步到 ES 里面，用 mongo-connector 各种崩溃，数据无法同步完全，有什么方案可以更稳定的同步吗？

[Yuansir]

以前用的这个 https://github.com/richardwilly98/elasticsearch-river-mongodb

[SlipStupig]

@Yuansir ES 5.x Unsupport

[Morriaty]

崩溃指什么？

[SlipStupig]

@Morriaty 老是出现一些莫名奇妙的错误，比如：有重复记录它就会退出，然后重新启动之后依然提示有重复记录

[Morriaty]

不是有 ignore error 的参数吗，还有，重复记录，应该是可以配置 upsert 的吧

[bengle]

mongodb 数据打到 kafka，kafka 再往 ES 打

[fzinfz]

https://github.com/phutchins/logstash-input-mongodb
没用过，不过作为一款插件应该比较稳定吧

[finull]

river 现在都不支持了，现在就是 logstash
官方支持吧

[SlipStupig]

@bengle 这样有点绕吧....
@Morriaty 用哪个参数，主要是 mongo-connector 连个 help 都没有

[hcymk2]

@SlipStupig
其实也不算绕， 而且有现成的轮子可以用。
https://github.com/confluentinc

[SlipStupig]

@hcymk2 那我怎么把数据从 mongo 弄到 kafka 呢？

[scriptB0y]

写个程序一条一条 post 不行吗？

[rayingecho]

楼上已经有大佬说了 Confluent Plantform，我来补充一个 Connector：
Debezium http://debezium.io/docs/connectors/mongodb/
实时抓取数据源变更到 Kafka，支持 MySQL, PostgreSQL, Mongo

[sxw11]

今天刚搞完 NLog->Redis->ELK 的日志系统
楼主可以用 https://github.com/phutchins/logstash-input-mongodb 搭配 logstash 配置很简单

[qiyuey]

MySQL 的同步方案是：binlog -> databus -> kafka -> es

[popbones]

前阵子也有类似需求，懒得研究 mongoconnector，最后用 golong rachet 写了一个，读取和写入都很简单，主要是写写 transformation

[mengskysama]

完全可以自己造，这个代码不会超过 50 行，从 mgo 取数据_bulk 往 es 里面塞就行了，另 logstash 性能是几个采集工具性能最糟糕的，现在新的系统基本上都是 fluentd。