关于远程 mongodb 数据同步到本地 Elasticsearch 问题

[nleg]

因为 mongo 对搜索不太友好，我想搭建 ES 方便搜索，但是专门买个服务器又太贵了。。

我想问一下大佬们，有没有什么方案能够每次开机都同步远程 mongodb 数据库到本地的 ES 中。。

这样我就能实现在本地搜索了。

[nleg]

Monstache 能实现吗？

[Mithril]

MongoDB 有 Change Stream ，你可以理解为 bin log 。实际上是一部分的 oplog 。

他有个 token ，你可以拿到从这个 token 以后的所有数据库变更。

但实际上是基于 oplog 的，你如果太长时间没同步，或者那个 oplog 设置很少，操作太多的话可能就给顶掉了。如果你数据的变更不太多，或者你可以大部分时间实时同步下来，那就没问题。

也有很多方案是基于全量扫描然后自己找变更的，你如果数据量不太大倒还行，数据量大了这么搞相当于增加了额外的负担。

或者你数据库本身设计的很好，每个记录都有变更时间，那你每次只刷上次变更以后的就行，比刷那个 change stream 还要靠谱一些。只是删除需要额外处理，比如并不真的删除数据，而是给个 flag ，或者移到另一个 collection 里，那用这个方法倒也能同步了。

[nleg]

@Mithril Monstache 好像就是基于 oplog 的，我现在的数据量不多可能就几十万，增量一天估计也就 10 万左右，最高可能达到千万级以上，按照你这么说，我是不是可以设置一个 flag 同步完设置为 true 下次只取为 false 的同步？还是你有更好的建议？，感谢！

[Mithril]

@nleg 个人意见，如果你想在数据库内设置一个字段用来控制到 ES 的同步，那么这个字段最好不要每次同步完就改，不然这些都是额外的 IO ，毫无意义。
特别是当你 ES 的索引有问题，你需要恢复状态或者全量同步的时候，你这么搞就完全做不了了。

你这数据量如果不涉及删除的话，只要增加个 update datetime 字段就行。如果修改也不要，那就 create datetime 就够了。
每次启动的时候，ES 里面找个最大的 datetime ，然后从 mongodb 里面找所有比他大的 document ，分批拉回来就行。

这样你不管差多少数据都能同步回来，控制好批量查询和插入的速度就行了。也不用在乎什么 oplog 或者 change stream 。

[lanfangzi]

debezium

[kestrelBright]

flink cdc

[wdmcode]

flink cdc +1

[nleg]

@Mithril 感谢你 我尝试使用你的方案