MongoDB 数据转换到 ES 该如何解决

2018-02-21 11:52:56 +08:00
 SlipStupig

由于公司业务增长数据偏向于搜索,而且搜索要求很高,所以打算用Elasticsearch, 但是目前的数据全都在MongoDB, 一共有好几张表:

我在 Mongodb 里面查询 用户历史订单 的时候可以 $lookupuser_accout-user_order_historyUUID进行关联查询,ES 好像并不能使用多个 Type 的 Key 进行关联查询

我的想法是把多张表的数据重新拆分合并到一个放到 ES 中一个新的Index里面,有什么好的办法可以实现呢?

3380 次点击
所在节点    程序员
5 条回复
badttt
2018-02-21 12:02:19 +08:00
工具的话看下阿里的 DataX,如果是自己实现,从 mongo 多个表抽取数据再转成 json 到 es 就行
SlipStupig
2018-02-21 12:18:28 +08:00
@badttt 我研究一下工具,感谢
misaka19000
2018-02-21 12:25:43 +08:00
用程序来写啊
SlipStupig
2018-02-21 12:41:13 +08:00
@badttt 这个工具实在太弱了`aggregate`都不支持,看来得自己造轮子了
badttt
2018-02-22 20:42:30 +08:00
@SlipStupig 改写下它的代码就行,把代码构造查询改成直接 json 查询

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/431439

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX