怎么从 ES 中取出 20w 数据

2018-09-19 23:31:00 +08:00
 Evan0302
4241 次点击
所在节点    Elasticsearch
10 条回复
Evan0302
2018-09-19 23:32:36 +08:00
最好一次性取出来
windfarer
2018-09-19 23:45:53 +08:00
不要这么粗暴，scroll 了解一下 https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-scroll.html
prolic
2018-09-19 23:55:06 +08:00
search after 还是 after search 来的
ClutchBear
2018-09-20 09:19:08 +08:00
es 我记得一次性最多取一万条.
没法一次性的,
只能用 scroll
qinxi
2018-09-20 13:54:15 +08:00
@ClutchBear 1W 是默认值 可以改
reself
2018-09-20 19:35:52 +08:00
@qinxi 不管是 1w 还是多少，search api 禁止深翻页。获取数据请用 scroll。
Evan0302
2018-09-20 21:10:15 +08:00
公司业务坑爹啊，之前用的 redis:keys。。。。
rmrdf
2019-03-05 10:20:59 +08:00
还是用 scroll 分页查询吧,20w 条 很快的
demohjw
2020-09-18 08:43:52 +08:00
@rmrdf 我这边 20 万条，通过 scroll 分页查询取出来，需要 20 多秒，这也太慢了，mysql20 万数据返回都不到 1 秒，这是什么原因呢，我的 es 配置，8 核，8G,能告知一下不
rmrdf
2020-09-29 20:23:28 +08:00
@demohjw scroll size 设置 1w 20s 有点久。。。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/491000

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX