一个 collection 有 3500 万条数据,我想操作 distinct 某字段,请问正确姿势!

2015-06-15 15:35:35 +08:00
 eggegg

如题试了下,非常慢,请问下有没有更好的姿势!

4598 次点击
所在节点    MongoDB
9 条回复
yangmls
2015-06-15 16:39:38 +08:00
有索引没?如果有,请检查

1. mongo 版本,升级到 mongo 3.0,版本 2.X 经常有 index 无法命中的问题

2. 有没有 query,query 是否有 index

3. explain 一下

4. log 文件,是否提示 low query

5. 加 hint,不一定可行,这玩意在 find 之外的行为有点诡异
yangmls
2015-06-15 16:40:05 +08:00
*slow
dai269619118
2015-06-15 17:12:51 +08:00
这问题问的...服
d0evi1
2015-06-15 20:46:03 +08:00
条件允许的话,丢到hadoop集群上跑一下.
Had
2015-06-15 21:32:32 +08:00
@yangmls 是2.6行为诡异吧,2.4感觉还是挺不错的...
我遇到实际运行时和explain的index选择不一样... 主动去getPlanCache().clear()还没有办法清除cache.
yangmls
2015-06-15 22:14:02 +08:00
@Had 2.6 bug 多得逆天,别提了,都是泪

我们有一个 findAndModify 的玩意,用在队列上,明明 explain 正常,但就是无法命中缓存,结果就是一天能跑出 15个G 的日志文件。。。。。
yangmls
2015-06-15 22:14:44 +08:00
*命中索引
Had
2015-06-15 22:22:11 +08:00
@yangmls
我和你一样... 但是还是在硬着头皮升级...
能不能留个啥交流一下,已经折磨了我们许久了,或许能有什么可以参考的...
yangmls
2015-06-15 22:28:51 +08:00
@Had 我们已经升完 mongo 了

扣扣 yangmls#live.cn

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/198703

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX