nodejs + mongodb,用 mongoose 查询返回百万级数据,内存吃不消怎么办
inkWave · 2019-02-28 11:00:24 +08:00 · 1626 次点击这是一个创建于 1948 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在业务大概是这样,要对查询回来的每一条结果,都要做一些格式上的修改,然后生成文件.
但是查询出来的一般都是百万级的数据,一下子内存就涨个 300M,有点吃力,除了加内存外,想在查询方面做些优化.请各位指点一下.
现在查询用的是 mongoose.aggregate(aggregateExpression).cursor().exec();返回的结果逐条做一些修改,修改后 push 到一个流里.最后把流写个文件出来.
但是现在每次查询结果回来内存就撑爆了,也没查到 mongoose 如何返回一个流结果,请问该怎么优化一下?
但是查询出来的一般都是百万级的数据,一下子内存就涨个 300M,有点吃力,除了加内存外,想在查询方面做些优化.请各位指点一下.
现在查询用的是 mongoose.aggregate(aggregateExpression).cursor().exec();返回的结果逐条做一些修改,修改后 push 到一个流里.最后把流写个文件出来.
但是现在每次查询结果回来内存就撑爆了,也没查到 mongoose 如何返回一个流结果,请问该怎么优化一下?
 |
1
EPr2hh6LADQWqRVH 2019-02-28 11:15:31 +08:00
|
Select Language