nodejs 插入 ElasticSearch 的 api 操作直接异步执行了，插入数据太多 如何保持低速比较好

[whereabouts]

用了 ElasticSearch 官方的 nodejs 包，发现
ElasticSearchClient.index({
index; "name",
type: "name",
body: someJson},
function(err, resp, status){ dosomething..}
});

是直接异步执行了，对于数据仓库几千万行直接就蹦了，循环插入就机器资源撑不住。
希望能保持每时每刻并发插入几百个，每个插入线程（形容不准确）插入完了再插入下一个，类似线程池的概念。
NodeJs 有什么比较好的方法吗？

[richard1122]

http://bluebirdjs.com/docs/api/promise.map.html

第三方的 promise 实现自带了并发限制，或者随便找个现成的库

[ctsed]

async.js queue

[hcymk2]

bulk

[noe132]

我之前写的一个异步队列的程序，
用的是 TokenBucket + 并发控制，
TokenBucket 就是基础的令牌桶，我用 ts 简单实现的。

https://gist.github.com/noe132/a7885918ab4fb083ea5ce0316b6f11a2

通过 TokenBucket 来限制任务的最大并发速度
通过 concurrecy 来限制异步队列的最大数目
这样并发数能控制下来， 异步队列也不会一次推入过多爆掉

判断没有任务可做，并且 concurrency 为 0 时就做完了，就可以调用 tokenBucket.destroyed()销毁定时器。

还可以自己封装一下，提高抽象级别

[noe132]

我写了个滑动窗口测速，上面的并发限制基本很准，误差在±5%左右，和 token bucket 的一些参数有关。

[RqPS6rhmP3Nyn3Tm]

bulk
最差也能 promise 串一遍