关于迭代器的操作

[aragakiiyui]

我想问一下各位大神有没有什么方法更快的去遍历一个迭代器。

我要处理的一个Iterators大概包含了将近900万个元素。如果直接用 for ... in ... 的方式去遍历，根本无法再规定的时间内完成需求。
我目前是用iteratool.islice去做，每个线程切1000个出来，转成列表来处理，但是几乎没什么提升。而且转换成list这个操作也很耗时间....有没有什么方法可以多线程去取里面的元素？或者有没有什么其他好的方法或者经验？

[nullcc]

考虑下map reduce？

[aragakiiyui]

@nullcc 用多进程么？！

[neoblackcap]

@aragakiiyui 你这个工作差不多都已经完全是分布式了，你至少是用多进程啊。队列只是拿worker要完成那种任务的条件而已，

就好像你告诉worker要去处理1-1000的记录，worker2处理2000-3000的记录，但是具体的信息还是要通过es去读（每个worker独自建个连接连es来获取信息）。若是你的数据没有依赖关系的话，即worker1处理完的内容可以直接写入数据库，那么你就完全连合并的server端都省了，worker直接写数据库就可以了。这样下来效率应该很高才对啊。处理完全是分布式啊，最大的瓶颈就是磁盘IO而已。即es的读或者数据的写

[clino]

"我要处理的一个Iterators大概包含了将近900万个元素"
把元素分段,然后这样可以用多个 iterator 来不重复地遍历,这样就可以多线程或者多进程地并行了

[nullcc]

@aragakiiyui 怎么说呢。。map reduce是一种编程模型，有分布式的概念了

[julyclyde]

先把迭代器list化，然后再用slice的话小心内存占用量哦

[aragakiiyui]

@neoblackcap @clino 我多进程也试了，我把那块大的数据分成了2块，然后跑两个进程，发现比单进程慢的多。然后我又试了分成四块，跑四个线程，依然不如单线程跑。。我的机器实在太渣了。。瓶颈确实在IO上面。