遍历表方案

[itertools]

一次请求需要从提交的数据中获取一个数组 A，然后，从数据库中遍历某张表的字段 B。最后通过一系列的计算（计算过程包含数组 A 和 B ），每条数据算出一个值，取最高的几个值返回给请求方？请问这样需求有什么好的实现方案，响应时间越短越好。 谢谢！

[Immortal]

能看懂有鬼了- -

[Hieast]

楼主名字很好玩，itertools，再加个 nlargest、map, 应该可以解决楼主的问题了。

[itertools]

@Hieast nlargest 在我的实现中用到了,但是遍历表(如果有表中有上千万条数据)，感觉响应时间很慢。

[uxstone]

找个合适的数据结构，先把表中的数据取出来，在代码中写具体的运算逻辑 ？

[itertools]

@uxstone 数据量太大。内存可能会爆。

[Hieast]

@itertools 流式计算？维护一个 n 个元素的最大堆，用 generator 取一定数量的 B，更新这个堆？

不过估计这种实现不会比你现在的速度快多少。
愿意折腾的话用 spark sql ？

[cszeus]

在 B 上面建索引，然后用多线程或者多进程，把 B 里面的东西分成多个部分取出来，分别算，再一起取最大？

本来上千万条的数据，不需要分表么？

[lxml]

虽然不太清楚具体 B 是什么数据，但一个思路吃把 B 按照跳表的方式弄个多层索引，尽快的优化找 B 的速度。

[Miy4mori]

我觉得直接用存储过程快吧，要是读到代码里再算估计 io 开销就够喝一壶了。

[caniuse]

感觉适合用 mapreduce 思想，把任务分割成小任务分配到其他机器上并行