django 查询得到很大的 queryset，该如何快速遍历，有了解的大佬解答一下？

[dapengzhao]

diango orm 查询 postgres 数据库一张表，从 1 亿数据中查询，有个条件会查到 600 多万条数据，我要对查到的数据集做遍历生成需要的格式。这个过程大概需要 70 到 80 秒。由于查到的数据要图像化到前端，这个等待过程有点太长。

for al in res:
    bytes_list.append(al['in_bytes'] + al['out_bytes'])
    packets_list.append(al['in_pkts'] + al['out_pkts'])
    time_list.append(al['start_time']).strftime("%Y-%m-%d %H:%M:%S"))

res 就是得到的 queryset，下面*__list 是三个空列表

[leishi1313]

你这条 for 可以用 sql 直接得到结果。然后查询这么慢的话可以放缓存。

[009694]

bytes_list = [al['in_bytes'] + al['out_bytes'] for al in res]
packets_list = [al['in_pkts'] + al['out_pkts'] for al in res]
time_list = [al['start_time'].strftime("%Y-%m-%d %H:%M:%S") for al in res]

[ankazen]

为什么一次性需要这么多数据呢？是不是需要设计中间层去存储查新结果？

[dapengzhao]

@009694 这样写用时 75 秒，跟之前的 for 循环差不多

[dapengzhao]

@leishi1313 有点没看懂你的意思是说可以在 sql 里面就得到想要的结果？然后说先将结果放缓存我理解成 res = [r for r in res]这样先存起来再查？这样的话分别用时 33 秒，45 秒和直接 for 循环也差不多

[dapengzhao]

@ankazen 因为查询条件是用户选择的，选的查询条件越少查出来的数据就越多

[misaka19000]

一次查询 600 万条数据？你这个简单，改需求

[dapengzhao]

@misaka19000 好嘞哥

[pkuphy]

list(res
.annotate(
bytes=F('in_bytes')+F('out_bytes'),
packets=F('in_pkts')+F('out_pkts')
).values(
'bytes', 'packets', 'start_time'
)
)

[leishi1313]

@dapengzhao sql 里也可以计算吧，select val1+val2，psql 也能直接对 datetime 进行格式化操作，照着#9 的做就好，你这一整个 for 是完全可以放在数据库做的。再说了拿 python 的 list append 600 多万条数据也太难为人了，后面这些数据要聚合的话试试 generator 吧。还有你前端不要分页的吗一次拿那么多数据

[dapengzhao]

@leishi1313 我也在想要把这个过程写成存储过程，前端只要 list 就行，画两个散点图

[wzwwzw]

曲线救国，把计算好的数据放到缓存，开个线程在后台几分钟计算一下。

[leishi1313]

@dapengzhao 我不是建议存储过程啊，我意思跟#9 差不多，你这可以用一条 query 直接在数据库查询出来的，用 Django 可以看看 annotate 和 extra 这两个就可以达到你的效果了

[wd]

提前把所有可能算出来存好