Python 小白， 请教各位大佬一个如何能够优化这个方法？

2020-05-10 21:23:21 +08:00
 mulandidi

我有一个很长的 dataframe,100w 左右吧， df = pd.DataFrame(columns =['id'])，我现在想要重新计算一个新列， 逻辑是 在第 i 行，利用第 i，i-1，i-2 的 id 列三个数值计算，我现在是用循环计算的，感觉很慢，非常丧，用多线程啥的感觉好像太重了

不知道大家有什么好的方法，感谢

2257 次点击
所在节点    Python
7 条回复
llsquaer
2020-05-10 21:39:16 +08:00
没明白你具体..如果计算其中三行 某列的数据,直接取 index 就行了啊..100w 数据也是毫秒的事情..还用什么循环?
imn1
2020-05-10 22:00:51 +08:00
你搜搜官方文档关于移动统计的章节，应该是“Expanding Windows”相关的内容
移动统计就是用前 n 行数据计算当前新数据，时序类型数据经常需要，例如证券
liprais
2020-05-10 22:02:40 +08:00
sql window function lag
yzc27
2020-05-10 22:06:03 +08:00
用 apply()？
renmu
2020-05-10 22:16:38 +08:00
d[i]=d[i-1]+d[i-2]这样？，直接操作
mulandidi
2020-05-10 22:40:55 +08:00
@imn1 对，是时序数据，感谢了，用自带的 rolling 可以
Latin
2020-05-11 11:38:33 +08:00
https://github.com/modin-project/modin

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/670340

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX