Python 如何统计大数据量的 嵌套列表的区间中各点的覆盖次数?

2018-09-12 11:24:54 +08:00
 lanceK
具体比如:
[[15, 65], [30, 80], [36, 86], [45, 95], [45, 95]]  一个大列表中嵌套了好多小列表,如何统计区间内的每个点被覆盖了几次呢? 比如如果只看 [15, 65], [30, 80]这两个,30-65 这些点就被覆盖了两次

注:因为数据量大,所以当我用两层循环来做的时候内存溢出。。。无奈不知道怎么搞,还请各位大神帮忙,先行谢过!
3579 次点击
所在节点    Python
36 条回复
DCjanus
2018-09-12 23:02:24 +08:00
由于 Python 自带的 List 默认内存拓展策略,你可能手动设定 capacity 会内存占用更少。

不过如果是我,没有其他性能需求,一般会比较懒,直接放 PostgreSQL 一把梭了。
lanceK
2018-09-12 23:15:30 +08:00
@ipwx 厉害了,多谢~
lanceK
2018-09-12 23:29:33 +08:00
@nooper 牛掰了,多谢
lanceK
2018-09-12 23:30:21 +08:00
@scriptB0y 谢谢~
lanceK
2018-09-12 23:31:36 +08:00
@huangzhe8263 谢谢~
lanceK
2018-09-12 23:32:30 +08:00
@widewing 谢谢啦~
lanceK
2018-09-12 23:33:54 +08:00
@DCjanus 好思路,多谢~
lanceK
2018-09-12 23:35:20 +08:00
@xpresslink 好的,谢谢啦~
lanceK
2018-09-12 23:35:59 +08:00
@DCjanus 哈哈嗯
vimiix
2018-09-13 10:03:13 +08:00
@DCjanus 把数据处理交给数据库是好方法。👍
sunnyadamm
2018-09-13 12:01:41 +08:00
@lanceK 我知道是两层嵌套,是你想复杂了
sunnyadamm
2018-09-13 12:22:23 +08:00
你现在的情况应该是量太大,导致爆内存了,可以参考前面楼层说的用数据库去处理
lanceK
2018-09-13 12:58:05 +08:00
@vimiix 对的~
lanceK
2018-09-13 12:58:18 +08:00
@sunnyadamm 没毛病哈哈
sunnyadamm
2018-09-13 13:18:39 +08:00
@lanceK 大量数据扔到 pc 机内存去处理肯定是不合适的,所以说你要么就放库里,要么就用服务器吧😂😂😂。我有的时候处理数据就用的单位的空转的服务器,速度杠杠的,美滋滋
lanceK
2018-09-13 14:21:23 +08:00
@sunnyadamm nice~~

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/488462

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX