「请教贴」 Python 爬虫如何把单核跑满

2021-06-04 18:26:10 +08:00
 foxyier

需求场景：

目标有采集需求， 对于效率要求比较高， 但是程序运行的过程中对于内存资源消耗比较严重， 对于 cpu 使用率就很低， 结果造成了大量 cpu 资源的浪费。 所以想请教一下 python 爬虫有什么办法能充分利用 cpu 性能从而提升效率么

3415 次点击
所在节点    Python
22 条回复
lusi1990
2021-06-08 16:06:34 +08:00
好多人答偏了, 既然瓶颈是内存,解决思路就是:要么优化代码,要么加内存
zhouxianggen
2021-06-09 16:37:29 +08:00
CPU 利用率很低，就说明 CPU 它不是瓶颈，那提高 CPU 性能就达不到提升效率的目的

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/781436

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX