Seleium+chromedriver 怎么解决内存问题

2019-09-24 16:12:06 +08:00
 kaishui00

长时间爬取（三百次）左右，就出现内存不足，浏览器崩溃。有什么好的办法吗？

2923 次点击
所在节点    Python
8 条回复
weakiwi
2019-09-24 16:48:41 +08:00
试试 selenoid ？或者直接用 chromecdp
ml1344677
2019-09-24 16:50:11 +08:00
300 次是 300 次访问？ 用了无头模式吗 加载了图片吗 完全不清楚你是什么情况
arrow8899
2019-09-24 17:03:08 +08:00
开了 300 个 tab 吗，你是不是忘记关闭页面了
Leigg
2019-09-24 17:05:38 +08:00
得关了重启。
Leigg
2019-09-24 17:06:17 +08:00
遇到过，没查到什么原因。只能在定时重启。
kaishui00
2019-09-25 11:52:57 +08:00
@ml1344677
@arrow8899

无头模式，一个标签，300 次访问，加载图片了，因为用到验证码
ClericPy
2019-09-25 22:53:00 +08:00
这问题貌似已经很多年了, 官方 issue 没说什么吗
之前也是各种内存爆裂的问题才试了各种 driver, 后来还试过一个叫 ghost.py 的坑, 最后不得不硬撸 cdp 了, 反正一共就那么几个请求, 也没必要上 puppteer 或者 pyppteer
ClericPy
2019-09-25 22:54:31 +08:00
我自己调试 cdp 的时候倒是发现经常有 close tab 失败的情况, 或者杀子进程没关 fd 之类的小问题导致僵尸进程吃内存

你一个标签, 是打开一个又关上吗, 我记得 Chrome 既有关闭最近打开的功能, 默认的 history 深度又很高... 不确定你到底什么坑

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/603755

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX