有方法实现 Selenium 单个 WebDriver 多标签/线程爬取吗?

2020-10-10 15:18:53 +08:00
 JasonLaw

以下是我找到的一些资料:

看起来好像没有方法可以实现“单个 WebDriver 多标签 /线程爬取”,但在Selenium multiple tabs at once - Stack Overflow中,venzen 的评论说

Multiple threads acting on the same driver instance IS possible with zeroMQ - thread's zeroMQ sends a request to the driver process's zeroMQ server which then acts on the window or desired tab. As many threads as you like.

venzen 所说的东西是什么?我有点不太理解。真的没有方法实现“单个 WebDriver 多标签 /线程爬取”吗?如果有的话,应该怎么做?

2554 次点击
所在节点    程序员
24 条回复
JasonLaw
2020-10-11 17:52:17 +08:00
@neoblackcap #18
@neoblackcap #19

谢谢你的回复。
learningman
2020-10-11 18:24:23 +08:00
X 问题,Y 问法,得到 Z 的答案
指的是你遇到了一个问题,你想了一个解法,然后你在实现这个解法的时候又遇到了问题,然后你跑来问怎么解决第二个问题。
事实上,有可能你想的这个解法本身就有问题,即使帮你实现了这个解法,你的第一个问题也还没有解决
JasonLaw
2020-10-11 18:48:54 +08:00
@learningman #22 你说得很对,我的原始问题应该是“怎么提高并发度?怎么减少内存消耗?”。
chaogg
2020-10-16 17:22:13 +08:00
@JasonLaw 一个线程可以对应多个 tab 啊,发送指令时切换窗口对象就行

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/713665

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX