Selenium 怎么异步抓数据?

2020-03-20 17:34:03 +08:00
 WinG
假设页面 A,

此时我要对页面 A 做 B-C-D 操作,此时页面 A 的数据不停变化,

在我不暂停 B-C-D 操作的情况下,怎么保持持续去抓取页面 A 变化的数据?

在搜寻器搜了一大轮,没找到答案,请大神指教,感激。
776 次点击
所在节点    问与答
3 条回复
WinG
2020-03-20 19:22:50 +08:00
自己小推一下。没人帮助 :(
gou7ma7
2020-03-21 07:47:28 +08:00
首先用单例起一个 webdriver,然后开启很多个标签页,用 queue 维护一个标签页池,然后用一个上面说到的单例锁。之后每次都是从池子里面去标签页对象处理,和页面交互的时候锁上。
WinG
2020-03-21 09:25:11 +08:00
@gou7ma7 谢谢回复,没看懂,我的页面 A 极度耗资源,只能打开一个,怎么办?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/654651

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX