V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
WinG
V2EX  ›  问与答

Selenium 怎么异步抓数据?

  •  
  •   WinG · 2020-03-20 17:34:03 +08:00 · 776 次点击
    这是一个创建于 1741 天前的主题,其中的信息可能已经有所发展或是发生改变。
    假设页面 A,

    此时我要对页面 A 做 B-C-D 操作,此时页面 A 的数据不停变化,

    在我不暂停 B-C-D 操作的情况下,怎么保持持续去抓取页面 A 变化的数据?

    在搜寻器搜了一大轮,没找到答案,请大神指教,感激。
    3 条回复    2020-03-21 09:25:11 +08:00
    WinG
        1
    WinG  
    OP
       2020-03-20 19:22:50 +08:00
    自己小推一下。没人帮助 :(
    gou7ma7
        2
    gou7ma7  
       2020-03-21 07:47:28 +08:00 via Android
    首先用单例起一个 webdriver,然后开启很多个标签页,用 queue 维护一个标签页池,然后用一个上面说到的单例锁。之后每次都是从池子里面去标签页对象处理,和页面交互的时候锁上。
    WinG
        3
    WinG  
    OP
       2020-03-21 09:25:11 +08:00
    @gou7ma7 谢谢回复,没看懂,我的页面 A 极度耗资源,只能打开一个,怎么办?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2650 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 15:18 · PVG 23:18 · LAX 07:18 · JFK 10:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.