V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hytirrb
V2EX  ›  程序员

爬取 leetcode 题目疑问

  •  
  •   hytirrb · 182 天前 · 1055 次点击
    这是一个创建于 182 天前的主题,其中的信息可能已经有所发展或是发生改变。

    各位佬,我要爬取下面这个页面的超链接以及里面的文本: https://leetcode.cn/circle/discuss/mOr1u6/,但是在开发者工具的 network 中的第一个请求的 response 的源代码没看到网页中超链接以及对应的文本内容,请问我该如何找到这些超链接的具体位置呢

    3 条回复    2024-05-27 16:57:48 +08:00
    1018ji
        1
    1018ji  
       182 天前
    graphql 接口找找
    Aoyu
        2
    Aoyu  
       182 天前
    用无头浏览器 selenium 配合 xpath 最为便捷。
    yjfkk
        3
    yjfkk  
       182 天前
    graphql 需要 token ,单独发请求也无效,用浏览器渲染页面,获取 html 再解析
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1067 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 19:13 · PVG 03:13 · LAX 11:13 · JFK 14:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.