jakeyfly
V2EX  ›  问与答

网站上那些 API 如何才能捕获呢?就像后面传来的数据

  •  
  •   jakeyfly · May 15, 2018 · 1648 views
    This topic created in 2919 days ago, the information mentioned may be changed or developed.

    有一些网站在 chrome 调试里面可以看到后面会几秒就传来一个更新数据一般是 JSON 格式的,几秒就会传来一个,更新网页的。如何才能捕获这个数据呢,并且像浏览器一样一直接收这个数据呢,爬虫是主动请求的,如何才能像 SOCKET 连接那样,没有的时候阻塞在那 有的时候就接收呢? 一直很疑惑这个问题,觉得应该是有办法做到的,能模拟浏览器连接网页吗

    6 replies    2018-05-15 22:28:13 +08:00
    jakeyfly
        1
    jakeyfly  
    OP
       May 15, 2018
    没有大佬知道吗
    msg7086
        2
    msg7086  
       May 15, 2018
    你需要的是无头浏览器?
    你说的是 WebSocket 连接?
    CloudnuY
        3
    CloudnuY  
       May 15, 2018
    几秒一个数据包那种难道不是 js 写的定时 ajax 吗……类似心跳包那种
    qwjhb
        4
    qwjhb  
       May 15, 2018
    开 f12 看看 确定没有 POST/GET ?
    jakeyfly
        5
    jakeyfly  
    OP
       May 15, 2018
    @qwjhb 大佬的意思是他网站前端的脚本操作的是吧
    qwjhb
        6
    qwjhb  
       May 15, 2018
    @jakeyfly 是啊 一般都是 ajax 吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3376 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 12:19 · PVG 20:19 · LAX 05:19 · JFK 08:19
    ♥ Do have faith in what you're doing.