V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
llillill
V2EX  ›  问与答

求问 Python 里有没有像 Android WebView 里类似 shouldInterceptRequest 的库 可以拦截一个 request url 里所有 url 请求

  •  
  •   llillill · Dec 6, 2019 · 2002 views
    This topic created in 2340 days ago, the information mentioned may be changed or developed.

    想爬点儿东西
    浏览器里访问某一个 url
    通过 chrome devtools 里发现了想要的那个请求
    想获取这个请求的地址和 headers

    python 里有没有现成的库可以做到的
    类似 Android 里 WebView 的 shouldInterceptRequest 方法 可以拦截资源请求

    2 replies    2019-12-07 00:41:40 +08:00
    ClericPy
        1
    ClericPy  
       Dec 7, 2019
    安卓不知道, 你说的拦截, 要用 chrome 点开吗, 可以了解下 chrome 的 cdp 那套协议(说白了就是 remote debug by devtools), 拦截流量, 控制浏览器什么的都可以做到, 会点 http 和 WebSocket 的知识就能打通了, 实现过相关的库, 但是不优雅就不推荐给你了

    或者直接无脑走 MITMproxy 那套, 不但能拦, 还能改呢(cdp 也可以...)
    llillill
        2
    llillill  
    OP
       Dec 7, 2019
    @ClericPy 希望是不用点开 chrome
    搜了下 mitmproxy 似乎能满足我的需求 我去试试 多谢大佬~
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   788 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 20:26 · PVG 04:26 · LAX 13:26 · JFK 16:26
    ♥ Do have faith in what you're doing.