有偿求助, browsermobproxy+selenium 怎么连接 IP 池?

2022-03-05 00:55:24 +08:00
 doolindalton

有偿求助,browsermobproxy+selenium 怎么连接 IP 池?

browsermobproxy 主要作用是点击以后,像 fiddle 一样抓取网络请求参数。 但是在多线程的情况下,怎么搞定 IP 池呢?求助

3174 次点击
所在节点    Python
4 条回复
cy1027
2022-03-09 11:21:30 +08:00
selenium 启动的时候可以加参数 options ,里面可以配代理,但是更换代理好像只能重启浏览器了,当然你可以开很多个浏览器,每个浏览器单独配代理,如果你想更进一步,在每个浏览器都使用不同代理的情况下还对数据抓包,可以考虑对路由器抓包,如果是 mitmproxy 的话可以让 mitmproxy 拦截到的请求再走一次 ip 池,你说的这个库没玩过,不知道怎么搞
madpudding
2022-03-18 10:14:20 +08:00
我也遇到了这个问题,在 stackoverflow 找了很多问题,好像是不能的,转 splash 来抓 har 把.
llsquaer
2022-03-23 21:02:56 +08:00
今天刚好遇到想直接获取 xhr 返回 body 的 发现 selenium 不能直接支持..只能变相的去获取请求日志来获取,异常复杂 用这一段 logs_raw = browser.get_log("performance")

你的需求是 请求的时候切换 ip..这样的话你可以 本机自建一个代理..所有请求走这个自建代理..也可以用 mitmproxy 自己改..
还有一个花钱的方案..直接用那些 ip 代理公司的 隧道代理..就不用考虑切换 ip 的事情了.
llsquaer
2022-03-23 21:05:25 +08:00
刚看了你这个 browsermobproxy ..发现还真不错. 拿来用用..哈哈

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/838100

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX