[V 币感谢] headless 浏览器是否有办法抓取网页中的 ajax 请求，并 js 模拟发送么

[akmonde]

RT，最近玩 scrapy 有这方面的需求，不知道有没有办法以 middlewares 的手段去抓取 JS 标签里的 ajax 请求，并模拟发送。 是否只能手动提取，再组合参数发送？

在线等大佬解答，感谢！！

[epkT6QJ3RSaz6AnJ]

https://medium.com/@gilfink/quick-tip-creating-an-xmlhttprequest-interceptor-1da23cf90b76

[epkT6QJ3RSaz6AnJ]

目前只想到可以搞个 polyfill，然后拦截

[cy97cool]

hookajax 以及 fetch 的 polyfill 就能在 js 层面把请求拦下来了
不过浏览器都能控制的话 为啥不直接看浏览器开发人员工具提供的 network 呢

[wangtao7]

https://github.com/checkly/puppeteer-recorder
https://github.com/segmentio/daydream
这俩不知道能实现不？

[akmonde]

@epkT6QJ3RSaz6AnJ 您的意思是拦截器监控再复现？但是我在随机爬行某个网站时不一定能触发该 js 函数，我这算是黑盒，白盒的应该不太适用。

[akmonde]

@cy97cool
@wangtao7
感谢两位的回复，两位说的都是拦截器吧，不过我黑盒爬虫去爬不一定能触发 ajax，靠这个拦截复现不太现实。。