网站上那些 API 如何才能捕获呢？就像后面传来的数据

2018-05-15 11:26:32 +08:00
 jakeyfly

有一些网站在 chrome 调试里面可以看到后面会几秒就传来一个更新数据一般是 JSON 格式的，几秒就会传来一个，更新网页的。如何才能捕获这个数据呢，并且像浏览器一样一直接收这个数据呢，爬虫是主动请求的，如何才能像 SOCKET 连接那样，没有的时候阻塞在那 有的时候就接收呢？ 一直很疑惑这个问题，觉得应该是有办法做到的，能模拟浏览器连接网页吗

1297 次点击
所在节点    问与答
6 条回复
jakeyfly
2018-05-15 12:56:41 +08:00
没有大佬知道吗
msg7086
2018-05-15 13:07:34 +08:00
你需要的是无头浏览器？
你说的是 WebSocket 连接？
CloudnuY
2018-05-15 13:48:30 +08:00
几秒一个数据包那种难道不是 js 写的定时 ajax 吗……类似心跳包那种
qwjhb
2018-05-15 14:23:26 +08:00
开 f12 看看 确定没有 POST/GET ？
jakeyfly
2018-05-15 18:59:18 +08:00
@qwjhb 大佬的意思是他网站前端的脚本操作的是吧
qwjhb
2018-05-15 22:28:13 +08:00
@jakeyfly 是啊 一般都是 ajax 吧

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/454923

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX