基于 AI 的 Chrome 爬虫辅助插件

[mikawang]

基于 AI 的 Chrome 爬虫辅助插件，自动监听网络请求并解析 API 逻辑。

之前爬虫每次都去抓 API 然后丢给 AI 分析，很麻烦，写了个 Chrome 插件，直接去抓请求，然后丢给 AI 分析这个接口是做什么的，以及一些字段分析。

功能

• 自动抓取：实时捕获浏览器 Fetch/XHR 请求及其 Response 。
• AI 接口分析：一键分析接口功能，自动推断字段含义及业务逻辑。
• 语义解析：让 AI 解释复杂的 JSON 结构，告别手动盲猜字段。

计划

• 多语言生成：一键生成 Python (requests/httpx), Go, Node.js 爬虫代码。
• 类型定义导出：自动生成 TypeScript Interface, Go Struct, Pydantic Models 。
• 批量文档：导出整个页面的接口清单及文档。
• 代码模板定制：支持用户自定义生成的爬虫代码格式。

项目仓库

https://github.com/wangyi12358/auto-scrape-ai

[soouu]

已 star

[nilaoda]

> 之前爬虫每次都去抓 API 然后丢给 AI 分析，很麻烦

其实装个 Chrome DevTools MCP 就方便多了，直接让 AI 自己去操作网页、分析请求，写各种语言的代码实现

[mikawang]

@nilaoda 是挺不错的，有些过不了 Cloudflare 人机验证怎么办

[senooo]

不提供 release 啊

[mikawang]

@senooo 加了

[senooo]

issues/1 不好用

[DonaldY]

其实这种简单的爬取，直接把目标网页和接口扔给 agent 就行了，直接产出。

[itsjoke]

我记得 Akamai 的 CDN 比较难过，这个行吗？

[mikawang]

@itsjoke 这个本身就是在你访问页面的时候去爬 API ，所以不存在难过这个问题

[mikawang]

@DonaldY 就是嫌麻烦，不想 copy ，我直接访问页面就能看到有哪些接口，然后列表有个接口作用字段，一眼就能看出来我想要的接口

[macaodoll]

这种说实话，有用，但是没太大用。

[macaodoll]

其实更适合做成 skills 的形式，而不是插件

[yufeng0681]

今天刚遇到一个 走 websocket 的。 实在多次连不上才会转 xhr 轮训， ，一直没找到好办法，让网页启动 xhr 轮训