基于 AI 的 Chrome 爬虫辅助插件

查看 106|回复 10
作者:mikawang   
基于 AI 的 Chrome 爬虫辅助插件,自动监听网络请求并解析 API 逻辑。
之前爬虫每次都去抓 API 然后丢给 AI 分析,很麻烦,写了个 Chrome 插件,直接去抓请求,然后丢给 AI 分析这个接口是做什么的,以及一些字段分析。
功能
  • 自动抓取:实时捕获浏览器 Fetch/XHR 请求及其 Response 。
  • AI 接口分析:一键分析接口功能,自动推断字段含义及业务逻辑。
  • 语义解析:让 AI 解释复杂的 JSON 结构,告别手动盲猜字段。

    计划
  • 多语言生成:一键生成 Python (requests/httpx), Go, Node.js 爬虫代码。
  • 类型定义导出:自动生成 TypeScript Interface, Go Struct, Pydantic Models 。
  • 批量文档:导出整个页面的接口清单及文档。
  • 代码模板定制:支持用户自定义生成的爬虫代码格式。

    项目仓库
    https://github.com/wangyi12358/auto-scrape-ai

    爬虫, AI, 接口

  • soouu   
    已 star
    nilaoda   
    > 之前爬虫每次都去抓 API 然后丢给 AI 分析,很麻烦
    其实装个 Chrome DevTools MCP 就方便多了,直接让 AI 自己去操作网页、分析请求,写各种语言的代码实现
    mikawang
    OP
      
    @nilaoda 是挺不错的,有些过不了 Cloudflare 人机验证怎么办
    senooo   
    不提供 release 啊
    mikawang
    OP
      
    @senooo 加了
    senooo   
    issues/1  不好用
    DonaldY   
    其实这种简单的爬取,直接把目标网页和接口扔给 agent 就行了,直接产出。
    itsjoke   
    我记得 Akamai 的 CDN 比较难过,这个行吗?
    mikawang
    OP
      
    @itsjoke 这个本身就是在你访问页面的时候去爬 API ,所以不存在难过这个问题
    您需要登录后才可以回帖 登录 | 立即注册

    返回顶部