[开源] 带领 AI 团队开发了一个极轻量的 GT AI Gateway:支持协议转换、请求查看,还能大幅降低 Claude Code 等调用成本

查看 71|回复 13
作者:AlexaZhou   
大家好,最近带领 AI 团队,开发了一个轻量级大模型网关项目:GT AI Gateway
我们在平时开发和使用大模型 API 时,经常会碰到下面这些痛点:
[ol]
  • 费用黑洞:把 API Key 填进各种工具(比如最近很火的 Claude Code )里跑,额度跑飞了都不知道,缓存命中率极低,成本居高不下。
  • 协议壁垒:手里的工具支持 Anthropic 协议,但上游 api 只有 openai 格式。
  • 黑盒调试:Prompt 发出去之后,很难知道底层到底拼接了什么历史消息和工具调用,出了 Bug 只能靠盲猜。
  • 共享风控:想把自己的 Key 分给朋友或小号用,但又怕他们不小心额度超标,或者直接泄露。
    [/ol]
    为了把这些问题一揽子解决,我写了 GT AI Gateway。它的定位是:轻量、全能、还能帮你省钱的透明代理
    🌟 核心杀手锏
    1. 智能请求拦截与缓存优化(帮你省钱)
    这是个非常实用的特性。比如大家常用的 Claude Code,默认情况下它会注入很多随机标记,导致直接调用 OpenAI API 时**缓存命中率几乎为 0%**。
    我们的网关在中间做了一层拦截与智能改写,能突破这种限制并最大化 Prompt Cache 。开启优化后,缓存命中率直接飙升到 97%,API 成本直降 10 倍以上!
    2. 强大的双向协议转换
    内置协议引擎,支持 OpenAI (Chat Completions/Responses API) 🔄 Anthropic (Messages) 双向无缝转换。你可以在客户端一行代码不改的情况下,用 OpenAI 的标准格式去白嫖/调用 Claude 模型(完美支持 SSE 流式返回、工具调用和多模态识图)。
    3. 像 Wireshark 一样的流量分析面板
    我们提供了一个自带管理后台的控制面板。所有经过网关的流量(包括普通的文本、复杂的 SSE 流)都会被记录下来。
    打开可视化面板,你可以清晰地看到每一条请求的:完整 Prompt 、Token 消耗、缓存命中状态、耗时以及原始 JSON ,调试排障神器。
    4. 完善的额度与多租户管理
    你可以基于你的主 Key ,无限生成子令牌( Token )分发给其他人。并且可以给每个 Token 单独设置配额、计费费率、可用模型和过期时间,彻底杜绝 Key 滥用。
    🚀 主打一个“部署零门槛”
    针对不同的使用习惯,我们把部署做到了极致的灵活:
  • Serverless 白嫖模式(推荐):支持一键部署到 Cloudflare Workers ,配合原生的 D1 数据库,完全零维护,免费享受全球边缘网络
  • 开箱即用桌面版( App ):我们用 Tauri 打包了 Mac / Windows 的桌面原生客户端。小白用户无需任何代码环境,双击安装,本地自带 SQLite ,点开即用。
  • Docker 部署:适合挂载在自己的 VPS/NAS 上长期运行。

    截图预览
    对底层工具调用与 Prompt 的可视化抓取分析:

    开启改写后,缓存命中率飙升:

    🔗 传送门
  • GitHub 开源地址:https://github.com/alexazhou/gt_ai_gateway
  • 如果不想折腾代码,可以直接在 GitHub Releases 下载对应系统的桌面版安装包试玩。

    代码质量经过了 500+ 测试用例的严格覆盖,如果觉得对你有帮助,欢迎各位 V 友来提 PR 或者给个 Star 支持一下!🙏 有任何问题或者特性需求也欢迎在帖子里讨论~
    👨‍💻 关于开发团队
    本软件由人类进行架构设计,由 TogoSpace AI Team 主力开发。项目通过了 500+ 个自动化测试用例对核心功能进行全面覆盖,确保了极其硬核的代码质量。

    网关, 协议, 成本

  • adfi1   
    看起来不错,我也写了一个这样的东西。看来大家都有需求。我是用 fastapi 写的
    SoraStar   
    正在严肃试用,已 Star
    AlexaZhou
    OP
      
    @adfi1 是的,有这样的工具,用起来还是很方便的,也帮我看看这个还有什么需要改进的
    AlexaZhou
    OP
      
    @SoraStar 感谢试用,欢迎反馈意见呀
    dfourc   
    暗自推自己的多 agent 工具,不过标下来源好像也正常?
    ximaoyang   
    看着都累。
    - 每天都想说一句:除了 A 家的其他都是垃圾。你都用 cc 了为啥内核要用 o 家的。买椟还珠。一个便宜的模型,再便宜,给你来几个死循环,额度一下就满了。而且还浪费你的时间和注意力。就只用 cc ,用它默认的 sonnet 就够了。
    - 尽量多/new session ,保证上下文小一点,工作效率高的时候花钱还少。有的事情直接开 subagent 做或者开 -p 模式做。这些模式下的 agent 上下文是干净的,只加载需要的上下文。
    - 别总是 ai 写代码,ai 自己审核,ai 测试,中间啥都不管。你别让 ai 自己审核自己,浪费 token 。我常常说 ai 写的代码没有小问题只有大问题。你就时不时自己看下 ai 在写什么。然后夺命连环问,一个 pr 问它个 20 次,做到自己虽然不写,但是心里有数。有问题别自己改,写到 CLAUDE.md 里面防止它再犯
    你做到这些 token 使用率暴跌 90%,bug 率暴跌 90%,还不用整这啊那啊的工具框架,现在的工具框架自己都是 ai 几天写出来的垃圾项目,大家又不傻。
    AlexaZhou
    OP
      
    @dfourc 主要还是分享 GtAIGateway ,多 Agent 工具就是顺便提下😂,也让人知道有这么个东西,如果用不上忽略就好啦
    AlexaZhou
    OP
      
    @ximaoyang
    老兄,这么说就有点狭隘了
    1. “除了 A 家的其他都是垃圾”,我完全不同意这个,除了 A 家很多好模型,GLM 5.2 ,GPT5.5 ,DEEPSEEK V4 flash/pro ,都很好用,只是要有正确的使用方式才能发挥出来威力
    2. “尽量多/new session ,保证上下文小一点,工作效率高的时候花钱还少” 这个想法已经过时了,就是要大上下文,把足够的信息都塞进去,模型才聪明。特别是使用 deepseek 的时候,不断 new 完全浪费钱,效果还差
    3. “别总是 ai 写代码,ai 自己审核,ai 测试,中间啥都不管” 我也是不知道你这是说的谁,不懂
    “现在的工具框架自己都是 ai 几天写出来的垃圾项目,大家又不傻”
    批评之前还是先看看情况吧,这个项目从 25.2 月开始开发,累计提交超过 500 个 commit ,自用已经很完善了,才开放出来给大家
    zuokanyunqishi   
    我试试你的到底,能省 token 不,和出的代码质量咋样.
    您需要登录后才可以回帖 登录 | 立即注册

    返回顶部