[开源] 带领 AI 团队开发了一个极轻量的 GT AI Gateway:支持协议转换、请求查看,还能大幅降低 Claude Code 等调用成本

查看 74|回复 13
zh3256   
缓存率到 97 % 为何成本能降低 10 倍以上?
我理解即使 100 %缓存,也只是 prompt token 一折,算上 completion token 也没十倍。
iomect   
你说的这些 AxonHub 好像都能实现啊  我公司分发一直用的 CPA+AxonHub
AlexaZhou
OP
  
@iomect
感谢指出,不过功能还是差很多的,比如这几个功能,应该是属于 GtAIGateway 有而 AxonHub 没有:
1. 可以用可视化对话的方式来查看请求
2. 部署到免费的 serverless 平台上,如 cloudflare worker
2. 开箱可用的提升缓存命中改写功能( AxonHub 或许能手动写规则通过改写来实现,但手动也很麻烦)
AlexaZhou
OP
  
@iomect
感谢指出,这个要看不同的模型,如果 gpt-5.5 来说,prompt token 确实是打一折。那么算下来应该是 9 点几倍;
对 deepseek 模型来说,缓存价格是普通输入的 1%,那么就超过 10 倍了;
所以之类用了 10 这样一个概数来表达大概的程度
您需要登录后才可以回帖 登录 | 立即注册

返回顶部