Loop - 高性能的 Anthropic 协议 多 Key 轮询请求系统

查看 10|回复 0
作者:LynnGuo666   

前段时间雷大老板给全网发放了百万亿 Token ,很多佬友也把自己的 Key 分享了出来,由于各位佬友使用的过于热情,导致很多 Key 都处于 429 等状态,这个情况下,对于 New-API 等中转程序会遇到重试次数过多等问题,且不能单独自动禁用/启用相关的 Key ,加上本人是个颜值党,故开发了这样的一个中间件程序供大家使用~

项目特点
  • 密钥轮转代理 — 轮转( Round-Robin )分配请求到多个 API 密钥,自动故障转移,支持流式和非流式请求
  • 自动禁用与恢复 — 连续失败达到阈值自动禁用密钥,后台定期探测,恢复后自动重新启用
  • 用量统计 — 记录每次请求的 token 用量、延迟、模型等信息,提供时序图表和按模型/渠道的统计分析
  • 批量管理 — 批量导入/导出密钥,批量探测密钥状态
  • 管理面板 — 内嵌管理面板,中文界面,仪表盘、渠道管理、密钥管理、用量明细、统计分析、系统设置

    中转说明
  • 目前只适配了 Anthropic 协议,服务器会自动填写/v1/messages,大家如果需要其他协议建议通过 New-API 等程序进行中转
  • 调用的 API-Key 为管理 Key ,推荐大家将其作为一个中间件接入到 New-API ,CCH 等程序中使用~

    项目截图


    项目地址
    https://github.com/LynnGuo666/LynnAI_Loop
    求 Star ~
  • 您需要登录后才可以回帖 登录 | 立即注册

    返回顶部