用户可以将其闲置 / 冗余的 API 资源(目前已支持 OpenAI ,Azure OpenAI )丢到平台里,设置一个价格,供给平台里的其他用户来使用以获取收益。其本质相当于一个开放了渠道管理的 one-api 转发程序,每个人都可以创建渠道。
## 开发这个平台的思考在于:
1 )市场上一直存在着大量闲散,低成本甚至免费获取到的 AI API 资源。通常,这些资源掌握在信息检索能力较强的人手中,比如正在读我这篇帖子的读者。
2 )拥有资源的人,并不完全有能力/精力/想法将其变现。一部分人可能选择搭建转发站,但运营好一个转发站并不轻松。大部分人手中的这些资源都是空置状态。
3 )如果有这样一套系统,可以通过平台将闲置的 API 分发给有需要的人,让市场上的零散"供给"和需求匹配起来,那么就可以给我们三方共同创造收益。
## 介绍下系统的技术栈:
采用 Golang Gin 作为后端框架,前端使用 React + Vite ,数据库用的 MySQL ,使用 Redis 提供缓存(重度依赖),同时,加入了 Kafka 作为消费日志的中间件处理。
根据过往使用 one-api 的经验,系统的瓶颈往往在于日志批量写入时的磁盘 IO ,所以我们增加了 Kafka 作为缓冲层,在高并发场景下可以对流量做削峰填谷,同时提高了系统的可扩展性。
## 目前,已完成的开发任务如下:
1 )官网
2 )控制台 -> 令牌
3 )控制台 -> 日志
4 )控制台 -> 用量统计
5 )供应商功能(即本文提到的回收 API 额度)
6 )供应商功能 -> 渠道管理
7 )供应商功能 -> 收益页面
8 )供应商申请入驻页面
## 写在最后
这是我们一次大胆的尝试,开发并没有结束,准确说是刚才开始。我们计划以此平台为基础,持续开发更多与 LLM API 相关的应用层服务。
欢迎建议。