我们开发了一个 LLM API to Earn 概念的大模型接口转发平台,支持 Azure OpenAI(自定义回收价格,动态分配流量)

查看 26|回复 2
作者:LemonLeon   
加密圈的钱辈一定对 xxx to earn 这个概念不陌生,我们基于这样的理念,开发了一个 AI 圈可以获取收益的接口转发平台: poixe.com
用户可以将其闲置 / 冗余的 API 资源(目前已支持 OpenAI ,Azure OpenAI )丢到平台里,设置一个价格,供给平台里的其他用户来使用以获取收益。其本质相当于一个开放了渠道管理的 one-api 转发程序,每个人都可以创建渠道。
## 开发这个平台的思考在于:
1 )市场上一直存在着大量闲散,低成本甚至免费获取到的 AI API 资源。通常,这些资源掌握在信息检索能力较强的人手中,比如正在读我这篇帖子的读者。
2 )拥有资源的人,并不完全有能力/精力/想法将其变现。一部分人可能选择搭建转发站,但运营好一个转发站并不轻松。大部分人手中的这些资源都是空置状态。
3 )如果有这样一套系统,可以通过平台将闲置的 API 分发给有需要的人,让市场上的零散"供给"和需求匹配起来,那么就可以给我们三方共同创造收益。
## 介绍下系统的技术栈:
采用 Golang Gin 作为后端框架,前端使用 React + Vite ,数据库用的 MySQL ,使用 Redis 提供缓存(重度依赖),同时,加入了 Kafka 作为消费日志的中间件处理。
根据过往使用 one-api 的经验,系统的瓶颈往往在于日志批量写入时的磁盘 IO ,所以我们增加了 Kafka 作为缓冲层,在高并发场景下可以对流量做削峰填谷,同时提高了系统的可扩展性。
## 目前,已完成的开发任务如下:
1 )官网

2 )控制台 -> 令牌

3 )控制台 -> 日志

4 )控制台 -> 用量统计

5 )供应商功能(即本文提到的回收 API 额度)

6 )供应商功能 -> 渠道管理

7 )供应商功能 -> 收益页面

8 )供应商申请入驻页面

## 写在最后
这是我们一次大胆的尝试,开发并没有结束,准确说是刚才开始。我们计划以此平台为基础,持续开发更多与 LLM API 相关的应用层服务。
欢迎建议。
fengzhi   
Token 越来越便宜,价格不是问题
gaobh   
没戏,大家都搞了这么多年互联网了,虽然你套了个大模型的壳子,但是这套老玩法早就验证行不通了
您需要登录后才可以回帖 登录 | 立即注册

返回顶部