做了个开源工具,想请 V2EX 老哥看看这个需求到底是不是伪需求

查看 59|回复 8
作者:v2reach   
事情是这样的——我们团队每月 OpenAI API 账单大概 $10K-$15K ,但每次被问到「钱花哪了」,所有人都答不上来。哪个 prompt 最烧钱?哪个模型被滥用了?哪个项目的 AI 成本最高?统统黑箱。
月底 CTO 拿着 OpenAI 的 CSV 账单问工程师,工程师也只能说「大概…可能…」。
于是我萌生了一个想法:做一个专门给 LLM API 做成本归因的开源工具。
核心逻辑很简单:
[ol]
  • Python SDK 拦截 OpenAI / 兼容 API 的调用(一行 cost_co_pilot.init() 接入)
  • 自动识别:哪个项目?哪个功能模块?哪个 Prompt ?哪个模型?哪个环境?
  • 数据发到自部署的 Docker Dashboard 上,实时看成本总览、归因下钻、趋势图
    [/ol]
    关键设计原则:
  • 开源 MIT ,数据不出自己服务器
  • SDK 只上报 Token 数量和模型元数据,不碰 API Key 和业务内容
  • 接入不影响业务,异步非阻塞,异常降级不报错
  • Docker Compose 一键部署,无需外部依赖

    现在 MVP 还没做完(预计 5 周),但我心里一直没底,想先来问问大家:
    [ol]
  • 这个痛点真实吗?你们团队真的不知道 LLM API 的钱花哪了?还是说其实有办法管?
  • 如果知道有这么个开源工具,你愿意在自己项目里接入吗?顾虑是什么?性能?隐私?接入成本?
  • 市面上有没有类似定位的工具? Langfuse 我知道有成本追踪但只是子功能,Datadog 太大太重,还有其他竞品吗?
  • 对于「让开发者一眼看穿 API 账单」这件事,你觉得值多少钱?如果后续有商业版(智能降本建议等),会愿意付费吗?
    [/ol]
    无论踩还是赞,都欢迎来聊聊。创业方向偏了 5 度,5 个月后就差了十万八千里,想听听大家的真实声音。

    成本, 归因, 模型

  • MENGKE   
    先说结论:伪需求
    1. 各大 AI 后台统计已经很详细了
    2. 没几家变态公司能拿着账单问 token 花在了哪
    wu00   
    有的有的,一定要碰隐私才有市场;
    因为隐私这一块大厂不敢做,但是使用方管理层很想要!  
    比如 token 都花在哪了,有没有私用,采纳率多少,提效了多少,最好能直接生成 PPT

    Tink   
    肯定是有需求的,能精确到某个项目的某个模块,那可 tql
    383394544   
    我最近可能有这个需求(新项目要统计成本),正在想能不能将诊断信息塞进 OpenRouter 的 metamask 里。这个自建模块感觉太重
    383394544   
    @383394544 是 metadata 哈哈哈,钱包用多了打得太顺手了。
    afstyle   
    我司是各买各的,然后每个月统一报销,报的多了去问下报销人,自然知道哪里用的比较多了
    zhonghao01   
    不是伪需求。 有的公司是统一一个买 token ,然后自己内部中转。 中转的接口是公司网络可用。并且能够自由管理每个员工可用额度,做了什么,顺便分析你做的自己的项目还是公司的项目。
    wu00   
    有的,一般如果是采购的 Teams 版本都会有吧。
    比如说阿里的 Qoder 有这个功能,可以分析到员工具体使用在了那个代码仓库,每天的生成比例、采纳率。这还只是前几天点进去的时候看了一眼,还没有具体研究。
    您需要登录后才可以回帖 登录 | 立即注册

    返回顶部