好奇 LLM 厂商是怎么给模型定价的

查看 24|回复 2
作者:mingtdlb   
比如输出 1M 要多少钱,那他是怎么算生产 1M 的成本的,电力、硬件、维护

LLM, 定价, 成本

damontian   
应该是计算卡利用率吧,把成本均摊在上面
mhycy   
推理性能都是有数的,并发是可以通过队列控制的,剩下就是每天均摊载荷利用率,用集群成本除一下就知道每 M 价格了,这也是为何延迟越稳定、越低,越难得,因为这是一个队列等待的过程
您需要登录后才可以回帖 登录 | 立即注册

返回顶部