企业内部搭满足 10 个人开发用的开源模型,得投多少钱?

查看 187|回复 34
PopRain   
看了以上说法,token 要涨价,现在在圈地比较便宜😓
loryyang   
想啥呢,要是能这么搞,还有人买 token 嘛……从性价比来讲,肯定是不行的
当然你一定要说数据隐私问题,那……得加钱
coefu   
glm5.1 Q8 模型大小 811G ,10 个人并发的 1M context kvcache ,算 Q4 压缩,一个人大概留 100G ,因为 agent 回反复读 context ,那么 10 个人就得 1T 。所以你要准备 2T 左右 gmem 的环境,目前能买到的 H20 单卡 96G ,起码准备 20 张,单机 8 卡,准备 3 台机器。
h20 96G. ebay 上目前大概 8w 一张,卡就要 160w ,算 40w 能搞到 3 台服务器,外加网络。200w 起步,还要自己搞环境,另外电费另算。
Solix   
电费是大头啊,兄弟,你试试一个月不得烧你个几十万
haoofun   
划不来的吧,白天都上班抢算力,晚上又没人用,我觉得这个账目前算不过来
sn0wdr1am   
目前看起来,本地部署,远远没有性价比。
除非预算不限,隐私无限。
Co1e   
真的贵,因为我是卖 it 硬件产品的,不如买 token 了
limusi   
给你个市场的参考..
我今天代购了 5 个 Premium, 正儿八经国内公司公对公, 开票和签合同一套下来, 6500/月;
这个是原汁原味的 claude team 账号
换言之 10 个人就是 1 万 3  
50 万永久其实可以, 但是明智的老板, 会选择月付, 因为 AI 发展日新月异..
与其有优惠半价绑死 1 年, 还不如短租保持灵活,随时能跳槽
NathanInMac   
@limusi 还不是违法。。
limusi   
@NathanInMac 不至于, 吧
您需要登录后才可以回帖 登录 | 立即注册

返回顶部