速度,国产厂家官方模型致命的问题

查看 129|回复 20
huaweii   
我光速冲进来吃瓜,吃了个空气🤣
kokutou   
豆包和千问砸钱推广,kimi 的负载应该没那么高吧
sullevy   
还好就买了一个月,下个月不会买 minimax ,还不如 glm
bitmin   
minimax 对比 glm 不就是 tps 速度优势吗? minimax 如果速度比 glm 慢那真不用玩了
我还以为 minimax 会比 glm 速度快几倍,考虑想买个玩玩
chenluo0429   
tps 这个玩意相关因素比较多,模型架构,部署架构,实际投入的硬件资源。
国产模型大部分 tps 的优先级低,先天架构就不足,快不起来。加上现在都处于高负载状态,能维持可用性和长上下文就已经资源耗尽了,tps 完全顾不上。
对于 agent 来说,tps 真的非常重要,在我看来甚至高于长上下文。上下文超过 200K 后边际效用就很低了,而对等的 tps 最起码要到 100 才用的舒服。
defaw   
现在的 glm 甚至能和 cursor composer 一个速度,限购之后变得很快了。
aikilan
OP
  
@defaw 明天搞来试试
aikilan
OP
  
@chenluo0429 确实,长上下文目前来说除了加速我 token 的消耗,收益完全不成正比,不如新开任务来的实在,还是更在乎速度的
catazshadow   
制裁的效果
yangxin0   
质量也非常差
您需要登录后才可以回帖 登录 | 立即注册

返回顶部