智普 coding plan 的模型是缩水的吗,还是单独微调过的?

查看 66|回复 6
作者:asuka321   
起因是我发现有个问题明明上下文已经够非常充足了,但 glm5 一直答错,我一开始以为是 prompt 的写法问题,突发奇想去官网测了一下,发现官网的 glm 测试一定是对的,那我就认为是参数问题,temperature 什么的和官网不一致导致的。于是就写了个脚本测各种参数下的情况,结果发现都不对
(正确答案是 21day )

然后我把脚本的 baseurl 改成官方 api 接口,脚本居然全对了

这是何意味呢??
脚本在这,可以自行测测
https://pastebin.com/g68ma5ER

模型, 参数, API

kiffer   
霍,这个有意思
cherryas   
起码疯狂量化是肯定的
colorfulee   
bigmodel 我怎么手机号码登录获取验证码的时候一直系统失败,联系客服。搭楼问下有遇到相同问题的么?何解。。。
superkkk   
原精度推理太亏了,给你卖 token 的很可能是用 fp8 量化或者更离谱的量化跑的。现在 ai 算力价格都疯了一样,只能掺劣质 token 进去
heimoshuiyu   
首先 coding 接口 glm-5 会被自动路由到 glm-5.1 ,而 API 的不会。
其次,我测试了 API 接口和 coding plan 上的 glm-5.1 ,各种答案都有,考虑到你关闭了思考,输出随机性很大,我倾向于认为这是请求打到了不同集群导致+glm-5.1 本身的随机结果
heimoshuiyu   
哈基流动可以输出一致的答案,但在 test 3 中随机性仍很大
您需要登录后才可以回帖 登录 | 立即注册

返回顶部