起因是我发现有个问题明明上下文已经够非常充足了,但 glm5 一直答错,我一开始以为是 prompt 的写法问题,突发奇想去官网测了一下,发现官网的 glm 测试一定是对的,那我就认为是参数问题,temperature 什么的和官网不一致导致的。于是就写了个脚本测各种参数下的情况,结果发现都不对 (正确答案是 21day ) 然后我把脚本的 baseurl 改成官方 api 接口,脚本居然全对了 这是何意味呢?? 脚本在这,可以自行测测 https://pastebin.com/g68ma5ER 模型, 参数, API
首先 coding 接口 glm-5 会被自动路由到 glm-5.1 ,而 API 的不会。 其次,我测试了 API 接口和 coding plan 上的 glm-5.1 ,各种答案都有,考虑到你关闭了思考,输出随机性很大,我倾向于认为这是请求打到了不同集群导致+glm-5.1 本身的随机结果