chatgpt/bingchat 这些大语言模型在进行文字回应的时候都是几个字几个字的往外蹦,这背后的原因是啥?

查看 63|回复 3
作者:MajestySolor   
starrycat   
因为模型是这样工作的。会根据你的输入和已经生成的文字,来推断下面用哪个词语( token )是最合理的,然后不断重复这个步骤。
noe132   
内部工作原理如此( https://baoyu.io/pages/ft/generative-ai),让用户等待全部输出完成时间太长,就用这种实时输出到前端的方式。
airyland   
因为大模型运行一次推断只能推断出下一个字(实际上是 token )
您需要登录后才可以回帖 登录 | 立即注册

返回顶部