OpenAI 接口访问速度问题

查看 108|回复 4
作者:MarlonFan   
发现使用 stream 模式能非常快的响应结果. 但是如果直接使用 gpt3.5-turbo 模式的话, 每个问题的答案生成需要 20s 左右。 不知道大家有什么好办法么?
目前使用了新加坡机场 和 aws 日本节点, 都非常的慢。

GPT, AWS, openai, stream

charmToby   
就用 Stream 模式就行,很快的,可以了解下 SSE ,很简单的,每次返回一个字,和官网效果一样。
swulling   
总时长是一样的,只是 stream 让你感觉快了而已
cocomiko   
stream 从第一个字到最后一个字也差不多要花 20s 左右
tool2d   
你写代码只能用 stream 模式,用非 stream 实在太慢了。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部