拿到接口就赶紧部署测试,实测下来比OpenAI的接口好用不少。
可用性方面,解决了国内无法访问OpenAI的问题,Azure的接口国内可以直接连接而且稳定。
速度方面,我用LA的机器做测试,Azure的OpenAI是原本OpenAI响应速度的1.5倍。OpenAI地处SF,从LA访问理应更快一些,而我Azure的服务放在了Texas反而访问起来快,证明Azure对商用OpenAI开放了更高的资源权限。这一点在Azure开放的Playground也能体会到,Playground上面生成文字流的速度肉眼可见比ChatGPT快多了。
服务位置方面,现在Azure的OpenAI只有3个地方可以选,分别是美国中南部,东部和欧洲西部。从国内测试来看,ping都大于200ms,只能选个离得最近的中南部,希望以后增加部署在亚洲机房来跑模型把。
并发数方面,免费版的OpenAI已经限制了1分钟3条,我已经绑卡付费。实测绑卡下的OpenAI和Azure OpenAI的并发数都很高(连续测了一个小时没测出上限)。
现在准备部署一台Texas的Azure VPS,把重复请求的延迟拉到最低。后面有新的数据再上来补充。