Yoo趣儿 › Geek › 程序员 › ai 小白请教，大模型必须要 gpu 服务器吗，单纯推理是不 ...

ai 小白请教，大模型必须要 gpu 服务器吗，单纯推理是不是 cpu 就可以了。

查看 89|回复 13

Donaldo 2024-12-2 17:09:35

@lance07 #5 没数量级的变化，但是很可能不量化塞不下，量化了塞得下。。

gaobh 2024-12-2 17:10:23

主要是看并发，只有你自己用，CPU 也可以，但是给用户用，服务器不得冒烟了

HetFrame 2024-12-2 17:11:08

买 api ，才试了阿里百炼的通义模型，有些内容也不是很快

OP

2024-12-2 17:12:05

感谢楼上各位大佬回复。总结了一下，不知道说得对不对，个人开发者最好的方案是使用现成的 ai 大模型服务调 api ，感觉有点推翻了我这个小白之前的认知。那我理解，大家的 ai 业务应用本质上不是一模一样吗？用的都是一样的公用的现成大模型，我在一个爱情聊天机器人里问健康食谱也是可以。

12 / 2 页

返回顶部