Yoo趣儿

Yoo趣儿 › Geek › 程序员 › ai 小白请教，大模型必须要 gpu 服务器吗，单纯推理是不 ...

ai 小白请教，大模型必须要 gpu 服务器吗，单纯推理是不是 cpu 就可以了。

查看 90|回复 13
作者：hoodjannn   
纯 ai 小白，我想做一个特定类型的 AI ，类似于给人翻译或者聊天这种。
想了想，可不可以在自己的本地的高配置 GPU 电脑上训练好模型，再把大模型丢到阿里云的 ECS 服务器上。我理解只是使用模型并不需要 gpu 吧，普通的 1c2g 的服务器是不是也可以，之后要迭代大模型，再次本地训练上传上去。
搜了一圈资料，都说需要 gpu ，大家都是线上一边训练一遍推理的吗
cbythe434   
直接调用 api
lance07   
模型推理计算量也很大的, 不用 gpu 会非常慢, 而且...你 2g 内存连模型都装不下
hoodjannn
OP
  
@lance07 以前弄那种人脸识别的 tensorflow 模型我直接用的这种服务器，甚至有几个业务为了省成本直接放到了用户端。现在的大模型是运行都有很大计算量吗
raycool   
现在的大模型和以前的人脸识别，算力那是天壤之别。
lance07   
@hoodjannn 人脸那种很小的, 现在你描述的能翻译聊天的大模型推理也要十几个 G 显存的(不用量化啥的, 而且用了也不会有数量级上变化)
hoodjannn
OP
  
@lance07 好的👌🏻 多谢告知
vishun   
现在的开源大模型都是已经训练好的了，但部署使用仍然要 gpu ，不然的话显卡也不会卖这么贵。
CannedFishsan   
纯推理的话也需要很大的 GPU 硬件需求的……纯 CPU 的话要么就直接花钱调 API （最佳方案），要么试试轻量化后的小参数 LLM （我怀疑可行性）
GeekGao   
对于参数量级超过 7b 的模型，只有高性能 gpu 才能发挥出推理性能啊。cpu 目前还是不太行。
下一页 »
12下一页
返回列表
您需要登录后才可以回帖 登录 | 立即注册

AD1

热门主题

热门板块

问与答分享发现分享创造奇思妙想分享邀请码商业推广优惠信息PythonPHPJavaJavaScriptNode.jsGo语言C++HTML

公告

标签|小黑屋|Yoo趣儿

GMT+8, 2025-1-31 19:59 , Processed in 0.011384 second(s), 12 queries , Gzip On, MemCached On.

Powered by Discuz! X3.2

The happiest thing in the world is to strive for an ideal.

返回顶部