打算配一台主机用于跑大模型玩,大佬们有推荐的配置吗

查看 50|回复 6
作者:shoumu   
虽然是搞互联网的,但是对硬件这块确实没啥研究,所以想请大佬们帮忙推荐下配置,目前在京东上看了朴赛装的机器,券后 27849 ,不知道是否有坑,求指教
52boobs   
如果你不太确定想怎么玩大模型,其实可以花点小钱租台顶配机器跑跑感觉有点意思的项目,玩一段时间后你自然就知道怎么选择了。
mythabc   
本地只能跑跑推理和 7B lora 训练。更大规模的训练可以选择租 A100
我的配置是:
GPU:4090D 虽然是 dog 版,但是目前 4090D 的性价比是比 4090 高的。
板 U 内存:B550I + 5800X + 2 *32G 以前攒的,跑大模型对 CPU 要求不高,内存要注意有一些步骤,比如 lora 合并、量化会使用内存,如果内存太小可能就跑不起来,64G 是需要的。
电源散热机箱:根据自己需求配把。
主要成本还是显卡。
forgetlight   
主要是在于你想要怎么大模型,我预估是做 inference ,不太可能 fine-tuning 。这样的话主要是根据你需要跑的模型大小是否能放进显存。最好是提前调研下需要在什么精度下跑什么模型。
mythabc   
顺带一提:我比较极限,把以上配置塞进了 SSUPD 里,一个 15L 体积的机箱。
v2bili   
@mythabc 你这个配置可以 AI 出图 吗,2K 的图一个小时出 30 张行嘛?
rus4db   
超微 7048GR + 4×2080ti(22GB) FYI
您需要登录后才可以回帖 登录 | 立即注册

返回顶部