请教各位,开源的 AI 模型需要什么样配置的机器?比如图像类啊大语言模型啊语音类啊都想玩玩

查看 73|回复 6
作者:fushall   
自己对 AI 机器配置这块没有任何研究。。。纯小白。。。
刚好过段时间要休几天年假,打算玩一玩
楼主的电脑是 thinkpad T14 32G 内存款,无 GPU ,貌似跑不了那些开源的 AI 模型
搜索了一下,新人都是推荐苹果的机器,但自己没用过,心里没底
goxxoo   
4060 16g 以上的吧, 我这个 1050ti 一张图 30-50 分钟 sd
luchenwei9266   
有用 CPU 的推理的,可以下一个 LM Studio 试试。不过建议还是得搞个大显存 GPU ,有钱上 4090 ,没钱买 2080ti 22G
mmdsun   
看你跑什么模型,一般 github 安装说明上都会写的。
我的配置是 Windows 平台+Nvidia 4090 ,主要用 WSL 2
最近跑了 Qwen 和 stable diffusion webui 画图都没什么问题的。
jimrok   
主要是依赖 N 卡,显存是关键,一个 7B 的模型,大概能塞进 24G 的显存里,再大就装不进去了。
smalltong02   
如果你想自己研究的话,还是建议要搞一块 4090 。这样 34B-4bit(GPTQ),13B-8bit(GPTQ)和 7B-16bit ,都可以无压力的使用 GPU 加载并推理。如果想玩更大的模型,比如 70B 的模型,那么建议把内存也升到至少 64G 。这样可以使用 CPU 和内存加载 70B-4bit 量化的 GGUF 格式。
此外给你推荐一下我的开源项目,比较符合你的需求,这一个项目支持很多的本地和在线模型,少量图像模型和语音模型:
图像模型支持:OpenDalleV1.1 ,ProteusV0.2 ,SDXL-Lightning ,GhostXL 等
音乐模型支持:facebook musicgen 系列
语音输入输出支持:whisper ,OpenAI 和 Azure 在线语音
https://github.com/smalltong02/keras-llm-robot
如果你想使用知名的开源项目,那么我推荐
LM Studio - 安装简单,可以只使用 CPU+内存做推理。缺点是只支持 GGUF 格式。
Ollama - 同上,缺点在多一个没有漂亮的 GUI 。
text-generation-webui - 这是最知名的项目,几乎所有格式都支持。
routiner   
不怕矿渣子的话,3090 也不错的,显存跟 4090 一样是 24G
您需要登录后才可以回帖 登录 | 立即注册

返回顶部