自己对 AI 机器配置这块没有任何研究。。。纯小白。。。 刚好过段时间要休几天年假,打算玩一玩 楼主的电脑是 thinkpad T14 32G 内存款,无 GPU ,貌似跑不了那些开源的 AI 模型 搜索了一下,新人都是推荐苹果的机器,但自己没用过,心里没底
看你跑什么模型,一般 github 安装说明上都会写的。 我的配置是 Windows 平台+Nvidia 4090 ,主要用 WSL 2 最近跑了 Qwen 和 stable diffusion webui 画图都没什么问题的。
如果你想自己研究的话,还是建议要搞一块 4090 。这样 34B-4bit(GPTQ),13B-8bit(GPTQ)和 7B-16bit ,都可以无压力的使用 GPU 加载并推理。如果想玩更大的模型,比如 70B 的模型,那么建议把内存也升到至少 64G 。这样可以使用 CPU 和内存加载 70B-4bit 量化的 GGUF 格式。 此外给你推荐一下我的开源项目,比较符合你的需求,这一个项目支持很多的本地和在线模型,少量图像模型和语音模型: 图像模型支持:OpenDalleV1.1 ,ProteusV0.2 ,SDXL-Lightning ,GhostXL 等 音乐模型支持:facebook musicgen 系列 语音输入输出支持:whisper ,OpenAI 和 Azure 在线语音 https://github.com/smalltong02/keras-llm-robot 如果你想使用知名的开源项目,那么我推荐 LM Studio - 安装简单,可以只使用 CPU+内存做推理。缺点是只支持 GGUF 格式。 Ollama - 同上,缺点在多一个没有漂亮的 GUI 。 text-generation-webui - 这是最知名的项目,几乎所有格式都支持。