想求一个 4090 的配置单， 还有就是基于这个配置单，如何配置一个本地化运行的大模型呢？ 感觉有点无从下手啊，需要学习哪些？目前的目标是机器装起来，本地化大模型配置起来，自己稳定的运行一下。 不知道会不会像黑苹果那样认硬件认系统啥的，求教了，感谢大家。 配置, 求教, 模型, 本地化
不会认硬件系统，大模型是一个 OS 上的应用程序的任务，当然不会对硬件有要求 深度学习任务，内存最好的显存的两倍或以上，CPU 没有要求，其实想省钱就缩一点，也是能跑的 如果你想保留未来的拓展性，最好选服务器平台支持多个 pcie 通道，因为单张 4090 也只能跑 llama-7b 这种参数最少的大模型，再往上显存就不够了 如果你是想用单张 4090 ，随便买个 4090 的游戏整机的配置都没问题，这种方案 tb 上一搜全都是，对着抄就行了 如果想用多张 4090 的服务器/工作站，可以看下 https://www.autodl.com/machine/list 或者上 tb 看 GPU 服务器的方案，当然 dell 这种大型服务器厂商也有方案的，就是会很贵
Mate 最近开源的 7B 模型，不训练只开发测试最低 10GB 显存，双志强 48 核 CPU 。它之上还有 13B, 70B 模型，所以说没有上限，完全看跑什么模型，大家都在优化降低模型需求，比如 4bit 可以让显存降到 8GB, 转换个格式，换其他引擎跑，还能不依赖 GPU,纯 CPU 跑。以上还只是不训练。
