顺便一提,家用 NAS 是一种成本很低的东西。不追求产量低的精致成品 NAS ,只是随便搭一下的话,弄台旧电脑装个系统就起来了,笔记本插 USB 硬盘也不是不行。 自建小型 LLM 设备那就是用很大的初期投入换很低的性能或质量。 现在家用级别你配置拉满 128GB 统一内存 AMD AI 平台也就跑 70B-120B 规模的模型。 差不多相当于一个 Gemini 3.0 Flash 的水平,但后者现在的运行速度是本地部署的 10 倍以上了。
现在家用级别你配置拉满 128GB 统一内存 AMD AI 平台也就跑 70B-120B 规模的模型。 家用 NAS 的 AMD CPU 怎么能跑得起来 70-120B 的模型呢? 我笔记本 GTX 1060 6GB 独立显存,40GB RAM ,ollama 本地跑 8b 的模型都勉强啊,只能说能用。速度明显感觉卡慢