碎碎念:什么时候硬件+llm 的发展能让码农像部署 nas 一样部署一个家用 llm

查看 142|回复 20
作者:YanSeven   
有生之年有可能吗。
1. 硬件价格打下来。
2. LLM 开源模型能媲美顶尖模型
sagnitude   
现在就可以啊。mac studio m3 ultra 四台联机,2T 内存,轻松部署 kimi k2.5 ,你要是日常用的话 mac mini 部署个小模型就行了
stinkytofux   
完全有可能, 而且这个需求会被极大的推动. 因为不想数据泄露, 不管是个人还是公司, 都有私有部署大模型的需求.
MomoBD   
@sagnitude #1 我觉得主要还得等小模型的性能上来了以后才行吧。现在小模型的性能有点一言难尽。大模型本地部署的话算力需求又太高了
msg7086   
顶尖模型需要非常高的成本来训练
如果顶尖模型开源,谁来付高昂的训练费用
没有资金的支持,模型怎么保持在顶尖位置
得等到了模型瓶颈期了,很难提高了,没有发展了,泡沫破裂了,大批公司倒闭了,那有机会。
msg7086   
顺便一提,家用 NAS 是一种成本很低的东西。不追求产量低的精致成品 NAS ,只是随便搭一下的话,弄台旧电脑装个系统就起来了,笔记本插 USB 硬盘也不是不行。
自建小型 LLM 设备那就是用很大的初期投入换很低的性能或质量。
现在家用级别你配置拉满 128GB 统一内存 AMD AI 平台也就跑 70B-120B 规模的模型。
差不多相当于一个 Gemini 3.0 Flash 的水平,但后者现在的运行速度是本地部署的 10 倍以上了。
bigmomo   
恐怕得十年起步
yukinotech   
把模型刻在内存里,把模型推理结构刻到芯片里,已经有了
unusualcat   
现在家用级别你配置拉满 128GB 统一内存 AMD AI 平台也就跑 70B-120B 规模的模型。
家用 NAS 的 AMD CPU 怎么能跑得起来 70-120B 的模型呢?
我笔记本 GTX 1060 6GB 独立显存,40GB RAM ,ollama 本地跑 8b 的模型都勉强啊,只能说能用。速度明显感觉卡慢
lujiaosama   
@yukinotech 专用硬件?相当于一个固化版本的本地大模型? 如果价格足够便宜确实是值得考虑的.
您需要登录后才可以回帖 登录 | 立即注册

返回顶部