碎碎念:什么时候硬件+llm 的发展能让码农像部署 nas 一样部署一个家用 llm

查看 144|回复 20
jackOff   
@yukinotech 这个好像有缺陷,无法升级,只能不停的买新的硬件
dajj   
直接调接口就行了,何必非得本地运行模型。 如果你担心隐私,找个不要你隐私的,比如 cloudflare
raysonlu   
这么说吧,80 年前第一台计算机有差不多 4 个教室大,而当时的计算机甚至还不能玩贪吃蛇和扫雷。照这么看还是有盼头的。
gpt5   
或许 ai 更像电力,我们没必要每个人都开一个发电厂。
ffLoveJava   
nas 的普及得益于 前几年存储的白菜价 以及监管的铁拳。 要是能把国产芯片的算力匹敌英伟达 a 再加上 llm 被限制到全是敏感词 那铁定 llm paas 产品大兴
JoshTheLegend   
有的有的,四台 “8+512” 的 Mac Studio 串在一起的小推车了解一下
xclimbing   
只要出了 AI 专用的芯片,这些都不是事儿。现在是在发展期,就跟手机刚推出来那会儿类似。将来这玩意儿就是一个基础设备和基础服务。就跟你现在买个 VPS 需要的存储服务或者数据库服务差不多。而且,我觉得时间不会太长,10 年应该就差不多了。
clemente   
@xclimbing asic 芯片这玩意 基本是年抛 你会买?
过三年基本模型就跑不了了, 要么 kernel 报错 要么慢的要死 变成鸡肋
也就是数据中心的甲方会有乙方技术支持优化
to c 的玩家还是算了
clemente   
@xclimbing 今年是 Llm, 过几年是 vlm , 再过几年还要支持世界模型
xziar   
家用 NAS 能比得上数据中心的存储服务器吗?不要对本地部署开源模型有什么不切实际的幻想……
硬件再发展,软件(模型)也会跟着吃掉这部分提升的。
比如现在头部开源模型 500B 以上的规模,要保持智力得 256G 的内存,怎么想也做不到大众化,如果要提升速度,还得上 256G 的显存。
但是放低要求的话,最近的 qwen3.5 35b-a3b ,q4 量化(去掉视觉部分)只要 4G 显存+家用级内存就能跑差不多 20t/s ,这就跟家用 NAS 的定位比较接近了。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部