只要出了 AI 专用的芯片,这些都不是事儿。现在是在发展期,就跟手机刚推出来那会儿类似。将来这玩意儿就是一个基础设备和基础服务。就跟你现在买个 VPS 需要的存储服务或者数据库服务差不多。而且,我觉得时间不会太长,10 年应该就差不多了。
@xclimbing asic 芯片这玩意 基本是年抛 你会买? 过三年基本模型就跑不了了, 要么 kernel 报错 要么慢的要死 变成鸡肋 也就是数据中心的甲方会有乙方技术支持优化 to c 的玩家还是算了
家用 NAS 能比得上数据中心的存储服务器吗?不要对本地部署开源模型有什么不切实际的幻想…… 硬件再发展,软件(模型)也会跟着吃掉这部分提升的。 比如现在头部开源模型 500B 以上的规模,要保持智力得 256G 的内存,怎么想也做不到大众化,如果要提升速度,还得上 256G 的显存。 但是放低要求的话,最近的 qwen3.5 35b-a3b ,q4 量化(去掉视觉部分)只要 4G 显存+家用级内存就能跑差不多 20t/s ,这就跟家用 NAS 的定位比较接近了。