本地大模型目前意义大吗?

查看 72|回复 14
作者:wyfig   
现在用 2020 款初代 M1 处理器的 MacBook pro ,算了下也 5 年了,虽然还能用,但是距离苹果的更新日期也只有一两年时间了。 想换一台新的 mac 。  
如果普通的日常开发的话,选择最新的 m5 处理器的 MacBook pro 32G+1T 版本足够我用了。 但是最近两年本地大模型越来越多,范围也越来越广,如果考虑到大模型本地运行,最少可能需要一台 m4 max 处理器的 mac studio 128G+2T 的配置,两者价格直接差了快一倍。
目前有没有在做本地大模型微调等,距离比如用本地大模型写代码以及做一些图片生成、大规模内容处理等事情还有多远,是否值得为后面的四五年准备上一台高配的 mac ?

本地大模型, MacBook, Pro, 配置

wu67   
我就这么说, 你加钱买高配的钱+高功率跑模型产生的电费, 砍下来买标配硬件, 然后去开各种 AI 的会员, 够你爽玩好几年
oed   
搞成人内容有用。
elevioux   
除了隐私或 NSFW 内容可能需要,其它情况不如买 API 了。
beefhotpot   
主要现在大模型更新换代很快,要本地跑效果很好的模型,你上面提到的设备也跑不动,最多跑个量化版,也没什么意思
HENQIGUAI   
有预算可以买,一般 64G 其实就够了,64G 不够的话再大的话就得 128G 也可能不够。
liu731   
4090+96GB RAM 跑不起来 120B ,只能说玩玩。
adov   
现在没有可以搞 nsfw 内容的 api 吗?那看来还是要搞本地啊
evan1   
搞成人内容有用。
其它没用,不如用免费的 grok 、gemini 之类的。
Solix   
本地模型不用 N 卡就是残废,别信说 mac 高配就行了
您需要登录后才可以回帖 登录 | 立即注册

返回顶部