各位的 m4 设备都陆续到货了,能否跑一下 ollama/llama.cpp ,看看大模型这块的算力究竟比 m1 max m2 ultra , 提升有多少?

查看 108|回复 10
作者:beginor   
跑不太大的模型, 比如 Llama 3.1 8B
https://huggingface.co/lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF/blob/main/Meta-Llama-3.1-8B-Instruct-Q8_0.gguf
这个模型 16G 内存的丐版也能跑起来。
berchtesgaden   
https://www.bilibili.com/video/BV1PdDSYjEEW
234ygg   
本地跑的全是弱智模型。。做个翻译都嫌蠢
第三方 gpt api 还不够便宜?
Tubbs   
@234ygg 并不是这样的,体验一下 qwen2.5 32b 的量化模型,本地可以跑,评测水平和 gpt-4o-mini 差不多水准了,日常用起来感觉也是不错的
lrigi   
@234ygg llama3.2 弱智?你太逗了,跟不上时代了已经
slayer   
@berchtesgaden #1 这个不错,现在 mac 应该在 lm studio 下跑了转换的 mlx 模型,貌似 ollama 还不支持 mlx 格式的。
Gotchaaa   
我 M1 pro 都能跑
piero66   
8b 太蠢了
shinecurve   
原本计划买 M4 Max + 128G 跑 ollama 的,后来从 llama 70b 的能力、算力成本和实际应用场景考虑我最终放弃了,感觉还需在在等两年,我认为目前最好的选择还是 ChatGPT 。
希望对你能有些帮助。
234ygg   
我已经懒得试了,最后一次跑本地模型是几个月前 gemini27b ,远不及 gpt3.5 ,勉强能干个不涉及较多专业词汇的简单翻译,功耗在我的 4090 上高达 250W 。。但凡问点其他问题,我都不说回答的对不对了,甚至不能持续稳定保持中文回答。再早几个月的 llama3 更是一坨。
llama3.2 11b 充其量也就那点水平,合理推断也是个弱智
gpt4o 的 apt 都那么便宜了,更不要说 3.5 了,不要骗我浪费电 听显卡电感箫叫了
您需要登录后才可以回帖 登录 | 立即注册

返回顶部