[技术干货分享] 从双路 4090 到 8GB 老 Mac,我的 LLM 部署折腾日记

查看 4|回复 0
作者:unmayx   
分享一篇最近写的 LLM 部署与应用经历,涵盖了:
🚀 硬件升级:从单卡 4090 48G 到双卡配置,为了跑 GPT-OSS 120B 专门组了 TRX40+TR 3960X 平台(虽然被 AI 坑了买贵了😅)
⚡ 框架对比:从 Ollama 转向 vLLM ,双卡张量并行实测接近 190 TPS ,生产级框架确实强
🧠 模型实测:
  • OpenAI GPT-OSS 120B:开源上游水平,速度与效果兼具
  • DeepSeek 1M 上下文:直接上传整个博客 search.json ,简历生成、人格分析、代码重构全搞定
  • LFM2.5-1.2B-Thinking:8GB 内存 MacBook 也能 60+ TPS 运行,12 亿参数带思维链,算法进步惊人

    💡 感悟:AI 软件优化潜力巨大,有限硬件也能期待无限智能
    原文详细记录了配置踩坑、性能数据和实际应用体验,对 LLM 部署感兴趣的朋友欢迎交流讨论!
    https://mabbs.github.io/2026/03/01/llm3.html
  • 您需要登录后才可以回帖 登录 | 立即注册

    返回顶部