Yoo趣儿 › 探索分享 › 问与答 › 4060 本地部署 LLM 求推荐？

4060 本地部署 LLM 求推荐？

查看 93|回复 1

作者：KIRAYOMATO 发布时间：2024-9-20 19:02:07

不训练，就用来自己推理玩玩，4060 能跑的起来的模型哪个效果最好？

dyexlzc 2024-9-20 19:02:50

2060s 跑 llama3.1 ，qwen2 7b 都是 20+ token/s ，你的 4060 应该速度更快，13B 以下的都可以玩玩（显存够就可以）
显存不够用内存跑也可以。

AD1

热门主题

热门板块

问与答分享发现分享创造奇思妙想分享邀请码商业推广优惠信息 Python PHP Java JavaScript Node.js Go语言 C++HTML

公告

返回顶部