龙虾怎么配本地模型跑

查看 26|回复 3
作者:youshao   
职业菜鸟   
应该可以吧。 那玩意 我看了下没装。  自己搭了个 本地模型。 纯CPU 是真不行。 80核 128G 的  一个会话 CPU 就50% 了。 内存占用倒是不高. 这玩意还是得  显卡跑。
这个同事在用。据说成本还是很高的。 token消耗巨大。
youshao
OP
  

职业菜鸟 发表于 2026-3-10 10:39
应该可以吧。 那玩意 我看了下没装。  自己搭了个 本地模型。 纯CPU 是真不行。 80核 128G 的  一个会话 CP ...

据说一个月要烧1-2K,所以看看本地模型是否靠谱,也不干什么特别重要的东西么。
Musk   
内存,存贮,显卡都有一定的要求
您需要登录后才可以回帖 登录 | 立即注册

返回顶部