有什么高性价比的开源大模型体验和生产部署服务?

查看 37|回复 3
作者:wencan   
之前玩 8b 左右的,在电脑上用 llama.cpp 跑,还流畅。
然后越玩越大,35b 、70b 、120b
要么直接跑不起来,要么几十分钟生成
要求除了能跑各个知名的开源大模型,比如 qwen2 ,还要能跑 cohere 之类稍冷门的
因为后面可能要生产部署,最好得是国内的。
体验和生产部署分开也行。
目前看,微调的可能行不大。不需要支持微调或者自定义。简单地说:有 api 调就行。
不知道 huggingface space pro 、colab(pro)、openrouter 之类能否满足需求?
还是说需要 vps 型的?
wencan
OP
  
另外有时生产环境可能有信息安全的要求。考虑到信息安全,估计得自己部署了,有什么高性价比的解决方案?
bkdlee   
模型越来越大,只能通过硬件解决。
我用的是 ollama 加 AnythingLLM
wencan
OP
  
@bkdlee 那么,有什么高性价比的硬件?
您需要登录后才可以回帖 登录 | 立即注册

返回顶部