Yoo趣儿 › Geek › 程序员 › 使用 llama3:70b 本地化部署， 100 人左右的并发，大概 ...

使用 llama3:70b 本地化部署， 100 人左右的并发，大概需要多少块 4090 才能满足？

查看 99|回复 3

作者：leeum 发布时间：2024-4-29 11:07:00

有没有实操过本地化部署开源 llm 的老哥？这个需要大概多少的算力？

timeance 2024-4-29 11:07:37

你先测一下大概每秒有多少 token ，然后换算一下就大概知道了

hi2hi 2024-4-29 11:08:36

这，为什么还想着用 4090 呢？找论坛看看，用专业卡跑

levn 2024-4-29 11:09:20

云 gpu 服务器租一天测试一下不就知道了

AD1

热门主题

热门板块

问与答分享发现分享创造奇思妙想分享邀请码商业推广优惠信息 Python PHP Java JavaScript Node.js Go语言 C++HTML

公告

返回顶部