有没有大神会用gpu跑llama3 8b的

查看 66|回复 6
作者:lilyhcn1   
lilyhcn1
OP
  

Eureka 发表于 2024-5-8 15:37
在用rs2000(8H16G)跑llama3 8B,加了各种prompt后,生成速度5.74tokens/s,速度还不错。
显卡可以试着多 ...

找了挺多教程,没看懂。
是不是不能在windows平台下用,
windows平台好像只能用cpu跑,这个太慢了。
c782464295   
那么多教程,就是下载python装环境,下载模型和demo跑
acpp   
直接用ollama简单点。
Eureka   
   
在用rs2000(8H16G)跑llama3 8B,加了各种prompt后,生成速度5.74tokens/s,速度还不错。
显卡可以试着多加几张,跑个llama3 70B,ollama支持多卡的,总显存有50G这样子就可以非常流畅的运行了。
isxuew   
ollama,windows下也可以用显卡,直接run就完事了
Eureka   

lilyhcn1 发表于 2024-5-8 19:07
找了挺多教程,没看懂。
是不是不能在windows平台下用,
windows平台好像只能用cpu跑,这个太慢了。 ...

https://ollama.com/
windows上官网下载安装,然后打开cmd运行
[ol]ollama run llama3[/ol]复制代码
会自动下载几个G的模型,下载完然后就可以用了
GPU我是N卡,什么都没配置,直接就用上GPU了。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部