Eureka 发表于 2024-5-8 15:37 在用rs2000(8H16G)跑llama3 8B,加了各种prompt后,生成速度5.74tokens/s,速度还不错。 显卡可以试着多 ... 找了挺多教程,没看懂。 是不是不能在windows平台下用, windows平台好像只能用cpu跑,这个太慢了。
在用rs2000(8H16G)跑llama3 8B,加了各种prompt后,生成速度5.74tokens/s,速度还不错。 显卡可以试着多加几张,跑个llama3 70B,ollama支持多卡的,总显存有50G这样子就可以非常流畅的运行了。
lilyhcn1 发表于 2024-5-8 19:07 找了挺多教程,没看懂。 是不是不能在windows平台下用, windows平台好像只能用cpu跑,这个太慢了。 ... https://ollama.com/ windows上官网下载安装,然后打开cmd运行 [ol]ollama run llama3[/ol]复制代码 会自动下载几个G的模型,下载完然后就可以用了 GPU我是N卡,什么都没配置,直接就用上GPU了。