Eureka 发表于 2024-5-8 15:37 在用rs2000（8H16G）跑llama3 8B，加了各种prompt后，生成速度5.74tokens/s，速度还不错。 显卡可以试着多 ... 找了挺多教程，没看懂。 是不是不能在windows平台下用， windows平台好像只能用cpu跑，这个太慢了。
在用rs2000（8H16G）跑llama3 8B，加了各种prompt后，生成速度5.74tokens/s，速度还不错。 显卡可以试着多加几张，跑个llama3 70B，ollama支持多卡的，总显存有50G这样子就可以非常流畅的运行了。
lilyhcn1 发表于 2024-5-8 19:07 找了挺多教程，没看懂。 是不是不能在windows平台下用， windows平台好像只能用cpu跑，这个太慢了。 ... https://ollama.com/ windows上官网下载安装，然后打开cmd运行 [ol]ollama run llama3[/ol]复制代码 会自动下载几个G的模型，下载完然后就可以用了 GPU我是N卡，什么都没配置，直接就用上GPU了。
