求助,我笔记本的 4060 跑 语言模型很困难吗?

查看 13|回复 0
作者:kevan   
笔记本是泰坦 17 4060 ,cpu 14700hx 20 核 28 线程,内存 16gb ;
用的软件 LM STDUIO ,语言模型是 B 站的:Index-1.9B-Chat-GGUF 16bit 4GB 版本。
加载模型勾选了 GPU 执行起来,测试提问观察、笔记本 CPU GPU 都是满负荷运行。
但是软件输出的流信息很慢,。模型换成 4bit 1GB 版本后响应飞快。
有人知道是机器不行吗?
您需要登录后才可以回帖 登录 | 立即注册

返回顶部