CPU运行vicuna开源的本地部署AI【搬运】

查看 124|回复 4
作者:lnbuffpkpk3868   
VICUNA是一个开源GPT项目,
对比最新一代的chat gpt4.0, 已经达到了它90%的能力。
并且,我们可以把它安装在自己的电脑上!
第1个是图片不需要下载,234个文件下载就可以了,第5个是视频教程。
当然对CPU要求还是有点高的。
笔记本
cpu测试 i7-11800H-16G内存,速度一般,一个一个字运行。
第二个文件高达7.5GB,请大家耐心等待下载。
链接:https://share.weiyun.com/9L1ZKodh 密码:8qigy4


~_%TCB45`8)RQQ`{72~0745.png (179.16 KB, 下载次数: 0)
下载附件
2023-5-2 21:17 上传

我已经把文件做好了,大家直接一键使用就可以了。
直接点击vicuna.bat打开就可以使用了
如果是vicuna文件,在后面增加.bat


_PN_WCG3K]JD~22VH4XZ[[O.png (71.41 KB, 下载次数: 0)
下载附件
2023-5-2 21:17 上传

打开的速度,是看本地硬盘的速度。


][email protected] (163.69 KB, 下载次数: 0)
下载附件
2023-5-2 21:28 上传

大家也看到了,GPU没有输出,这次输出的是CPU。
本次使用的是Windows 11 专业版


`]4WU29~DX54DL74BBD}GQ1.png (150.62 KB, 下载次数: 0)
下载附件
2023-5-2 21:29 上传

---------------------------------------------------


AC5B74020B064110952167757CBE6705.jpg (135.71 KB, 下载次数: 0)
下载附件
2023-5-2 21:22 上传

https://github.com/ggerganov/llama.cpp
https://huggingface.co/eachadea/legacy-ggml-vicuna-13b-4bit
vicuna.bat文件:
title llama.cpp
:start
main -i --interactive-first -r "### Human:" --temp 0 -c 2048 -n -1 --ignore-eos --repeat_penalty 1.2 --instruct -m ggml-vicuna-13b-1.1-q4_0_2.bin
pause
goto start
----------------------------------------------------
ggml-vicuna-13b-1.1-q4_0_2.bin   就是文件的路径


)R407S{G%CJ[(Q[71_6G4EW.png (70.42 KB, 下载次数: 0)
下载附件
2023-5-2 21:37 上传

如果下载其它文件,修改这个文件名就行了
-----------------------------------------------------
视频教程完整版:
https://wwcv.lanzouw.com/ioA230syo1ra

下载次数, 文件

buy360   

没用,自问自答,不停地 ,需要修复
halloseven   

感谢楼主分享
zdmboot   

有这么强吗???试用一下先......
zhuzhuxia9527   

真的假的,有用过的吗
您需要登录后才可以回帖 登录 | 立即注册

返回顶部