图床资源有点慢,见谅,也可以直接去我原博客看比较流畅。https://www.cnblogs.com/LaiYun/p/18695293
前言:
这几天看到很多DeepSeek的热点新闻(火的不行呀),去了解下这个AI,然后自己试了下本地部署,发现挺简单的,所以记录一下。
本地化部署的好处:不用排队,响应快(需要电脑资源支持哦),不怕DeepSeek服务关闭了导致无法使用。
官网地址:https://ollama.com/
ChatBox AI:是一款用于接入各种大模型的客户端,使在大模型AI时方便、美观。就是一个UI客户端,用起来更方便快捷。
官网地址:https://chatboxai.app/zh
首先先下载Ollama,进入官网,点击Download
这里选择自己电脑或者服务器的系统,我的是Windows系统就选择了Windows端下载
这里有些朋友可能会遇到无法下载的问题,我刚开始用IDM下载也卡在90%就一直下不下来,这里提供我下载好的软件包给大家
百度网盘链接:https://pan.baidu.com/s/1kFH3wUKLdorENBMV57O6CQ
提取码:kbls
下载好了就是安装了,安装过程我就不截图了,注意Ollama默认安装是在C盘的,以及下载的大模型数据也是默认在C盘,所以一定要注意自己C盘的存储空间够用。
安装好Ollama后Windows+R,输入CMD进入命令窗口
输入:ollama -v 有版本号就说明安装好了,安装好了会自动启动Ollama,在任务栏右下角有个羊驼的图标,这里可以设置好开机启动,这样电脑开机后可以直接使用大模型。
这里是选择DeepSeek蒸馏后的密集模型,注意这里的模型要根据自己的电脑性能来下载,如果资源不足,下载了也会跑不起来,我这里选择的是第一个最小的模型。对应的资源和模型我放个图,大家自己对应下
感兴趣的自己看看这个对应的模型所需的性能:https://apxml.com/posts/gpu-requirements-deepseek-r1
复制Ollama选中模型对应下载命令,如图所示
复制命令到命令窗
然后回车开始下载,这里略过下载过程,这里是下载完成后的截图,下载完成后就可以提问了,没想到这么简单吧,哈哈哈
选择Ollama API后,然后选择我们下载好的DeepSeek模型,这里如果大家还有其他模型也可以选择对应的模型。
到了这里,我们进行提问,可能会遇到报错
这里我们点击我的电脑,右键属性-->高级系统设置-->环境变量
新建两个环境变量
OLLAMA_HOST:0.0.0.0
OLLAMA_ORIGING:*
设置完环境变量后退出一下Ollama,然后重新启动下Ollama
重启Ollama
到这里就完成全部本地化部署了。
由于这里我已经删除了,我就不附图了,大家安装文字说明来基本就可以完成了 打开CMD命令窗口,输入Ollama list 这样就会显示你安装了的所有大模型资源包,复制对应的资源包名称
再输入:ollama rm deepseek-r1:1.5b
语法:ollama rm 模型资源包名称
这样大模型资源包就删除了,然后Ollama可以在Windows系统程序那里找到正常卸载。
如果需要在外网使用,大家可以查下如何做内外网穿透。
还有一个在线调用DeepSeek API的教程,就是在ChatBox这里选择DeepSeek,然后放入自己的DeepSeek API的Key就可以了,现在注册DeepSeek有免费500万token送,但仅限一个月内使用。
ChatBox还可以创建自己的智能体,输入智能体名称和人物设定就可以啦。
其实还可以语音交流提问的,但这个就要用到Docker容器了,我没测试这方面,具体方式大家可以搜搜哈,也比较简单的。
大家可以看看我的原博客,顺便求个关注,谢谢啦!https://www.cnblogs.com/LaiYun/p/18695293
撒花完结