本地化部署专属于自己的DeepSeek R1模型

查看 71|回复 9
作者:风清扬方丈   
  大家新年好呀,年初二给各位拜年啦,祝各位新年身体健康,工作顺利,万事如意,开心快乐每一天!
       图床资源有点慢,见谅,也可以直接去我原博客看比较流畅。https://www.cnblogs.com/LaiYun/p/18695293
  前言
  这几天看到很多DeepSeek的热点新闻(火的不行呀),去了解下这个AI,然后自己试了下本地部署,发现挺简单的,所以记录一下。

  本地化部署的好处:不用排队,响应快(需要电脑资源支持哦),不怕DeepSeek服务关闭了导致无法使用。
  • 准备工具
      Ollama:用于简化大型语言模型(LLM)的本地部署和使用,可以同时支持多个大模型,开发者能够方便地在本地环境中运行和测试不同的语言模型,简单的说就是相当于一个容器。
      官网地址:https://ollama.com/
      ChatBox AI:是一款用于接入各种大模型的客户端,使在大模型AI时方便、美观。就是一个UI客户端,用起来更方便快捷。
      官网地址:https://chatboxai.app/zh
  • 下载安装Ollama
      
    首先先下载Ollama,进入官网,点击Download

      这里选择自己电脑或者服务器的系统,我的是Windows系统就选择了Windows端下载

      这里有些朋友可能会遇到无法下载的问题,我刚开始用IDM下载也卡在90%就一直下不下来,这里提供我下载好的软件包给大家
    百度网盘链接:https://pan.baidu.com/s/1kFH3wUKLdorENBMV57O6CQ
    提取码:kbls
      下载好了就是安装了,安装过程我就不截图了,注意Ollama默认安装是在C盘的,以及下载的大模型数据也是默认在C盘,所以一定要注意自己C盘的存储空间够用
      安装好Ollama后Windows+R,输入CMD进入命令窗口

    输入ollama -v  有版本号就说明安装好了,安装好了会自动启动Ollama,在任务栏右下角有个羊驼的图标,这里可以设置好开机启动,这样电脑开机后可以直接使用大模型。

  • 下载DeepSeek R1模型
      在Ollama官网点击Models,选择deepseek-r1

      这里是选择DeepSeek蒸馏后的密集模型,注意这里的模型要根据自己的电脑性能来下载,如果资源不足,下载了也会跑不起来,我这里选择的是第一个最小的模型。对应的资源和模型我放个图,大家自己对应下

         感兴趣的自己看看这个对应的模型所需的性能:https://apxml.com/posts/gpu-requirements-deepseek-r1

      
      复制Ollama选中模型对应下载命令,如图所示

    复制命令到命令窗

    然后回车开始下载,这里略过下载过程,这里是下载完成后的截图,下载完成后就可以提问了,没想到这么简单吧,哈哈哈
  • 安装ChatBox AI并接入DeepSeek
      下载ChatBox AI,https://chatboxai.app/zh,也可以使用网页版的,这里我下载了客户端,安装过程略过

      选择Ollama API后,然后选择我们下载好的DeepSeek模型,这里如果大家还有其他模型也可以选择对应的模型。

      到了这里,我们进行提问,可能会遇到报错

      这里我们点击我的电脑,右键属性-->高级系统设置-->环境变量


      新建两个环境变量
      OLLAMA_HOST:0.0.0.0
      OLLAMA_ORIGING:*

      设置完环境变量后退出一下Ollama,然后重新启动下Ollama

      重启Ollama


  • 开始提问
      回到ChatBox,到这里就可以开始提问啦,但是我下载的这个最小的模型,貌似知识库有点旧,我问了今天是几月几日,他回答是2023年1月27日,实际今天是2025年1月30日,实际推理能力我没测试,大家可以试试


      到这里就完成全部本地化部署了。
  • 删除大模型资源包
      再讲下如何删除大模型数据包,因为可能有的朋友不听劝或者没注意看模型所需资源要求,导致下载了与自己电脑资源不对应的模型包,电脑无法跑起来。这时候需要删除模型资源包。
      由于这里我已经删除了,我就不附图了,大家安装文字说明来基本就可以完成了  打开CMD命令窗口,输入Ollama list  这样就会显示你安装了的所有大模型资源包,复制对应的资源包名称
      再输入:ollama rm deepseek-r1:1.5b
      语法:ollama rm 模型资源包名称
        这样大模型资源包就删除了,然后Ollama可以在Windows系统程序那里找到正常卸载。
      如果需要在外网使用,大家可以查下如何做内外网穿透。
           还有一个在线调用DeepSeek API的教程,就是在ChatBox这里选择DeepSeek,然后放入自己的DeepSeek API的Key就可以了,现在注册DeepSeek有免费500万token送,但仅限一个月内使用。

      ChatBox还可以创建自己的智能体,输入智能体名称和人物设定就可以啦。


      其实还可以语音交流提问的,但这个就要用到Docker容器了,我没测试这方面,具体方式大家可以搜搜哈,也比较简单的。
      大家可以看看我的原博客,顺便求个关注,谢谢啦!https://www.cnblogs.com/LaiYun/p/18695293
                                                                                               撒花完结   
                                                                         

    模型, 自己的

  • cnzhangyear   

    感谢楼主分享,简单明了的贴子。
    有两个小节奏感觉怪怪的:
    1、贴子上的部分图片墙内和墙外都无法显示,一直转圈,不知道其他朋友是否一样。看了楼主的博客链接,上面的图片都是全部显示的,此小节奏解决。
    2、按照步骤使用了起来,使用同样的问题在app和本地部署端提问,本地端回答的牛头不对马嘴,是不是模型没有选择对,比如要写一道七言绝句,要求其中必须带有指定一个字或者两个字,app选择上深度思考R1用起来很溜;电脑端生成的文字则牛马不相及。
    unpy   
    安装的时候命令行带参数  /DIR=D:\my_path\exe 可以安装到其他分区
    设置环境变量 OLLAMA_MODELS ,值为某个路径(D:\my_path\models),可以把模型文件下载到别的分区
    ruanxiaoqi   
    首先自己的电脑配置到位,才能有流畅的运行。
    dzrgw   
    教学到位,谢谢老师了。
    wgnld   
    这个很牛了,学习
    爱吃鹅肉饭   
    感谢楼主的激情分享
    kevinls   
    感谢分享
    diyiciqq   
    楼主新年好!谢谢楼主的无私分享!
    tjf336   
    感谢分享
    您需要登录后才可以回帖 登录 | 立即注册