ollama 0.2.8 手把手使用开源AI大模型

查看 160|回复 10
作者:bob666zxj   
Ollama 是一个用于部署和管理机器学习模型的工具,旨在简化模型的本地和云端部署过程。它提供了一套工具和接口,帮助开发者和数据科学家更容易地将机器学习模型集成到生产环境中。在github上有超过79.9k的star
以下是 Ollama 的一些关键特性和功能:
主要功能
[ol]

  • 模型管理:
  • 模型注册和版本控制: 允许用户注册和管理多个版本的模型,便于更新和回滚。
  • 模型存储: 提供存储和访问模型的机制,支持本地存储和云存储。

  • 部署选项:
  • 本地部署: 支持在本地环境中部署模型,方便开发和测试。
  • 云端部署: 支持在云端部署,集成与云服务提供商的合作,如 AWS、GCP 等。

  • API 和 SDK:
  • API 接口: 提供 RESTful API 接口,方便与其他应用集成。
  • SDK 支持: 提供 Python 等多种语言的 SDK,简化模型调用和集成。

  • 扩展性和集成:
  • 插件系统: 允许通过插件扩展功能,如监控、日志记录等。
  • 集成第三方工具: 支持与监控工具、数据处理管道等第三方工具的集成。

  • 监控和日志:
  • 实时监控: 提供实时监控模型性能和资源使用的功能。
  • 日志记录: 记录模型的使用情况、错误日志等,有助于调试和优化。

    [/ol]
    应用场景
  • 开发和测试: 在开发阶段,使用 Ollama 部署模型进行测试,确保模型在实际使用环境中的表现。
  • 生产部署: 在生产环境中部署经过训练和验证的模型,支持大规模用户访问和请求处理。
  • 模型管理: 在机器学习生命周期中,管理模型的不同版本和更新,确保模型的持续改进。

    优势
  • 简化部署流程: 通过提供统一的接口和工具,减少了模型部署的复杂性。
  • 灵活性和可扩展性: 支持多种部署环境和集成选项,适应不同的业务需求。
  • 易用性: 提供清晰的文档和用户界面,使得即使是非专业人员也能轻松使用。

    1.下载 安装ollama
    百度网盘:https://pan.baidu.com/s/17RrMHC4VOw-sFtk8xl8Gtg?pwd=1vxc
    ollama网站:https://ollama.com/download
    github:https://github.com/ollama/ollama/releases
    1.点击Install

    2.安装后窗口自动关闭
    3.按WIN+R键,打开“运行”对话框,输入 cmd ,按回车键
    在命令提示符中输入 ollama -v 出现版本号,安装成功

    4.修改模型安装位置
    按WIN+R键,打开“运行”对话框,输入 sysdm.cpl ,按回车键
    按顺序点击 高级->环境变量->新建
    在变量名中输入 OLLAMA_MODELS
    在变量值中输入 存放模型的位置 我这里放在 D盘的ollama文件夹下
    继续按顺序点击 确定->确定->确定
    让后关闭所有的命令提示符

    2.下载模型
    模型网站:https://ollama.com/library
    [ol]
  • 打开需要下载的模型

    [/ol]
    2.选择模型(以通义千问为例)

    这里的 "b" 是 "billion"(十亿)的缩写,因此这些数字代表了模型参数的数量级。1b的意思是该模型拥有约 10 亿个参数。
    3.复制命令,并在命令提示符中粘贴,ollama会自动下载模型   如果需要安装UI页面的可以先去第3板块,下载模型比较慢


    4.当出现success时,代表模型下载完成,可以使用了。

    3.安装ollama-webui(可选)
    如果你觉得每次在命令提示符中使用,没有UI页面,可以安装ollama-webui
    1.下载Docker
    Doker:https://docs.docker.com/desktop/install/windows-install/(可能有些小伙伴打不开)
    百度网盘:https://pan.baidu.com/s/146BfhBLTkItM5x9qWu4fbg?pwd=474u

    2.安装Docker

    3.注意!!非常重要,特别是对不看提示一直点的人说
    这里会重启你的电脑!请保存好你的重要文件!
    这里会重启你的电脑!请保存好你的重要文件!
    这里会重启你的电脑!请保存好你的重要文件!
    重要的事情说三遍!
    ![这里会重启你的电脑!请保存好你的重要文件!](https://gitcode.net/BOB20091009/picture/-/raw/master/11.png)
    4.在命令提示符中输入 docker -v 出现版本号,安装成功

    5.打开Docker 更换国内镜像源
    按顺序点击 齿轮->Docker Engine
    在输入框中粘贴镜像源
    镜像源:
    {
      "registry-mirrors": [
        "https://82m9ar63.mirror.aliyuncs.com",
        "http://hub-mirror.c.163.com",
        "https://docker.mirrors.ustc.edu.cn"
      ],
      "builder": {
        "gc": {
          "defaultKeepStorage": "20GB",
          "enabled": true
        }
      },
      "experimental": false,
      "features": {
        "buildkit": true
      }
    }

    点击 Apply & restart
    6.安装ollama-webui
    github:https://github.com/open-webui/open-webui
    往下,找到 Installation with Default Configuration

    复制命令,到命令提示符,粘贴
    ```
    docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
    ```

    命令执行完成,安装完成

    7.使用ollama-webui
    在浏览器打开http://localhost:3000/
    输入邮箱和密码,随便填

    8.语言改为中文
    按顺序点击 头像->Settings

    在红框位置展开,往下拉,改成中文

    4.ollama+python(可选)
    1.打开python 如何下载python这里就不演示了
    2.在命令提示符中输入 pip install ollama

    只要出现 successful 表示安装成功,前面的错误不用理会
    3.测试代码
    import ollama
    response = ollama.chat(model='qwen2:1.5b', messages=[
      {
        'role': 'user',
        'content': '你好',
      },
    ])
    print(response['message']['content'])
    更新ollama
    1.鼠标左键小箭头
    2.鼠标右键羊驼
    3.鼠标左键 Restart to update

    更多ollama命令
    可用命令:
    [table]
    [tr]
    [td]命令[/td]
    [td]解释[/td]
    [/tr]
    [tr]
    [td]serve

    模型, 命令

  • 東方大叔   

    请问怎样从命令行 0.2.8 升级到 0.3.0 版本呢?
    東方大叔   

    教程很详细,感谢大佬分享
    辛苦啦                  
    szghds   

    安装好OLLAMA之后,根本不需要安装open-webui和Docker,直接用浏览器插件page assist连接OLLAMA。何必这么折腾
    beamstyle   

    跟GPT3.5和4相比,效果怎样?
    从凝   

    0.3.0已经出来了
    12138uu   

    好东西。。
    ot1686   

    感谢大佬分享开源 AI 大模型!期待探索其强大功能,造福更多人。
    taylorgg   

    docker desktop打不开是怎么回事
    bob666zxj
    OP
      


    taylorgg 发表于 2024-7-27 09:31
    docker desktop打不开是怎么回事

    可以发一下截图吗
    您需要登录后才可以回帖 登录 | 立即注册

    返回顶部