Koboldcpp 1.65 零基础 人人可玩的本地大模型 不管啥显卡 甚至没显卡

查看 72|回复 9
作者:wxs513   
本软件突出一个简单上手 不需要部署一堆环境 敲一堆代码 开箱就能用 N卡最好,AMD/英特尔/苹果的显卡也都支持 要是都没有,CPU也跑
功能 1、当简化版本地GPT用  2、角色扮演(AI女友神马的) 3、文字冒险(设定一个世界,你在里面冒险)
先放极简一图流操作方法


QQ图片20240517140352.png (34.84 KB, 下载次数: 0)
下载附件
2024-5-17 14:04 上传

下面开始基本介绍各步骤
3个版本
koboldcpp_cu12 新的N卡可用,提高了速度
koboldcpp 老N卡、其它品牌显卡用这个
要是啥显卡都没有,koboldcpp_nocuda CPU跑
直接运行exe
Presets里分老N卡,N卡,A卡,英特尔显卡,苹果显卡,CPU等不同模式选择
"



QQ图片20240517105700.png (48.22 KB, 下载次数: 0)
下载附件
2024-5-17 10:57 上传

红框处加载下载的模型
模型我的链接里随便放了俩,大家可以去huggingface.co下载,国内镜像HF-Mirror - Huggingface 镜像站
模型选择的话既然是零基础,就搜GGUF,这类的都能简单粗暴直接跑,(GGML类也支持)体量上按自己的硬件来选择
模型体量和显存大概的关系
  • LLAMA 3B 至少需要 4GB RAM
  • LLAMA 7B 至少需要 8GB RAM
  • LLAMA 13B 至少需要 16GB RAM
  • LLAMA 30B 至少需要 32GB RAM
  • LLAMA 65B 至少需要 64GB RAM

    选择自己喜欢的模型,比如无内容限制啦之类的巴拉巴拉。。。下载


    QQ图片20240517111731.png (464.22 KB, 下载次数: 0)
    下载附件
    2024-5-17 11:17 上传



    QQ图片20240517111604.png (134.25 KB, 下载次数: 0)
    下载附件
    2024-5-17 11:16 上传


    加载之后点右下角Launch启动
    稍等片刻,会弹出一个网页,就可以食用了


    QQ图片20240517112412.png (116.45 KB, 下载次数: 0)
    下载附件
    2024-5-17 11:24 上传



    QQ图片20240517112923.png (58.31 KB, 下载次数: 0)
    下载附件
    2024-5-17 11:29 上传



    QQ截图20240517112403.jpg (132.72 KB, 下载次数: 0)
    下载附件
    2024-5-17 11:24 上传

    基础功能可以聊天模式、故事模式、冒险模式、指令模式之类的。
    这个软件后面可以接酒馆(SillyTavern)之类的应用。直接调用Koboldcpp的API接口就行


    QQ图片20240517113748.png (96.2 KB, 下载次数: 0)
    下载附件
    2024-5-17 11:38 上传

    界面全解释


    271990404-7845b69e-b5a5-4de5-8fb5-0d39b68b441d.png (341.23 KB, 下载次数: 0)
    下载附件
    2024-5-17 11:28 上传

    项目地址
    LostRuins/koboldcpp:使用 KoboldAI 的 UI 运行各种 GGML 和 GGUF 模型的简单单文件方法 (github.com)
    详细WIKI
    Home · LostRuins/koboldcpp Wiki (github.com)
    下载地址(含随便放的俩模型)
    链接:https://pan.baidu.com/s/1_QPBu54MBTRDJ2y4rOMLbA?pwd=co1q
    提取码:co1q

    下载次数, 模型

  • mhzhe   

    我这个普通办公电脑,就只能看看了。
    700529yrf   

    学习学习
    歆风   

    没N卡,观望观望
    xuexiba   

    有N卡,下载试试,谢谢楼主。
    yinuo2012   

    没有N卡,怎么办?
    woaixueix123   

    这个真的不错,学习学习
    wxs513
    OP
      


    yinuo2012 发表于 2024-5-17 12:04
    没有N卡,怎么办?

    更新了介绍文字 本身支持其他显卡
    andyfky   

    我的电脑也就只能看看了。
    无限循环   

    多谢分享!!!
    您需要登录后才可以回帖 登录 | 立即注册

    返回顶部