友友们,关于根据知识库回答或者检索的有什么好的开源项目吗

查看 27|回复 1
作者:nmyxzh   
希望用于给用户回答问题,检索出信息,类似回答下答案,给他下来源哪儿篇指导手册之类的,要私有化,不依赖外部 api 。
目前已知的基于 Embedding+RAG+LLM 的类似工作流的系统有 Dify Langchain fastgpt 之类的,但是这些下游 LLM 服务消耗的资源太大了,看起来简单的 LLM 模型都得一个 16G 显卡,这个成本有点高
现在有这些问题
[ol]
  • 有什么好用的 LLM 模型可以开源商用的,成本低的,或者显卡要求低些的模型吗
  • 有没有开源的项目设备要求低点,比如只要 CPU 就行的,类似那种基于简单词向量,计算编辑距离那种的,融合了很多策略那种,成套的开源服务吗,类似百度古老的 AnyQ 一样的
  • 我的检索关键词有问题吗,有什么好的检索关键词推荐吗
    [/ol]
    可以找到的相关帖子
    https://cn./t/999563
  • fredweili   
    llama3 8b 资源要求不高,m1 pro 16g 就能跑了,效果也还行
    您需要登录后才可以回帖 登录 | 立即注册

    返回顶部