RAG 难以让人满意啊

查看 78|回复 8
作者:archxm   

  • 文档是日常工作的运维知识点。
  • 比如设置 ssh 免密登陆、设置 sudo 权限、git 的常用操作、等等。
  • 暂时用这些文档来,后续想把公司业务流程放进去。
  • 先后试了 obsidian 和 anythingllm ,都不能达到目的。
  • 我想要的是:我输入一个关键词,它能找到相关文档。
  • 当然,这是初步需求。
  • 后续需求,大概是,进行适当联想和总结。
  • 现状是,比如我让它给我找 ssh 内容,压根就不准。
  • 我想,现在这些 ai 产品,大概率就是骗投资的。

  • 类似秦国时期的商鞅变法,先做宣传:
  • 谁把这根柱子从西门搬到东门,谁就得 10 根金条。
  • 这种蠢事,就很容易得到宣传,先把气氛搞起来。
  • 我认为, 如今的 ai ,或者说:大模型,确实是可以提升生产力的。

  • 但是,这玩意盈利模式,不清晰。
  • 结局就是,普遍做做样子,东西搞出来,投资人满意,赏你个三瓜两枣。
  • 但是实际使用,很难用。
  • 最近公司不太忙,待会我找个 python 库,再搭一个看看。

  • YanSeven   
    agent 可能更合适一点了现在,譬如检索。顶尖的 agent ,譬如 claude code ,codex 已经很精确了。底层也不复杂,不需要什么向量数据库。
    fennu2333   
    你的需求似乎也不复杂,不想用太多 token 的话向量数据库混合索引的简单 naive rag ,愿意用 token 的话好好组织文件结构用 agentic 搜索应该问题都不大
    archxm
    OP
      
    @YanSeven 我用的本地模型,试了 qwen 和 llama ,感觉 llama 稍微好点。但整体还是难以让人满意。
    比如,我文档里,有 logrotate.md ,介绍了日志压缩的一些知识点,logrotate 的一些配置。我在问答里,要求找日志压缩,它告诉我说我库里没这方面的内容。
    archxm
    OP
      
    @fennu2333 需求当然简单,但这是初始需求,先探索一下,后续会把业务文档放进去,那个就量大了。
    文档不用能外面的 ai ,数据不能外传,所以用的本地模型,暂时用的小模型,比如 3b 这种。
    其实我这种需求,直接用 es 做索引不就行了吗,试一试 LLM 是因为,这不感觉它挺强的吗,必然要尝试新技术。
    sunzhuo   
    notebooklm 试了吗?我用过完全没有幻觉。
    meteor957   
    数据最好是结构化的,chunk 切分合理。我发现召回的 chunk 和文档整体的关联也很困难,比如人物的第一次出场是第几章。
    Actrace   
    试试 vxai.link ?
    clemente   
    rag 是为了省成本的用法.
    您需要登录后才可以回帖 登录 | 立即注册

    返回顶部