有经验的 v 友看看,这个 AI 知识库私有化部署的方案行吗,怎么改进

查看 17|回复 2
作者:XinPingQiHe   
背景
客户方为集团公司,有相当的规模。
需求
1.大量企业内部使用的行业规范、行业标准文档,需要以文本格式加入知识库。
2.有会议录音,能自动生成会议纪要(区分讲话人),供办公人员修改及使用。
3.必须私有化部署。
暂定方案
知识库及大模型,使用 ollama + qwen2.5:b14 + AnythingLLM
录音到会议纪要,Whisper ASR
问题
客户也是先咨询咨询,这边也是搭建私有环境,做一些测试。 结果,觉得上传的一批 pdf 文档,查询知识库结果,关键词抓取的不是很满意。Whisper 看过 ,整合到系统,还没用。
目标是先验证整体效果的可行性,再与客户沟通、再做相关的应用对接开发
总体来说,也是一些尝试,不知大家有没有更好的,具备可行性的方案。
zqx0310liubo   
这是 rag 还是直接做的 prompt ,效果不行需要调试把,看上去你们的模型 size 也不大,能换个大点的么?
musi   
目前 RAG 没有做的好的,想做好成本不是一般大,说真的,你要是真能做好数据检索你都可以融波钱直接财富自由了
您需要登录后才可以回帖 登录 | 立即注册

返回顶部