先说缺点 😅: [ol]慢:服务部署在美东,500ms+ 毫秒的检索;建立索引依然很慢,每条记录 500ms+ 的插入;插入索引不支持并发;索引大小被限制在 4MB ,大约 500 条记录;无法删除单条记录; [/ol] 优点: [ol]目前免费:整个套解决方案最贵的应该是 OpenAI Embeddings 的费用;查询的可伸缩性能应该还可以; [/ol] 适用场景: [ol]ChatWithPDF/PPT 之类的应用,单篇文章检索;候选条目在 500 或者以下的推荐,具体 DEMO 可以查看项目首页: https://closevector.getmegaportal.com/ [/ol] 使用方法: https://closevector-docs.getmegaportal.com/docs/tutorial 规划: [ol]建立索引本地化,加快索引速度;想办法讲索引大小的限制提升至 100MB 级别; [/ol] 题外话: 最近经济形势确实不佳,外部机会有限,只能忍受 996 的工作环境。虽然想在 LLMs 这个浪潮中做些小项目,但是时间不允许。共勉。