求助: 如何满足大模型生成的地点结果的准确性和速度性

查看 96|回复 13
作者:HeyCaptainJack   
我的场景是: 让 LLM 输出某个城市的几个推荐的景点的位置,同时需要保证这些地点是真实存在的,纯粹通过 Prompt 约束,明显是不行的。
现在我通过 Gpt-4o 的 Structured Output ,对其生成结果逐个进行真实性查询,倒是能达到效果,但是缺点是:Structured Output 没法实现 Stream 的方式输出,导致结果要超过 10s 才出现
求助:如何既能保持真实性又能满足 stream 输出呢?
gaobh   
接入地图 API 来判断真实度,大模型谈真实本来就是相悖的
HeyCaptainJack
OP
  
@gaobh 嗯,目前确实是通过地图 API 来判断的,就是这样速度就慢了很多
vevlins   
为什么不前置给个景点的知识库,或者对输出结果做缓存,你对于某个城市的输出结果不总是一致的是吗
forgottencoast   
@HeyCaptainJack
全国的景点一共没多少个,全收集起来,用不着地图 API 吧。
HeyCaptainJack
OP
  
@vevlins RAG 这块代码,我没具体实操过,请问配置好知识库之后,能 100%按知识库的推荐来输出吗
HeyCaptainJack
OP
  
@forgottencoast 对于 5A, 4A 景点啥的,这些数据能找到,但是比如小县城,就没有这些,不知道数据源要从哪获取?
forgottencoast   
@HeyCaptainJack
怎么可能没有,大众点评,携程,马蜂窝,几乎没有你找不到的景点。
定期维护即可。
HeyCaptainJack
OP
  
@forgottencoast 嗯,是的,这里面数据很多,不过只能爬过来自己维护了
forgottencoast   
@HeyCaptainJack
他们可能会有付费的 api 。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部