不明白为什么很多人用「缓存命中率」作为 agent 的性能评估参数

查看 397|回复 45
Sundayz   
省钱带来的冲击力是很直接的
Rorysky
OP
  
@fredweili agent 要怎么做呢,就是把动态内容尽量滞后,这还需要怎么做,这是最基本正常的开发思维么
xyooyx   
其实 system prompt 算小头,agent 场景里的大头是 history ,每一轮相比上一轮的历史都是重复的,而且缓存命中率直接决定结算单价,最终影响的是完成一件事的成本,大家会用脚投票,所以当然会特别在意。
Rorysky
OP
  
@Tiande 我只是发现这个现象,并对这个现象进行质疑和讨论。我都是面向现象说的,你不能等同于 “别人”,我没有对具体人的评价和质疑,谢谢。
xqk111   
黑人问号?
neteroster   
正确的,本身缓存率就是个和实际工作负载类型强相关的东西,服务端的影响也很大; Harness 只要做好稳定前缀,别像之前某个 harness 在系统提示词开头插当前精确到分钟的时间就行了(虽然现在有些模型的 template 把系统提示词放在最后了)
szdosar   
其实你已经说到部分原因了。
很多时候我们不理解、不明白是因为我们没走到那一步。
鞋子合脚吗?穿过才懂。
Inn0Vat10n   
这有啥难理解的,好比游泳,人的水平当然是核心因素,但是同一个人, 穿 A 牌的泳衣就是游的比 B 牌的快;agent 缓存命中优化是同一个道理, 同样的任务,同样的模型,用 opencode 和 claude code 缓存命中率就是不一样, 换你你用哪一个?
FrankAdler   
因为没什么可吹的了,大差不差的,只能强行说点啥,刚刚还看到一个帖子,说把 agent 装进你的电脑,然后有个唐式对比:
其他 AI 助手工具        XiaoyaoClaw
数据上传到云端,归别人管        本地优先,配置、聊天记录、API 密钥都在你电脑里
我寻思着 hermes openclaw pi 哪个不是本地?
LovingYoung   
赞同,99% 命中的那能是什么好任务……正常用 95% 是合理的,当然模型后端必须尽可能保持 stable prefix 才是合理的
您需要登录后才可以回帖 登录 | 立即注册

返回顶部