与缓存相关的改动使冷缓存未命中减少 20%
与缓存相关的改动使冷缓存未命中减少了 20%。作者将工具和系统指令保留给极少变化的内容,然后将更多易变的设置移至缓存边界之外,放入一条“phantom user message”中。
支持这项说法
为更长的 agent 运行提升 token 效率 · Cursor
这些变更使冷缓存未命中率下降了20%。
原始摘录
These changes reduced the rate of cold cache misses by 20%.