中位成本降低 64%,质量无可衡量变化
作者报告称,与此前始终使用顶级前沿模型的基线相比,为 LangChain 的 Open SWE 编码 agent 配备的模型路由器将每个线程的中位成本降低了 64%。他们报告在该比较中质量没有可衡量的变化。
支持这项说法
与我们此前始终使用顶级前沿模型的基线相比,它将每个线程的中位成本降低了 64%,且质量没有可衡量的变化。
原始摘录
Compared to our previous baseline of always using a top-tier frontier model, it cut median cost per thread by 64% with no measurable change in quality.
上下文
我们最近在 LangChain 感受到了这种痛苦,因为我们每月在编码 agent 上的支出开始迅速攀升。听到客户也有同样的担忧后,我们着手为开源编码 agent Open SWE 构建一个有效的模型路由器。本文介绍了我们如何构建该路由器、学到了什么,以及你如何开始在 agent 中构建模型路由。
原始上下文
We felt this pain recently at LangChain as our monthly coding agent spend started to climb rapidly. Hearing the same concern from customers, we set out to build an effective model router for Open SWE , our open source coding agent. This post covers how we built the router, what we learned, and how you can get started building model routing into your agents.