路由决策属于 agent harness
路由决策应属于 agent harness,而非通用网关,因为选择合适的模型需要领域和任务上下文,而 harness 已经汇集了这些上下文,网关通常则不具备。
支持这项说法
如何在 Harness 中构建模型路由器
我们认为路由决策应属于 agent harness,而非通用网关,因为选择合适的模型需要 harness 已经汇集而网关通常缺乏的相同领域和任务上下文。
原始摘录
We believe that routing decision belongs in the agent harness , not a generic gateway, because choosing the right model requires the same domain and task context the harness already assembles and that a gateway typically lacks.
上下文
超过某个临界点后,你会遇到收益递减:能力更强的模型几乎不会提升质量,而成本和延迟却持续攀升。优秀的 agent 具备模型-harness-任务契合度:针对特定任务使用合适的模型与合适的上下文。模型路由器会为每项任务挑选该模型。
原始上下文
Past a certain point, you hit diminishing returns: a more capable model adds little quality while cost and latency keep climbing. A good agent has model-harness-task fit : the right model with the right context for a given task. A model router picks that model for each task.