向客户提问与智能体构建成功率高度相关
在模拟客户独占 20–25 项需求上下文的任务中,未提问的开发智能体得分为 5%,提一个问题的得分为 15%,提两个问题的得分为 25%,依此类推——这表明客户访谈能带来直接回报。
支持这项说法
超-𝜏-基准(Hyper-𝜏-bench):评估能构建智能体的智能体
它们并未访谈客户。对于客户独占 20–25 项需求上下文的任务,开发者最多仅提出 4 个问题。提问能直接带来收益:在参考智能体(由工程师构建)得分为 95–100% 的任务中,未提问的构建结果得分为 5%,提问 1 次得分为 15%,提问 2 次得分为 25%,依此类推。
原始摘录
They don’t interview the client. Developers only asked four questions at most for tasks where the client had sole context for 20-25 requirements. Asking pays off directly. For tasks where reference agents (built by an engineer) scored 95–100% — the builds that asked zero questions scored 5%, one question 15%, two questions 25%, and so on.