Slack 报告称,在离线评估中结果更优且输出 token 更少
在 Anthropic 发布的一则客户证言中,Slack 公司的柯蒂斯·艾伦(Curtis Allen)表示,在几乎全部离线 Slackbot 评估任务中(未更改任何提示词),Sonnet 5.5 表现优于 Sonnet 5,所用步骤更少,输出 token 数量减少约 14%。
支持这项说法
Anthropic 关于 Claude Sonnet 5.5 的客户证言
“在不更改任何提示词的前提下,Claude Sonnet 5.5 在几乎全部离线 Slackbot 评估任务中的表现均优于 Sonnet 5,所用步骤更少,输出 token 数量减少约 14%。当用户向 Slackbot 下达任务时,质量与速度最为关键,而 Sonnet 5.5 使 Slackbot 能够更快地为用户提供更优的结果。”
原始摘录
“Without changing any of our prompts, Claude Sonnet 5.5 did better than Sonnet 5 on almost all of our offline Slackbot evals, in fewer steps and with about 14% fewer output tokens. When someone gives Slackbot a task, quality and speed are what matter most, and Sonnet 5.5 allows Slackbot to deliver better outcomes for users, faster.”
分享观点验证此主张