RE-Bench 利用真实场景下的机器学习工程任务评估 AI 智能体，并以人类表现为基准
RE-Bench 在 7 个开放式的机器学习研究与工程环境上评估前沿 AI 智能体，每个环境均由评分函数、初始解和参考解定义，且均可在 8 块或更少的 H100 GPU 上运行。该基准包含来自 61 位不同人类专家共 71 次、每次持续八小时的尝试数据：人类在 82% 的尝试中取得了非零分数，在 24% 的尝试中达到或超过了强参考解水平。
支持这项说法
RE-Bench：在贴近现实的机器学习研究与工程环境中，对比评测前沿 AI 智能体与人类专家的表现。共包含 7 个富有挑战性、开放式的机器学习研究与工程环境。
原始摘录
RE-Bench : evaluate frontier AI agents on realistic ML research-engineering envs against human experts. 7 challenging, open-ended ML research-engineering environments.
上下文
每个环境 =（评分函数，初始解，参考解）；每个环境均可在最多 8 块 H100 GPU 上运行。示例包括：优化 GPU 内核、开展缩放律（scaling-law）实验、修复嵌入表示、微调 GPT-2 以完成问答任务等。数据涵盖 61 位不同人类专家共计 71 次 8 小时尝试。人类专家在 82% 的 8 小时尝试中取得非零分数；其中 24% 达到或超越强参考解水平。表现最优的 AI 智能体在 2 小时时间预算下的得分是人类的 4 倍，但人类在更长预算下展现出更优的边际收益，并在 8 小时与 32 小时设置下反超智能体。
原始上下文
Each environment = (scoring function, starting solution, reference solution); each can be run with 8 or fewer H100 GPUs. Examples: optimize a kernel, run a scaling-law experiment, fix an embedding, fine-tune GPT-2 for QA, etc. Includes data from 71 eight-hour attempts by 61 distinct human experts. Human experts achieved non-zero score in 82% of 8-hour attempts; 24% matched or exceeded strong reference solutions. Best AI agents scored 4× higher than humans at a 2-hour budget, but humans had better returns to longer budgets and exceeded agents at 8-hour and 32-hour settings.