让知识彼此相连
知识图谱
沿着人物与判断，回到原始证据。
1 位人物 · 1 个来源 · 1 条观点
放回语境
RE-Bench AI智能体评估方法论
选择一条判断，追溯到它所在的原始对话。
RE-Bench 利用真实场景下的机器学习工程任务评估 AI 智能体，并以人类表现为基准
等分区块用于阅读定位，不表示排名或权重。
当前 1–1 / 共 1 条判断 · 按来源日期由新到旧
当前判断
RE-Bench 利用真实场景下的机器学习工程任务评估 AI 智能体，并以人类表现为基准
RE-Bench 在 7 个开放式的机器学习研究与工程环境上评估前沿 AI 智能体，每个环境均由评分函数、初始解和参考解定义，且均可在 8 块或更少的 H100 GPU 上运行。该基准包含来自 61 位不同人类专家共 71 次、每次持续八小时的尝试数据：人类在 82% 的尝试中取得了非零分数，在 24% 的尝试中达到或超过了强参考解水平。
这些是个人表达的观点，并非共识度量。原始资料保持其原始语言。
支持这项说法
RE-Bench：在贴近现实的机器学习研究与工程环境中，对比评测前沿 AI 智能体与人类专家的表现。共包含 7 个富有挑战性、开放式的机器学习研究与工程环境。
原始摘录
RE-Bench : evaluate frontier AI agents on realistic ML research-engineering envs against human experts. 7 challenging, open-ended ML research-engineering environments.
上下文
每个环境 =（评分函数，初始解，参考解）；每个环境均可在最多 8 块 H100 GPU 上运行。示例包括：优化 GPU 内核、开展缩放律（scaling-law）实验、修复嵌入表示、微调 GPT-2 以完成问答任务等。数据涵盖 61 位不同人类专家共计 71 次 8 小时尝试。人类专家在 82% 的 8 小时尝试中取得非零分数；其中 24% 达到或超越强参考解水平。表现最优的 AI 智能体在 2 小时时间预算下的得分是人类的 4 倍，但人类在更长预算下展现出更优的边际收益，并在 8 小时与 32 小时设置下反超智能体。
原始上下文
Each environment = (scoring function, starting solution, reference solution); each can be run with 8 or fewer H100 GPUs. Examples: optimize a kernel, run a scaling-law experiment, fix an embedding, fine-tune GPT-2 for QA, etc. Includes data from 71 eight-hour attempts by 61 distinct human experts. Human experts achieved non-zero score in 82% of 8-hour attempts; 24% matched or exceeded strong reference solutions. Best AI agents scored 4× higher than humans at a 2-hour budget, but humans had better returns to longer budgets and exceeded agents at 8-hour and 32-hour settings.
日期表示来源发表时间，不代表观点发生变化。 缺少审核合格译文的内容保留原文。