话题 / KernelBench GPU内核评估

观点转述

KernelBench 衡量 LLM 生成 GPU 内核的正确性与执行速度

KernelBench 通过 250 个 PyTorch 任务评估大语言模型(LLM)生成 GPU 内核的能力,核心指标为 fast_p——即生成的内核中既正确又快于基线内核的比例。

观点背后的信息

译文仅辅助阅读;核查观点请以原始摘录为准。

用于自我改进的 Harness 工程

KernelBench:评估所生成核函数的正确性与执行速度。包含250个PyTorch任务,用于评测大语言模型(LLM)能否编写出既快速又正确的核函数。

原始摘录
KernelBench : evaluate correctness and speed for generated GPU kernels. 250 PyTorch tasks to evaluate whether LLM can write fast and correct kernels.
上下文

评估指标 fast_p = 生成核函数中既正确、又快于基线版本的比例。

原始上下文

The evaluation metric fast_p = the percentage of generated kernels that are correct and faster than baseline.