nafyi.

EIN THEMA, IM KONTEXT

AI evaluation and generalization

Judgments in this source concerning AI evaluation and generalization. Entdecke 1 Standpunkt mit Belegen aus 1 Quelle.

1 Personen · 1 Quellen · 1 geäußerte Meinungen

Inhalt aktualisiert:

Zusammenhänge erkunden ↗

Perspektiven im Überblick

Erkunden Sie nach Person. Wählen Sie zwei oder drei zum Vergleich aus.

1 Personen · 1 Quellen · 1 geäußerte Meinungen

Lilian Weng

Evolved harnesses generalize beyond their original benchmarks

A harness evolved on Terminal-Bench-2 transferred without further evolution to SWE-bench-verified, indicating it encodes general engineering experience in harness components rather than benchmark-specific optimization.

Harness Engineering for Self-Improvement

Stützende Belege

Lilian Weng·

Harness Engineering for Self-Improvement

Originalauszug

On Terminal-Bench-2, AHE achieved better than human-designed harness (OpenCode, Terminus-2, Codex) except for Hard tier and a few other self-evolve baselines (ACE, TF-GRPO). The same frozen harness, without further evolving, transfers to SWE-bench-verified, indicating that the evolved harness is able to encode engineering experience into harness components rather than doing benchmark-specific optimization.
Original öffnen · Absatz 85 (wird in einem neuen Tab geöffnet)Originaltextquelle (wird in einem neuen Tab geöffnet)
Erkenntnisse teilenDiese Aussage überprüfen

Dies sind individuelle Standpunkte, keine Messung einer Übereinstimmung. Das Quellenmaterial bleibt in der Originalsprache.

Ursprüngliche Gespräche1

ARTIKEL

Harness Engineering for Self-Improvement

Lil'Log