nafyi.
Themen / AI research

Zugeordnete Meinung · Kein direktes Zitat

Distillation depends on a realistic prompt distribution

John Schulman says a realistic prompt distribution can help a distilled model match a larger model. He contrasts this with easily verifiable tasks, which may produce strong benchmark results but weaker performance across a broader distribution.

John Schulman·Veröffentlicht

Hinter der geäußerten Meinung

Übersetzungen dienen dem Leseverständnis; die Originalauszüge bleiben die Quellenevidence.

AI researchers debate how close we are to recursive self-improvement

Originalauszug

If you have a really good realistic prompt distribution for distillation, you can match the big model really well. But if you only have this distribution of easily verifiable tasks, then you can match the big model on all the benchmarks, but you do worse on this broader distribution

Dieser Auszug enthält keinen weiteren Kontext. Lesen Sie das Originalgespräch.

Original öffnen · 26:48 (wird in einem neuen Tab geöffnet)Quellenseite anzeigen

Die Episode öffnen und zu 26:48 springen.

Die Startzeit stammt aus dem bereitgestellten Transkript. Die Synchronisierung der Wiedergabe steht noch zur Überprüfung an.