nafyi.
Thèmes / AI research

Point de vue attribué · Pas une citation directe

Distillation depends on a realistic prompt distribution

John Schulman says a realistic prompt distribution can help a distilled model match a larger model. He contrasts this with easily verifiable tasks, which may produce strong benchmark results but weaker performance across a broader distribution.

John Schulman·Publié

Derrière ce point de vue

Les traductions sont destinées à la lecture ; les extraits originaux restent la source evidence.

AI researchers debate how close we are to recursive self-improvement

Extrait original

If you have a really good realistic prompt distribution for distillation, you can match the big model really well. But if you only have this distribution of easily verifiable tasks, then you can match the big model on all the benchmarks, but you do worse on this broader distribution

Cet extrait ne contient pas de contexte supplémentaire. Consultez la conversation originale.

Ouvrir l’original · 26:48 (s’ouvre dans un nouvel onglet)Voir la page source

Ouvrir l’épisode et rechercher à 26:48.

L’heure de début provient de la transcription fournie. L’alignement avec la lecture est en attente de révision.