nafyi.
Temas / AI research

Opinión atribuida · No es una cita textual

Distillation depends on a realistic prompt distribution

John Schulman says a realistic prompt distribution can help a distilled model match a larger model. He contrasts this with easily verifiable tasks, which may produce strong benchmark results but weaker performance across a broader distribution.

John Schulman·Publicado

Detrás de la opinión

Las traducciones son para facilitar la lectura; los extractos originales siguen siendo la source evidence.

AI researchers debate how close we are to recursive self-improvement

Extracto original

If you have a really good realistic prompt distribution for distillation, you can match the big model really well. But if you only have this distribution of easily verifiable tasks, then you can match the big model on all the benchmarks, but you do worse on this broader distribution

Este fragmento no incluye más contexto. Consulta la conversación original.

Abrir el original · 26:48 (se abre en una pestaña nueva)Ver página de la fuente

Abrir el episodio y buscar el momento 26:48.

La hora de inicio proviene de la transcripción proporcionada. La alineación de la reproducción está pendiente de revisión.