DAS URSPRÜNGLICHE GESPRÄCH

AI researchers debate how close we are to recursive self-improvement

Dwarkesh Podcast · 11. Sept. 2026 · 1:37:01

John Schulman discusses uncertainty about generalization, improving experimental methods, and the role of realistic prompt distributions in model distillation.

John Schulman

Herausgeber-Audio öffnen

Dwarkesh Podcast

Auf einen Blick

Generalization is difficult to predict[1]Unterstützendes Moment lesen
Research methods may have substantial room to improve[2]Unterstützendes Moment lesen
Distillation depends on a realistic prompt distribution[3]Unterstützendes Moment lesen

Schlüsselmomente3

Kurze, zitierte Textstellen mit Kontext zur Überprüfung. Das vollständige Gespräch bleibt beim Herausgeber.

9:42

AI research

Generalization is difficult to predict

Originalauszug

The whole field relies a lot on generalization and it’s very hard to predict when you’re going to get generalization, or when you’re going to get some kind of out-of-distribution generalization

John Schulman·11. Sept. 2026

Dieser Auszug enthält keinen weiteren Kontext. Lesen Sie das Originalgespräch.

11:34

AI research

Research methods may have substantial room to improve

Originalauszug

If you think hard enough, you probably could have expected some of these things beforehand. There is probably some very clever way to do a small-scale experiment that’ll let you build the theory that then will generalize to the large-scale experiment. So I would expect that we’re nowhere near the ceiling of how well you can do research

John Schulman·11. Sept. 2026

Dieser Auszug enthält keinen weiteren Kontext. Lesen Sie das Originalgespräch.

26:48

AI research

Distillation depends on a realistic prompt distribution

Originalauszug

If you have a really good realistic prompt distribution for distillation, you can match the big model really well. But if you only have this distribution of easily verifiable tasks, then you can match the big model on all the benchmarks, but you do worse on this broader distribution

John Schulman·11. Sept. 2026

Dieser Auszug enthält keinen weiteren Kontext. Lesen Sie das Originalgespräch.

Quelle & Methodik

Diese Standpunkte sind mit ihren Originalquellen verknüpft. Paraphrasen sind gekennzeichnet und keine wörtlichen Zitate.

Transkript oder Quellenmaterial öffnen Ein Problem melden