DAS URSPRÜNGLICHE GESPRÄCH

Anton Leicht über KI-Einsatz, wirtschaftliche Umbrüche und Risiken

"The Cognitive Revolution" · · 2:09:42

In diesem Gespräch mit Nathan Labenz diskutiert Anton Leicht autonome KI-Agenten, die Lücke zwischen Fähigkeiten und wirtschaftlichem Einsatz, organisatorischen Wandel, Entwicklungswege für Länder mit niedrigerem Einkommen sowie Szenarien katastrophaler Risiken.

Anton Leicht on AI deployment, economic disruption and risk

Inhalt aktualisiert:

Übersetzungen dienen dem Leseverständnis; die Originalauszüge bleiben die Quellenevidence.

Auf einen Blick

Schlüsselmomente5

Kurze, zitierte Textstellen mit Kontext zur Überprüfung. Das vollständige Gespräch bleibt beim Herausgeber.

KI-Sicherheit

Autonome Agenten traten früher auf als erwartet

Originalauszug

very autonomous, and potentially somewhat malicious or at least misaligned, agents have come much earlier in the capability trajectory than people expected. Relative to what the agents can actually do, they're sort of out of control earlier than people might have thought.

Übersetzung · Nicht die Originalformulierung

sehr autonome und potenziell in gewissem Maße bösartige oder zumindest nicht an menschlichen Zielen ausgerichtete Agenten sind viel früher im Verlauf der Fähigkeitsentwicklung aufgetreten, als die Menschen erwartet hatten. Im Verhältnis zu dem, was die Agenten tatsächlich tun können, geraten sie gewissermaßen früher außer Kontrolle, als man vielleicht gedacht hätte.

Kontext

einem bestimmten, und ich bin ehrlich gesagt mittlerweile nicht einmal mehr sicher, ob die aktuellen Modelle in diesem Bereich nicht vielleicht schon ziemlich gefährlich sind. Ich blicke durch das begrenzte Guckloch, das wir beim OpenFace-Vorfall haben, und mir ist aufgefallen, dass eine der Aufgaben, an denen einer der ersten Agenten, die jemals das Message Board nutzten, arbeitete, etwas mit einer Proteindatenbank zu tun hatte. Das hat mich ziemlich erschreckt, denn ich dachte: Moment mal – das bedeutet, dass diese Bio- und Cyberspezialisten in derselben Umgebung kreuztrainieren, oder zumindest in derselben Umgebung, wenn sie das Message Board haben – sie durchlaufen dieselben Evals, zumindest in einer Art kreuzkontaminierten Weise. Da gibt es Agenten, die ausbrechen. Wir haben Existenzbeweise für Social Engineering in freier Wildbahn gegen echte Menschen. Und ich denke mir einfach: Ich weiß nicht – sollte zu diesem Zeitpunkt irgendjemand zuversichtlich sein, dass sie das nicht können? Die Experten scheinen zuversichtlich zu sein, aber meine Meta-Beobachtung ist, dass die Experten derzeit recht oft überrascht werden. Und deshalb ist es interessant, denn früher reagierten die Leute auf das Bio-Argument damit, dass es viele reale Engpässe gebe – von denen ich nach wie vor glaube, dass sie existieren, was mich etwas weniger besorgt macht als Sie. Und ich glaube, wenn ich mich richtig erinnere, hatte Helen dazu einige gute Antworten für Sie – da lässt sich ein guter Austausch darüber führen, wie integriert die Cloud-Labore sind und wie viel man in der realen Welt tatsächlich tun kann. Ich denke, das gilt sowohl für den Kontrollverlust über Agenten als auch für Missbrauch.

Originaler Kontext

one in particular, and I am honestly not even sure at this point that the current models aren't perhaps quite dangerous in that domain. I squint through the limited peephole we have at the OpenFace incident, and I noticed that one of the tasks one of the earliest agents to ever use the message board was working on was something related to a protein database. That kind of freaked me out, because I was like, wait a second — that means they're cross-training in the same environment, or at least in the same environment when they have the message board, these bio and cyber specialists — they're running these same evals, at least in a kind of cross-contaminated way. You've got agents breaking out. We've got existence proofs of social engineering in the wild against real people. And I'm just like, I don't know — should anyone be confident that they can't do that at this point? The experts seem to be confident, but my meta-observation is the experts seem to be surprised quite often right now. And so it's interesting, because people used to respond to the bio argument by saying, well, there are a lot of real-world bottlenecks — which I do still think exist, which makes me a little less worried than you. And I think, if I remember correctly, Helen had some good responses to you on that — there's a good back-and-forth to be had around how integrated the cloud labs are, how much you can actually do in the real world. I think that applies both to loss of control over agents and to misuse.

KI und die Wirtschaft

Der wirtschaftliche Einsatz hinkt den aktuellen Modellfähigkeiten hinterher

Originalauszug

we have a big lag in terms of deploying even the current level of capabilities to the economy. And I think if we switched all the compute that exists in the West right now to only inference, we'd find economic, productive applications for all the models that would allow us to justify the investment on all the frontier models

Übersetzung · Nicht die Originalformulierung

wir haben einen großen Rückstand bei der Einführung selbst des aktuellen Leistungsniveaus in die Wirtschaft. Und ich glaube, wenn wir sämtliche Rechenkapazität, die es derzeit im Westen gibt, ausschließlich auf Inferenz umstellen würden, fänden wir wirtschaftliche, produktive Anwendungen für alle Modelle, die es uns erlauben würden, die Investitionen in alle Frontier-Modelle zu rechtfertigen

Kontext

Wie sieht es mit dem Aktienmarkt aus? Dazu wollte ich noch eine Nachfrage stellen. Meine aktuelle Theorie ist, dass eine Pause für den Aktienmarkt gar nicht so schlimm wäre, weil die Modelle intelligent genug sind, dass die Nachfrage nicht wirklich durch ihre Fähigkeiten begrenzt ist, sondern durch die menschliche Fähigkeit, sie effektiv einzusetzen. Es spielt also keine große Rolle, ob sie bei Millennium-Preis-Problemen in 10 % oder 30 % der Fälle erfolgreich sind – es geht viel mehr darum: Was kann Bob in der Buchhaltung tun, um die Arbeit von zwei Personen als eine Person zu erledigen? Was denken Sie? Ich glaube, die Bewertungen der Unternehmen – sowohl der nicht börsennotierten als auch der öffentlich gelisteten Unternehmen in der KI-Lieferkette – beruhen wahrscheinlich darauf, dass wir mehr als das tun. Sie sind vermutlich nicht völlig AGI-pilled, aber ich glaube schon, dass sie einen Inferenzpreis pro GPU erwarten, oder was auch immer das ist, der deutlich höher liegt als das, was für Bob aus der Buchhaltung Sinn ergeben würde, selbst für Fable 5.1 zu zahlen. Wenn man die Bewertungen verstehen will und wenn man den Umfang des Ausbaus verstehen will, dann entspricht die Form der Verträge und die Form der Nachfrage, die man erwartet, eher Millionen und Abermillionen Dollar an F&E-Beschleunigungsverträgen mit Pharma, Materialwissenschaft und so weiter, wo sie wesentliche Beiträge leisten und helfen können, extrem profitable neue Medikamente zu finden – solche Dinge. Man erwartet wahrscheinlich auch weitere interne Produktivitätssteigerungen und tatsächlich wettbewerbsfähig bepreiste automatisierte KI-F&E-Anwendungen – Coding-Agenten, die viel, viel höhere Preise verlangen können.

Originaler Kontext

How about the stock market? I wanted to do one follow-up on that. My theory right now is that a pause wouldn't actually be that bad for the stock market, because the models are smart enough that demand isn't really limited by their capability, but by human ability to deploy them effectively. So it doesn't really matter if they succeed 10% of the time or 30% of the time on Millennium Prize problems — it's much more like, what can Bob in accounting do to get two people's worth of work done as one person? What do you think? I think the valuations of the companies — both the non-IPO companies and the publicly listed companies that are in the AI supply chain — probably rest on us doing more than that. They're probably not entirely AGI-pilled, but I do think they expect a per-GPU inference price, or whatever that is, that's a lot higher than what would make sense for Bob from accounting to pay for even Fable 5.1. If you want to make sense of the valuations, and if you want to make sense of the scale of the build-out, the shape of contract and the shape of demand you're expecting is more like millions and millions of dollars in R&D acceleration contracts with pharma and material science and so on, where they can make major contributions and help you find extremely profitable new drugs — that kind of thing. You're probably also expecting further internal uplift and actually competitively priced automated AI R&D uses — coding agents that are able to ask for much, much higher prices.

KI und die Wirtschaft

Fortgeschrittene KI könnte wirtschaftliche Aufholmechanismen herausfordern

Originalauszug

fundamentally, a lot of the catch-up mechanisms that lower-middle-income countries, in very general terms, have used and enjoyed and been able to leverage over the last few decades are just deeply incompatible with a world that has both very advanced AI systems and, downstream of that, ultimately much more automated manufacturing capacity.

Übersetzung · Nicht die Originalformulierung

grundsätzlich sind viele der Aufholmechanismen, die Länder mit niedrigem bis mittlerem Einkommen ganz allgemein gesprochen in den letzten Jahrzehnten genutzt und genossen haben und nutzen konnten, zutiefst unvereinbar mit einer Welt, die sowohl sehr fortschrittliche KI-Systeme als auch, daraus folgend, letztlich deutlich stärker automatisierte Fertigungskapazitäten aufweist.

Kontext

Sprechen wir also über den Rest der Welt. Sie haben gerade diesen großen Bericht zur Transformativen-KI-Strategie für Europa veröffentlicht, und es gab bereits einige Diskussionen – ich habe tatsächlich vor einiger Zeit mit einem Ihrer Mitautoren über das Rechenkapazitätsdefizit Europas gesprochen und darüber, dass etwas getan werden muss, um künftig ein relevanter Akteur zu bleiben. Aber bevor wir zur Strategie kommen, was Europa tun sollte – was ist die Sorge, wenn sie nichts tun? Denn ich denke auch, dass das, was Ihrer Meinung nach mit Europa passieren könnte, wenn Europa seinen Kurs beibehält, standardmäßig wahrscheinlich für etwa 70 %, vielleicht 80 % der Weltbevölkerung passiert. Wie sieht die Zukunft in Ihren Augen für Afrika, Lateinamerika, Südasien usw. aus? Der unmittelbarste und offensichtlichste Mechanismus war immer, einfach auf die demografischen Unterschiede zu setzen – man hatte ein sehr schnelles Bevölkerungswachstum, eine relativ günstige Arbeitskraft, die man als komparativen Vorteil nutzen konnte, und konnte sich dann schnell hochziehen, indem man ausländische Firmen ansiedelte und wertvolle Güter in die globale Lieferkette exportierte, basierend auf der Idee, dass man über diese Arbeitskraft verfügte, die man so einsetzen konnte, dass man als Land vergleichsweise vorteilhaft für geschäftliche Aktivitäten war. Und ich weiß einfach nicht, ob das weiterhin der Fall sein wird. Für die meisten Bereiche der einfachen Dienstleistungswirtschaft wird das definitiv nicht mehr gelten – ich sehe keinen stabilen Weg, wie dieser Sektor der Wirtschaft wirklich bestehen kann, sobald wir sehr leistungsfähige KI-Systeme haben. Es wird definitiv neue Dienstleistungsjobs geben, Jobs, bei denen Menschen bevorzugt werden – man kann all diese Arbeitsmarkteffekte langfristig betrachten. Aber diese Vorstellung, dass man sich sofort für globale Lieferketten nützlich machen kann, indem man

Originaler Kontext

So let's talk about the rest of the world. You have this big report that just came out on transformative AI strategy for Europe, and there's been some discussion — I actually talked to one of your coauthors a bit back about the compute deficit that Europe has and the need to do something to be a live player going forward. But before we get into the strategy for what Europe should do — what's the worry if they do nothing? Because I also think whatever you think might happen to Europe if Europe stays the course is probably what happens to, like, 70%, maybe 80%, of the world's population by default. What does the future look like in your mind for Africa, Latin America, South Asia, etcetera? So the most immediate and obvious mechanism was always just to bet on the demographic differences — you had very rapid population growth, a fairly cheap workforce you'd be able to use to your comparative advantage, and then quickly bootstrap into hosting some foreign firms and exporting some valuable good into the global supply chain, predicated on the idea that you had this workforce you could put to use in a way that made you a comparatively beneficial country to conduct business activity in. And I just don't know whether that's going to remain the case. It's definitely not going to remain the case for most aspects of the menial services economy — I just don't see a stable way that that sector of the economy really exists once we have very powerful AI systems. There are definitely going to be new services jobs, human-preference jobs — you can think about all these labor-market effects in the long run. But this idea that you can just be immediately useful to global supply chains by do

KI-Sicherheit

Einigen katastrophalen Szenarien fehlt eine allmähliche Marktwarnung

Originalauszug

I think there's a very reasonable doomer view that concentrates basically all of the probability mass of doom on things going well all the way until doom. If you look at a lot of the canonical doom scenarios — people who've talked seriously about existential and catastrophic risk — many of them describe a scenario where everything looks like it's going really well, strategically and economically great, until the point where the takeover happens

Übersetzung · Nicht die Originalformulierung

Ich halte es für eine sehr vernünftige Doomer-Sichtweise, praktisch die gesamte Wahrscheinlichkeitsmasse für den Untergang darauf zu konzentrieren, dass alles bis zum Untergang gut läuft. Wenn man sich viele der kanonischen Untergangsszenarien ansieht – Menschen, die ernsthaft über existenzielle und katastrophale Risiken gesprochen haben –, beschreiben viele davon ein Szenario, in dem alles strategisch und wirtschaftlich großartig aussieht, bis zu dem Punkt, an dem die Übernahme stattfindet

Kontext

Ja – noch einmal zum Thema „die Nadel einfädeln“: Das war großartig. Wie wäre es zum Abschluss mit einer kleinen Blitzrunde? Sie erwähnten Absicherung und auch, im Zusammenhang mit dem norwegischen Staatsfonds, den Kauf der richtigen Aktien, um den KI-Übergang erfolgreich zu bewältigen. Eine Herausforderung, mit der ich mich in letzter Zeit auseinandersetze, ist die Tyler-Cowen-Herausforderung: Wenn du so ein Doomer bist, was sind deine Shorts? Ich habe versucht, eine konkrete Antwort darauf zu finden – ich bin kein totaler Doomer, aber ich denke, er sollte das ernster nehmen, als er es tut. Ich möchte also eine Antwort, die entweder lautet „Hier sind meine Shorts“ oder „Ich habe es wirklich versucht und mir fällt nichts ein“, und genau dort stehe ich gerade – ich finde keinen Weg, im Untergangsszenario reich zu werden. Haben Sie Vorschläge, um Tyler zu antworten? Ich glaube auch, dass viele Menschen einfach kohärente Weltanschauungen haben, auf die sie nicht wetten – sie gehen keine finanziellen Wetten ein, selbst wenn sie sich ihnen verpflichtet fühlen. Das ist eine langweiligere Meta-Behauptung. Aber meine Hauptansicht ist, dass ich nicht glaube, dass es sich um eine glatte Wahrscheinlichkeitsverteilung handelt. Ich denke, vieles davon läuft entweder sehr gut oder sehr schlecht, und es gibt nicht viele Welten, in denen es volatil ist und eine Weile eher schlecht und dann eine Weile eher gut läuft. Leider habe ich also auch keine gute Handelsstrategie.

Originaler Kontext

Yeah — again, to talk about "threading the needle": this has been awesome. How about a little lightning round to close? You mentioned hedging, and also, in the context of Norway's sovereign wealth fund, buying the right equities to get through the AI transition successfully. A challenge I've been wrestling with lately is the Tyler Cowen challenge: if you're so doomer, what are your shorts? I've been trying to come up with an actual answer to that — I'm not a total doomer, but I think he should be taking it more seriously than he is. So I want an answer that's either "here are my shorts" or "I really tried and I can't come up with anything," and that's kind of where I'm at right now — I cannot come up with a way to get rich in the doom scenario. Do you have any suggestions to answer Tyler? I also think many people just have coherent worldviews that they don't bet on — they don't take financial bets even when they're committed to them. That's a more boring meta-contention. But my main view is that I don't think it's a smooth distribution of probabilities. I think a lot of this either goes very well or goes very badly, and there's not a lot of world where it's volatile and goes kind of badly for a while and then kind of well for a while. So, sadly, I don't have a good trading strategy either.

Enterprise AI

Die KI-Integration erfordert eine organisatorische Neuausrichtung

Originalauszug

I think it's integrating with proprietary data, integrating with proprietary workflows. Obviously not the entire task profile of humans is currently covered by models, but on specific tasks they're better than humans, and you can drop them into specific task profiles — at least in software engineering, and also in some other general white-collar activities. I think the question is just that the labor market takes its time to rearrange around that

Übersetzung · Nicht die Originalformulierung

Ich denke, es geht um die Integration mit proprietären Daten, die Integration in proprietäre Arbeitsabläufe. Offensichtlich decken Modelle derzeit nicht das gesamte Aufgabenprofil von Menschen ab, aber bei spezifischen Aufgaben sind sie besser als Menschen, und man kann sie in bestimmte Aufgabenprofile einsetzen – zumindest im Software-Engineering und auch bei einigen anderen allgemeinen Büroarbeiten. Ich denke, die Frage ist nur, dass der Arbeitsmarkt seine Zeit braucht, um sich darauf neu auszurichten

Kontext

Ein bodenständigeres Anliegen. Wir haben kurz über Engpässe gesprochen – ich meine damit nicht die menschliche Trägheit dahinter, warum die Einführung bisher nicht so stark stattgefunden hat, wie sie theoretisch offensichtlich hätte stattfinden können. Aber wenn man die andere Seite betrachtet und sich einfach die KIs und ihre Fähigkeiten anschaut, fehlt im Vergleich zur Erfahrung, einen Menschen für eine Arbeit einzustellen, offensichtlich etwas, oder? Es fühlt sich ständig dünner an – fast bis zu dem Punkt, an dem ich jetzt Schwierigkeiten habe, genau zu benennen, was an Fable 5.1 oder Astra tatsächlich schlechter ist, als einen Menschen einzustellen. Haben Sie eine Antwort darauf, was das ist, und welchen zusätzlichen marginalen Fähigkeitsgewinn Sie erwarten würden, um tatsächlich eine Störung des Arbeitsmarktes auszulösen? Was würde Ihrer Meinung nach in einer hypothetischen Welt passieren, in der Tesla sein Full Self-Driving lizenziert und innerhalb von etwa 18 Monaten – sagen wir, wir machen es zur Priorität, wir befinden uns hier also in einem etwas fiktionalen Szenario – plötzlich praktisch alle Autos selbst fahren und die rund vier Millionen Amerikaner, die ihren Lebensunterhalt mit Fahren verdienen, nicht mehr zum Fahren gebraucht werden? Das scheint eine ziemlich klare Verdrängungsgeschichte zu sein, die durchaus passieren könnte. Glauben Sie, dass die Wirtschaft diese Menschen aufnehmen kann? Wo gehen sie hin? Wenn man es genau betrachtet, scheint es wirklich schwierig – okay, dieser Mann ist 25 Jahre lang Lkw gefahren, er ist nicht bereit, in Rente zu gehen, aber der Lkw fährt jetzt selbst. Was passiert mit ihm?

Originaler Kontext

A more terrestrial concern. We talked a bit about bottlenecks — I don't mean the human inertia around why adoption hasn't happened as much as it obviously could, in theory, have happened so far. But if you take the flip side of that and just look at the AIs and their capabilities, clearly there's something missing relative to the experience of hiring a human to do work, right? It feels thinner and thinner all the time — almost to the point where I'm now having a hard time putting my finger on what it is about Fable 5.1 or Astra that's actually worse than hiring a human. Do you have an answer for what that is, and what additional marginal capability gain you'd expect to actually create labor market disruption? What do you think would happen in a hypothetical world where Tesla decides to license its full self-driving, and within 18 months or so — let's say we make a priority of it, so we're into a bit of a fictional scenario here — but all of a sudden basically all the cars drive themselves, and the four or so million Americans who make their living driving aren't needed to drive anymore. That seems like a pretty clear displacement story that very well could happen. Do you think the economy can absorb those people? Where do they go? It seems really tough when you get down to it — okay, this guy's driven a truck for 25 years, he's not ready to retire, but the truck now drives itself. What happens to him?

Quelle & Methodik

Diese Standpunkte sind mit ihren Originalquellen verknüpft. Paraphrasen sind gekennzeichnet und keine wörtlichen Zitate.

Transkript oder Quellenmaterial öffnen (wird in einem neuen Tab geöffnet)Ein Problem melden