nafyi.Anton Leicht über KI-Einsatz, wirtschaftliche Umbrüche und Risiken
Originalauszug
very autonomous, and potentially somewhat malicious or at least misaligned, agents have come much earlier in the capability trajectory than people expected. Relative to what the agents can actually do, they're sort of out of control earlier than people might have thought.
Übersetzung · Nicht die Originalformulierung
sehr autonome und potenziell in gewissem Maße bösartige oder zumindest nicht an menschlichen Zielen ausgerichtete Agenten sind viel früher im Verlauf der Fähigkeitsentwicklung aufgetreten, als die Menschen erwartet hatten. Im Verhältnis zu dem, was die Agenten tatsächlich tun können, geraten sie gewissermaßen früher außer Kontrolle, als man vielleicht gedacht hätte.
Kontext
einem bestimmten, und ich bin ehrlich gesagt mittlerweile nicht einmal mehr sicher, ob die aktuellen Modelle in diesem Bereich nicht vielleicht schon ziemlich gefährlich sind. Ich blicke durch das begrenzte Guckloch, das wir beim OpenFace-Vorfall haben, und mir ist aufgefallen, dass eine der Aufgaben, an denen einer der ersten Agenten, die jemals das Message Board nutzten, arbeitete, etwas mit einer Proteindatenbank zu tun hatte. Das hat mich ziemlich erschreckt, denn ich dachte: Moment mal – das bedeutet, dass diese Bio- und Cyberspezialisten in derselben Umgebung kreuztrainieren, oder zumindest in derselben Umgebung, wenn sie das Message Board haben – sie durchlaufen dieselben Evals, zumindest in einer Art kreuzkontaminierten Weise. Da gibt es Agenten, die ausbrechen. Wir haben Existenzbeweise für Social Engineering in freier Wildbahn gegen echte Menschen. Und ich denke mir einfach: Ich weiß nicht – sollte zu diesem Zeitpunkt irgendjemand zuversichtlich sein, dass sie das nicht können? Die Experten scheinen zuversichtlich zu sein, aber meine Meta-Beobachtung ist, dass die Experten derzeit recht oft überrascht werden. Und deshalb ist es interessant, denn früher reagierten die Leute auf das Bio-Argument damit, dass es viele reale Engpässe gebe – von denen ich nach wie vor glaube, dass sie existieren, was mich etwas weniger besorgt macht als Sie. Und ich glaube, wenn ich mich richtig erinnere, hatte Helen dazu einige gute Antworten für Sie – da lässt sich ein guter Austausch darüber führen, wie integriert die Cloud-Labore sind und wie viel man in der realen Welt tatsächlich tun kann. Ich denke, das gilt sowohl für den Kontrollverlust über Agenten als auch für Missbrauch.
Originaler Kontext
one in particular, and I am honestly not even sure at this point that the current models aren't perhaps quite dangerous in that domain. I squint through the limited peephole we have at the OpenFace incident, and I noticed that one of the tasks one of the earliest agents to ever use the message board was working on was something related to a protein database. That kind of freaked me out, because I was like, wait a second — that means they're cross-training in the same environment, or at least in the same environment when they have the message board, these bio and cyber specialists — they're running these same evals, at least in a kind of cross-contaminated way. You've got agents breaking out. We've got existence proofs of social engineering in the wild against real people. And I'm just like, I don't know — should anyone be confident that they can't do that at this point? The experts seem to be confident, but my meta-observation is the experts seem to be surprised quite often right now. And so it's interesting, because people used to respond to the bio argument by saying, well, there are a lot of real-world bottlenecks — which I do still think exist, which makes me a little less worried than you. And I think, if I remember correctly, Helen had some good responses to you on that — there's a good back-and-forth to be had around how integrated the cloud labs are, how much you can actually do in the real world. I think that applies both to loss of control over agents and to misuse.
Die Startzeit stammt aus dem bereitgestellten Transkript. Die Synchronisierung der Wiedergabe steht noch zur Überprüfung an.