OPINIONES PÚBLICAS

Anton Leicht

Invitado de la entrevista ·

Invitado en "The Cognitive Revolution": The Balance of AI Power: Anton Leicht on Politics, Pacing Deals, and Muddling Through Well.

1 entrevistas · 5 opiniones expresadas · 3 temas

Contenido actualizado:

Las traducciones son para facilitar la lectura; los extractos originales siguen siendo la source evidence.

Perspectivas por tema

Opiniones atribuidas, ordenadas por fecha de entrevista. Una instantánea de estas conversaciones, no una afirmación definitiva de las creencias de alguien.

Seguridad de la IA

Ver este tema
Seguridad de la IA

Algunos escenarios catastróficos carecen de una advertencia gradual en el mercado

Anton Leicht cuestiona la suposición de que un riesgo catastrófico de la IA produciría una serie gradual de advertencias negociables en el mercado. Afirma que muchos escenarios describen condiciones estratégicas y económicas favorables hasta que se produce una toma de control o un incidente grave, y señala que no tiene una buena estrategia de negociación para esa posibilidad.

Evidencia a favor

Extracto original

I think there's a very reasonable doomer view that concentrates basically all of the probability mass of doom on things going well all the way until doom. If you look at a lot of the canonical doom scenarios — people who've talked seriously about existential and catastrophic risk — many of them describe a scenario where everything looks like it's going really well, strategically and economically great, until the point where the takeover happens

Traducción · No es la redacción original

Creo que hay una visión catastrofista muy razonable que concentra básicamente toda la masa de probabilidad de catástrofe en que las cosas vayan bien todo el camino hasta la catástrofe. Si observas muchos de los escenarios canónicos de catástrofe —personas que han hablado seriamente sobre el riesgo existencial y catastrófico—, muchos de ellos describen un escenario donde todo parece ir realmente bien, estratégica y económicamente genial, hasta el punto en que ocurre la toma de control.

Anton Leicht sobre el despliegue de la IA, la disrupción económica y el riesgo
Contexto

Sí —de nuevo, para hablar de «ensartar la aguja»: esto ha sido genial. ¿Qué tal una ronda relámpago para cerrar? Mencionaste la cobertura de riesgos y, también, en el contexto del fondo soberano de Noruega, comprar las acciones adecuadas para atravesar con éxito la transición de la IA. Un desafío con el que he estado lidiando últimamente es el desafío de Tyler Cowen: si eres tan catastrofista, ¿cuáles son tus posiciones cortas? He estado intentando dar con una respuesta real a eso —no soy un catastrofista total, pero creo que él debería tomárselo más en serio de lo que lo hace. Así que quiero una respuesta que sea o «estas son mis posiciones cortas» o «realmente lo intenté y no se me ocurre nada», y ese es más o menos el punto en el que estoy ahora —no puedo idear una forma de hacerme rico en el escenario de catástrofe. ¿Tienes alguna sugerencia para responderle a Tyler? También creo que muchas personas simplemente tienen visiones del mundo coherentes sobre las que no apuestan —no hacen apuestas financieras incluso cuando están comprometidos con ellas. Esa es una metaafirmación más aburrida. Pero mi visión principal es que no creo que sea una distribución suave de probabilidades. Creo que mucho de esto o va muy bien o va muy mal, y no hay mucho mundo donde sea volátil y vaya un poco mal durante un tiempo y luego un poco bien durante un tiempo. Así que, lamentablemente, tampoco tengo una buena estrategia de trading.

Contexto original

Yeah — again, to talk about "threading the needle": this has been awesome. How about a little lightning round to close? You mentioned hedging, and also, in the context of Norway's sovereign wealth fund, buying the right equities to get through the AI transition successfully. A challenge I've been wrestling with lately is the Tyler Cowen challenge: if you're so doomer, what are your shorts? I've been trying to come up with an actual answer to that — I'm not a total doomer, but I think he should be taking it more seriously than he is. So I want an answer that's either "here are my shorts" or "I really tried and I can't come up with anything," and that's kind of where I'm at right now — I cannot come up with a way to get rich in the doom scenario. Do you have any suggestions to answer Tyler? I also think many people just have coherent worldviews that they don't bet on — they don't take financial bets even when they're committed to them. That's a more boring meta-contention. But my main view is that I don't think it's a smooth distribution of probabilities. I think a lot of this either goes very well or goes very badly, and there's not a lot of world where it's volatile and goes kind of badly for a while and then kind of well for a while. So, sadly, I don't have a good trading strategy either.

La hora de inicio proviene de la transcripción proporcionada. La alineación de la reproducción está pendiente de revisión.

Anton Leicht
Compartir información
Seguridad de la IA

Los agentes autónomos aparecieron antes de lo esperado

Anton Leicht afirma que agentes muy autónomos y potencialmente desalineados aparecieron antes en la trayectoria de capacidades de lo que la gente esperaba. Contrasta esto con el enfoque anterior del riesgo biológico, considerado principalmente como un riesgo de uso indebido por parte de los seres humanos.

Evidencia a favor

Extracto original

very autonomous, and potentially somewhat malicious or at least misaligned, agents have come much earlier in the capability trajectory than people expected. Relative to what the agents can actually do, they're sort of out of control earlier than people might have thought.

Traducción · No es la redacción original

agentes muy autónomos, y potencialmente algo maliciosos o al menos desalineados, han aparecido mucho antes en la trayectoria de capacidades de lo que la gente esperaba. En relación con lo que los agentes pueden hacer realmente, están fuera de control antes de lo que la gente podría haber pensado.

Anton Leicht sobre el despliegue de la IA, la disrupción económica y el riesgo
Contexto

uno en particular, y sinceramente ni siquiera estoy seguro en este punto de que los modelos actuales no sean quizás bastante peligrosos en ese ámbito. Miro entrecerrando los ojos a través de la limitada mirilla que tenemos sobre el incidente de OpenFace, y noté que una de las tareas en la que trabajaba uno de los primeros agentes que jamás usó el foro de mensajes estaba relacionada con una base de datos de proteínas. Eso me asustó un poco, porque pensé: espera un segundo —eso significa que están recibiendo entrenamiento cruzado en el mismo entorno, o al menos en el mismo entorno cuando tienen el foro de mensajes, estos especialistas en biología y cibernética— están ejecutando estas mismas evaluaciones, al menos de una manera como contaminada de forma cruzada. Tienes agentes escapándose. Tenemos pruebas de existencia de ingeniería social en la práctica contra personas reales. Y yo simplemente pienso: no lo sé… ¿debería alguien estar confiado en este punto de que no pueden hacer eso? Los expertos parecen estar confiados, pero mi metaobservación es que los expertos parecen sorprenderse con bastante frecuencia ahora mismo. Y por eso es interesante, porque la gente solía responder al argumento biológico diciendo: bueno, hay muchos cuellos de botella en el mundo real —lo cual sigo pensando que existe, lo que me preocupa un poco menos que a ti. Y creo, si recuerdo correctamente, que Helen tuvo algunas buenas respuestas para ti sobre eso —hay un buen intercambio de ida y vuelta que se puede tener sobre qué tan integrados están los laboratorios en la nube, cuánto puedes hacer realmente en el mundo real. Creo que eso aplica tanto a la pérdida de control sobre los agentes como al uso indebido.

Contexto original

one in particular, and I am honestly not even sure at this point that the current models aren't perhaps quite dangerous in that domain. I squint through the limited peephole we have at the OpenFace incident, and I noticed that one of the tasks one of the earliest agents to ever use the message board was working on was something related to a protein database. That kind of freaked me out, because I was like, wait a second — that means they're cross-training in the same environment, or at least in the same environment when they have the message board, these bio and cyber specialists — they're running these same evals, at least in a kind of cross-contaminated way. You've got agents breaking out. We've got existence proofs of social engineering in the wild against real people. And I'm just like, I don't know — should anyone be confident that they can't do that at this point? The experts seem to be confident, but my meta-observation is the experts seem to be surprised quite often right now. And so it's interesting, because people used to respond to the bio argument by saying, well, there are a lot of real-world bottlenecks — which I do still think exist, which makes me a little less worried than you. And I think, if I remember correctly, Helen had some good responses to you on that — there's a good back-and-forth to be had around how integrated the cloud labs are, how much you can actually do in the real world. I think that applies both to loss of control over agents and to misuse.

La hora de inicio proviene de la transcripción proporcionada. La alineación de la reproducción está pendiente de revisión.

Anton Leicht
Compartir información

IA empresarial

Ver este tema
IA empresarial

La integración de la IA requiere reconfiguración organizacional

Anton Leicht señala que la integración con datos y flujos de trabajo propietarios, así como la reconfiguración organizacional, son cuellos de botella para utilizar las capacidades existentes de la IA. Espera disrupciones en la composición de los equipos y en la productividad, aunque expresa incertidumbre sobre el desplazamiento a corto plazo porque la IA también puede crear demanda y trabajo adicionales.

Evidencia a favor

Extracto original

I think it's integrating with proprietary data, integrating with proprietary workflows. Obviously not the entire task profile of humans is currently covered by models, but on specific tasks they're better than humans, and you can drop them into specific task profiles — at least in software engineering, and also in some other general white-collar activities. I think the question is just that the labor market takes its time to rearrange around that

Traducción · No es la redacción original

Creo que se trata de integrarse con datos propietarios, integrarse con flujos de trabajo propietarios. Obviamente, no todo el perfil de tareas de los humanos está cubierto actualmente por los modelos, pero en tareas específicas son mejores que los humanos, y puedes insertarlos en perfiles de tareas específicos —al menos en ingeniería de software, y también en algunas otras actividades generales de cuello blanco. Creo que la cuestión es simplemente que el mercado laboral se toma su tiempo para reorganizarse en torno a eso.

Anton Leicht sobre el despliegue de la IA, la disrupción económica y el riesgo
Contexto

Una preocupación más terrenal. Hablamos un poco sobre cuellos de botella —no me refiero a la inercia humana en torno a por qué la adopción no ha ocurrido tanto como obviamente podría, en teoría, haber ocurrido hasta ahora. Pero si tomas el lado opuesto de eso y simplemente observas las IA y sus capacidades, claramente falta algo en comparación con la experiencia de contratar a un humano para hacer un trabajo, ¿verdad? Se siente cada vez más tenue todo el tiempo —casi hasta el punto de que ahora me cuesta señalar qué es exactamente lo de Fable 5.1 o Astra que es realmente peor que contratar a un humano. ¿Tienes una respuesta sobre qué es eso, y qué ganancia marginal adicional de capacidad esperarías que realmente creara disrupción en el mercado laboral? ¿Qué crees que pasaría en un mundo hipotético donde Tesla decide licenciar su conducción totalmente autónoma y, en unos 18 meses más o menos —digamos que lo hacemos una prioridad, así que entramos en un escenario un poco ficticio aquí—, pero de repente básicamente todos los coches se conducen solos, y los cuatro millones aproximadamente de estadounidenses que se ganan la vida conduciendo ya no son necesarios para conducir. Esa parece una historia de desplazamiento bastante clara que muy bien podría ocurrir. ¿Crees que la economía puede absorber a esas personas? ¿Adónde van? Parece realmente difícil cuando lo analizas —vale, este tipo ha conducido un camión durante 25 años, no está listo para jubilarse, pero el camión ahora se conduce solo. ¿Qué le pasa?

Contexto original

A more terrestrial concern. We talked a bit about bottlenecks — I don't mean the human inertia around why adoption hasn't happened as much as it obviously could, in theory, have happened so far. But if you take the flip side of that and just look at the AIs and their capabilities, clearly there's something missing relative to the experience of hiring a human to do work, right? It feels thinner and thinner all the time — almost to the point where I'm now having a hard time putting my finger on what it is about Fable 5.1 or Astra that's actually worse than hiring a human. Do you have an answer for what that is, and what additional marginal capability gain you'd expect to actually create labor market disruption? What do you think would happen in a hypothetical world where Tesla decides to license its full self-driving, and within 18 months or so — let's say we make a priority of it, so we're into a bit of a fictional scenario here — but all of a sudden basically all the cars drive themselves, and the four or so million Americans who make their living driving aren't needed to drive anymore. That seems like a pretty clear displacement story that very well could happen. Do you think the economy can absorb those people? Where do they go? It seems really tough when you get down to it — okay, this guy's driven a truck for 25 years, he's not ready to retire, but the truck now drives itself. What happens to him?

La hora de inicio proviene de la transcripción proporcionada. La alineación de la reproducción está pendiente de revisión.

Anton Leicht
Compartir información

IA y economía

Ver este tema
IA y economía

El despliegue económico va a la zaga de las capacidades actuales de los modelos

Anton Leicht coincide en que el despliegue de las capacidades actuales de la IA en la economía va considerablemente a la zaga de dichas capacidades. Sugiere que, si la capacidad de cómputo occidental existente se redirigiera hacia la inferencia, los usos productivos podrían justificar las inversiones realizadas hasta ahora en modelos frontera y chips.

Evidencia a favor

Extracto original

we have a big lag in terms of deploying even the current level of capabilities to the economy. And I think if we switched all the compute that exists in the West right now to only inference, we'd find economic, productive applications for all the models that would allow us to justify the investment on all the frontier models

Traducción · No es la redacción original

tenemos un gran retraso en cuanto a implementar incluso el nivel actual de capacidades en la economía. Y creo que si redirigiéramos todo el cómputo que existe en Occidente ahora mismo únicamente a inferencia, encontraríamos aplicaciones económicas y productivas para todos los modelos que nos permitirían justificar la inversión en todos los modelos de frontera.

Anton Leicht sobre el despliegue de la IA, la disrupción económica y el riesgo
Contexto

¿Qué pasa con el mercado de valores? Quería hacer una pregunta de seguimiento sobre eso. Mi teoría ahora mismo es que una pausa no sería realmente tan mala para el mercado de valores, porque los modelos son lo suficientemente inteligentes como para que la demanda no esté realmente limitada por su capacidad, sino por la capacidad humana de implementarlos eficazmente. Así que no importa mucho si tienen éxito el 10 % de las veces o el 30 % de las veces en los problemas del Premio del Milenio —es mucho más como: ¿qué puede hacer Bob en contabilidad para realizar el trabajo de dos personas como una sola? ¿Qué opinas? Creo que las valoraciones de las empresas —tanto las empresas que no han salido a bolsa como las empresas que cotizan públicamente y están en la cadena de suministro de IA— probablemente descansan en que hagamos más que eso. Probablemente no están totalmente convencidas de la AGI, pero sí creo que esperan un precio de inferencia por GPU, o lo que sea, que es mucho más alto de lo que tendría sentido que pagara Bob de contabilidad incluso por Fable 5.1. Si quieres darle sentido a las valoraciones, y si quieres darle sentido a la escala de la construcción, la forma del contrato y la forma de la demanda que esperas se parece más a contratos de aceleración de I+D por millones y millones de dólares con farmacéuticas y ciencia de materiales, etc., donde puedan hacer contribuciones importantes y ayudarte a encontrar nuevos fármacos extremadamente rentables —ese tipo de cosas. Probablemente también estés esperando un mayor impulso interno y usos de I+D automatizada con IA a precios realmente competitivos —agentes de programación capaces de pedir precios mucho, mucho más altos.

Contexto original

How about the stock market? I wanted to do one follow-up on that. My theory right now is that a pause wouldn't actually be that bad for the stock market, because the models are smart enough that demand isn't really limited by their capability, but by human ability to deploy them effectively. So it doesn't really matter if they succeed 10% of the time or 30% of the time on Millennium Prize problems — it's much more like, what can Bob in accounting do to get two people's worth of work done as one person? What do you think? I think the valuations of the companies — both the non-IPO companies and the publicly listed companies that are in the AI supply chain — probably rest on us doing more than that. They're probably not entirely AGI-pilled, but I do think they expect a per-GPU inference price, or whatever that is, that's a lot higher than what would make sense for Bob from accounting to pay for even Fable 5.1. If you want to make sense of the valuations, and if you want to make sense of the scale of the build-out, the shape of contract and the shape of demand you're expecting is more like millions and millions of dollars in R&D acceleration contracts with pharma and material science and so on, where they can make major contributions and help you find extremely profitable new drugs — that kind of thing. You're probably also expecting further internal uplift and actually competitively priced automated AI R&D uses — coding agents that are able to ask for much, much higher prices.

La hora de inicio proviene de la transcripción proporcionada. La alineación de la reproducción está pendiente de revisión.

Anton Leicht
Compartir información
IA y economía

La IA avanzada podría desafiar los mecanismos de convergencia económica

Anton Leicht argumenta que muchos mecanismos de convergencia económica utilizados por los países de ingresos medio-bajos en las últimas décadas son profundamente incompatibles con un mundo de IA avanzada y una manufactura cada vez más automatizada.

Evidencia a favor

Extracto original

fundamentally, a lot of the catch-up mechanisms that lower-middle-income countries, in very general terms, have used and enjoyed and been able to leverage over the last few decades are just deeply incompatible with a world that has both very advanced AI systems and, downstream of that, ultimately much more automated manufacturing capacity.

Traducción · No es la redacción original

fundamentalmente, muchos de los mecanismos de convergencia que los países de ingresos medios-bajos, en términos muy generales, han utilizado, disfrutado y podido aprovechar en las últimas décadas son simplemente profundamente incompatibles con un mundo que tiene tanto sistemas de IA muy avanzados como, derivado de eso, en última instancia una capacidad de fabricación mucho más automatizada.

Anton Leicht sobre el despliegue de la IA, la disrupción económica y el riesgo
Contexto

Así que hablemos del resto del mundo. Acabas de publicar este gran informe sobre estrategia de IA transformadora para Europa, y ha habido cierta discusión —de hecho, hablé con uno de tus coautores hace un tiempo sobre el déficit de cómputo que tiene Europa y la necesidad de hacer algo para ser un actor activo de cara al futuro. Pero antes de entrar en la estrategia sobre qué debería hacer Europa —¿cuál es la preocupación si no hacen nada? Porque también pienso que, sea lo que sea que creas que le podría pasar a Europa si mantiene el rumbo, probablemente sea lo que le pase por defecto al 70 %, tal vez al 80 %, de la población mundial. ¿Cómo se ve el futuro en tu mente para África, América Latina, el sur de Asia, etc.? Así que el mecanismo más inmediato y obvio siempre fue simplemente apostar por las diferencias demográficas —tenías un crecimiento poblacional muy rápido, una fuerza laboral bastante barata que podrías usar como ventaja comparativa, y luego impulsarte rápidamente para albergar algunas empresas extranjeras y exportar algún bien valioso a la cadena de suministro global, basado en la idea de que tenías esta fuerza laboral que podías emplear de una manera que te hiciera un país comparativamente beneficioso para realizar actividad empresarial. Y simplemente no sé si eso va a seguir siendo así. Definitivamente no va a seguir siendo así para la mayoría de los aspectos de la economía de servicios rutinarios —simplemente no veo una forma estable en que ese sector de la economía exista realmente una vez que tengamos sistemas de IA muy potentes. Definitivamente habrá nuevos empleos de servicios, empleos de preferencia humana —puedes pensar en todos estos efectos del mercado laboral a largo plazo. Pero esta idea de que puedes ser inmediatamente útil para las cadenas de suministro globales simplemente haciendo

Contexto original

So let's talk about the rest of the world. You have this big report that just came out on transformative AI strategy for Europe, and there's been some discussion — I actually talked to one of your coauthors a bit back about the compute deficit that Europe has and the need to do something to be a live player going forward. But before we get into the strategy for what Europe should do — what's the worry if they do nothing? Because I also think whatever you think might happen to Europe if Europe stays the course is probably what happens to, like, 70%, maybe 80%, of the world's population by default. What does the future look like in your mind for Africa, Latin America, South Asia, etcetera? So the most immediate and obvious mechanism was always just to bet on the demographic differences — you had very rapid population growth, a fairly cheap workforce you'd be able to use to your comparative advantage, and then quickly bootstrap into hosting some foreign firms and exporting some valuable good into the global supply chain, predicated on the idea that you had this workforce you could put to use in a way that made you a comparatively beneficial country to conduct business activity in. And I just don't know whether that's going to remain the case. It's definitely not going to remain the case for most aspects of the menial services economy — I just don't see a stable way that that sector of the economy really exists once we have very powerful AI systems. There are definitely going to be new services jobs, human-preference jobs — you can think about all these labor-market effects in the long run. But this idea that you can just be immediately useful to global supply chains by do

La hora de inicio proviene de la transcripción proporcionada. La alineación de la reproducción está pendiente de revisión.

Anton Leicht
Compartir información

Declaraciones por fecha de entrevista1

Las declaraciones se ordenan por la fecha de publicación original de la entrevista. Una diferencia de redacción no demuestra un cambio de postura.