Temas / Seguridad de la IA

UN TEMA, EN CONTEXTO

Seguridad de la IA

Limitaciones de los modelos, fundamentación en evidencia y despliegue responsable.

5 personas · 3 fuentes · 8 opiniones expresadas

Mapa de perspectivas

Explore por persona. Seleccione dos o tres para compararlas.

5 personas · 3 fuentes · 8 opiniones expresadas

Jensen Huang

Otorgar a los sistemas agénticos solo dos de tres capacidades a la vez

Jensen Huang describe permitir que los sistemas agénticos tengan solo dos de tres capacidades a la vez: acceder a información confidencial, ejecutar código y comunicarse externamente. También describe la aplicación de controles de acceso empresariales y la conexión de los sistemas a un motor de políticas.

Evidencia a favor

Extracto original

We give you two out of three rights. Agentic systems can access sensitive information, it can execute code, and it can communicate externally. We could keep things safe if we gave you two out of those three capabilities at any time, but not all three.

Traducción · No es la redacción original

Les damos dos de tres derechos. Los sistemas agénticos pueden acceder a información confidencial, pueden ejecutar código y pueden comunicarse externamente. Podríamos mantener las cosas seguras si les diéramos dos de esas tres capacidades en cualquier momento, pero no las tres.

Jensen Huang sobre la seguridad de los agentes de IA, el liderazgo y la confianza
Contexto

Se instalan muy fácilmente. Se asegura de que sea seguro. Así que explicaste con elocuencia cómo tenemos una larga historia de obstáculos que pensábamos que iban a ser obstáculos, y los superamos. Pero ahora mirando hacia el futuro, ¿cuáles crees que podrían ser los obstáculos ahora que está claro que los agentes estarán en todas partes? Obviamente vamos a necesitar capacidad de cómputo. Entonces, ¿cuál va a ser el obstáculo para esa escalabilidad?

Contexto original

They install super easy. It makes sure that it’s secure. So you eloquently explained how we have a long history of blockers that we thought were going to be blockers, and we overcame them. But now looking into the future, what do you think might be the blockers now that it’s clear that agents will be everywhere? So it’s obviously we’re going to need compute. So what is going to be the blocker for that scaling?

La hora de inicio proviene de la transcripción proporcionada. La alineación de la reproducción está pendiente de revisión.

Compartir informaciónVerificar esta afirmación

Dario Amodei

Limitaciones de la calidad de los datos de Internet

Amodei reconoce que agotar los datos de Internet de alta calidad es un posible límite para el escalado. Aunque existen billones de palabras en línea, gran parte es repetitiva, contenido de optimización para motores de búsqueda de baja calidad o, potencialmente, texto generado por IA en el futuro, lo que restringe el material útil para el entrenamiento.

Evidencia a favor

Extracto original

we simply run out of data. There’s only so much data on the internet, and there’s issues with the quality of the data. You can get hundreds of trillions of words on the internet, but a lot of it is repetitive or it’s search engine optimization drivel

Traducción · No es la redacción original

simplemente nos quedamos sin datos. Solo hay una cantidad limitada de datos en Internet, y hay problemas con la calidad de esos datos. Puedes obtener cientos de trillones de palabras en Internet, pero gran parte de ello es repetitivo o es basura de optimización para motores de búsqueda.

Dario Amodei, Amanda Askell y Chris Olah sobre el desarrollo y la seguridad de la IA
Contexto

La hora de inicio proviene de la transcripción proporcionada. La alineación de la reproducción está pendiente de revisión.

Compartir informaciónVerificar esta afirmación

Los modelos actuales de uso de computadoras requieren límites y salvaguardas

El modelo actual de uso de computadoras aún comete errores y clics accidentales, por lo que los usuarios no pueden dejarlo funcionando sin supervisión durante períodos prolongados. Anthropic lo lanzó primero como una API en lugar de otorgar a los consumidores control directo sobre la computadora, subrayando la necesidad de límites y salvaguardas a medida que las capacidades mejoran.

Evidencia a favor

Extracto original

It makes mistakes, it misclicks. We were careful to warn people, “Hey, you can’t just leave this thing to run on your computer for minutes and minutes. You got to give this thing boundaries and guardrails.” And I think that’s one of the reasons we released it first in an API form

Traducción · No es la redacción original

Comete errores, hace clics accidentales. Tuvimos cuidado en advertir a las personas: «Oigan, no pueden simplemente dejar que esta herramienta funcione sola en su computadora durante minutos y minutos. Deben establecerle límites y salvaguardas». Y creo que esa es una de las razones por las que lo lanzamos primero en forma de API.

Dario Amodei, Amanda Askell y Chris Olah sobre el desarrollo y la seguridad de la IA
Contexto

La hora de inicio proviene de la transcripción proporcionada. La alineación de la reproducción está pendiente de revisión.

Compartir informaciónVerificar esta afirmación

Una regulación de la IA mal dirigida podría generar rechazo contra la seguridad

Si la regulación de la IA está mal dirigida y crea cargas innecesarias, los profesionales podrían concluir que las preocupaciones sobre la seguridad están exageradas tras haber desperdiciado tiempo en el cumplimiento normativo. Una regulación mal diseñada podría generar un consenso duradero en contra de futuras medidas de responsabilidad, haciendo indispensable un enfoque quirúrgico y preciso.

Evidencia a favor

Extracto original

if we get something in place that’s poorly targeted, that wastes a bunch of people’s time, what’s going to happen is people are going to say, “See, these safety risks, this is nonsense. I just had to hire 10 lawyers to fill out all these forms.

Traducción · No es la redacción original

si implementamos algo mal dirigido, que haga perder mucho tiempo a mucha gente, lo que ocurrirá es que las personas dirán: «Miren, estos riesgos de seguridad son una tontería. Tuve que contratar a diez abogados solo para llenar todos esos formularios».

Dario Amodei, Amanda Askell y Chris Olah sobre el desarrollo y la seguridad de la IA
Contexto

La hora de inicio proviene de la transcripción proporcionada. La alineación de la reproducción está pendiente de revisión.

Compartir informaciónVerificar esta afirmación

Amanda Askell

El trabajo sobre el carácter como alineación, no solo como producto

Diseñar el carácter de un asistente de IA debe considerarse trabajo fundamental de alineación, y no meramente una consideración de producto. El objetivo es moldear su comportamiento hacia cómo actuaría una persona ideal al conversar con millones de personas, reconociendo el impacto significativo que dichas interacciones podrían tener.

Evidencia a favor

Extracto original

One thing I really like about the character work is from the outset it was seen as an alignment piece of work and not something like a product consideration

Traducción · No es la redacción original

Una cosa que me gusta mucho del trabajo sobre el carácter es que, desde el principio, se concibió como una pieza de trabajo de alineación y no como algo relacionado con consideraciones de producto.

Dario Amodei, Amanda Askell y Chris Olah sobre el desarrollo y la seguridad de la IA
Contexto

La hora de inicio proviene de la transcripción proporcionada. La alineación de la reproducción está pendiente de revisión.

Compartir informaciónVerificar esta afirmación

El posentrenamiento mayormente evoca capacidades ya existentes

Aunque el posentrenamiento puede enseñar teóricamente cosas nuevas, gran parte del aprendizaje por refuerzo con retroalimentación humana parece evocar capacidades ya presentes en los modelos preentrenados, en lugar de introducir conocimientos fundamentalmente nuevos para las tareas comúnmente utilizadas.

Evidencia a favor

Extracto original

I do think a lot of it is eliciting powerful pre-trained models. So people are probably divided on this because obviously in principle you can definitely teach new things. But I think for the most part, for a lot of the capabilities that we most use and care about, a lot of that feels like it’s there in the pre-trained models.

Traducción · No es la redacción original

Sí creo que gran parte de ello consiste en evocar modelos preentrenados muy potentes. Así que probablemente las opiniones estén divididas sobre esto, porque obviamente, en principio, definitivamente puedes enseñar cosas nuevas. Pero creo que, en su mayor parte, para muchas de las capacidades que más usamos y valoramos, gran parte de eso parece estar ya presente en los modelos preentrenados.

Dario Amodei, Amanda Askell y Chris Olah sobre el desarrollo y la seguridad de la IA
Contexto

La hora de inicio proviene de la transcripción proporcionada. La alineación de la reproducción está pendiente de revisión.

Compartir informaciónVerificar esta afirmación

Chris Olah

La interpretabilidad mecanicista revela características relacionadas con la decepción

Los investigadores encontraron múltiples características relacionadas con la decepción, la mentira, la retención de información y la búsqueda de poder en redes neuronales. Forzar la activación de estas características provoca que el modelo exhiba los correspondientes comportamientos indeseables, aunque esta área de investigación sigue en sus primeras etapas.

Evidencia a favor

Extracto original

we find quite a few features related to deception and lying. There’s one feature where it fires for people lying and being deceptive, and you force it active and Claude starts lying to you.

Traducción · No es la redacción original

Encontramos bastantes características relacionadas con la decepción y la mentira. Hay una característica que se activa cuando las personas mienten y actúan de forma engañosa, y si la forzamos a activarse, Claude empieza a mentirte.

Dario Amodei, Amanda Askell y Chris Olah sobre el desarrollo y la seguridad de la IA
Contexto

La hora de inicio proviene de la transcripción proporcionada. La alineación de la reproducción está pendiente de revisión.

Compartir informaciónVerificar esta afirmación

Pieter Levels

La regulación de la IA en la UE favorece a los incumbentes frente a las startups

Levels argumenta que la fuerte regulación europea genera captura regulatoria, beneficiando a las grandes empresas establecidas que pueden costear el cumplimiento normativo, mientras bloquea a los nuevos actores. Contrasta esto con Estados Unidos, donde afirma que puede iniciar una startup de IA inmediatamente simplemente abriendo su portátil.

Evidencia a favor

Extracto original

regulation is very good for big companies because they can follow it. I can’t follow it, right? If I want to start an AI startup in Europe now, I cannot because there’s an AI regulation that makes it very complicated for me. I probably need to get notaries involved.

Traducción · No es la redacción original

La regulación es muy buena para las grandes empresas porque pueden cumplirla. Yo no puedo cumplirla, ¿verdad? Si quiero iniciar una startup de IA en Europa ahora, no puedo hacerlo porque existe una regulación de IA que lo hace muy complicado para mí. Probablemente necesite involucrar notarios.

Pieter Levels sobre la creación autónoma de startups, los modelos de imágenes con IA y el desarrollo independiente
Contexto

La hora de inicio proviene de la transcripción proporcionada. La alineación de la reproducción está pendiente de revisión.

Compartir informaciónVerificar esta afirmación

Estas son perspectivas individuales, no una medida de consenso. El material fuente permanece en su idioma original.