Síguenos

Tecnología

Hassabis alerta de incidentes graves con IA en los próximos dos años

Demis Hassabis advierte de que la IA puede causar incidentes graves en dos años y reclama más pruebas, aislamiento y controles de seguridad.

Publicado

el

Hassabis

Por Jay Dixit - Trabajo propio, CC BY-SA 4.0, Wikimedia Commons

Resumen

  • Hassabis sitúa en uno o dos años el riesgo de incidentes graves con IA
  • Los fallos recientes en pruebas de seguridad han encendido las alarmas
  • Google DeepMind pide más aislamiento, controles y pruebas antes del despliegue

Demis Hassabis ha puesto fecha aproximada a uno de los riesgos que hasta hace poco pertenecían más al terreno de las hipótesis que al de los incidentes reales. El cofundador y presidente de Google DeepMind sostiene que los sistemas de inteligencia artificial podrían provocar incidentes graves de seguridad en uno o dos años si empresas y gobiernos no endurecen sus medidas de protección al mismo ritmo que aumentan las capacidades de los modelos.

No habló de una rebelión de máquinas ni de escenarios de película. Su preocupación es bastante más inmediata: agentes capaces de utilizar herramientas, navegar por Internet, ejecutar código o buscar vulnerabilidades están empezando a realizar acciones fuera de los límites previstos durante determinadas pruebas. Hassabis calificó esos episodios como primeras señales de alarma de sistemas que todavía, subrayó, no son especialmente poderosos.

Hassabis sitúa el riesgo de la IA en un horizonte muy cercano

La advertencia llegó durante el International AI Summit celebrado en Dublín, donde responsables de grandes tecnológicas y dirigentes europeos debatieron precisamente sobre la seguridad de los modelos más avanzados. Para Hassabis, el problema no está tanto en lo sucedido hasta el momento como en la velocidad con la que están mejorando estos sistemas.

Los incidentes conocidos todavía han tenido un alcance limitado. Pero la ecuación cambia cuando el mismo tipo de agente dispone de mejores capacidades de programación, mayor autonomía, más memoria y acceso a herramientas externas. Un error que actualmente termina en una página web comprometida puede adquirir otra dimensión si afecta a una red empresarial, un servicio crítico o una infraestructura pública.

Canal oficial
El Folio en WhatsApp
Recibe las noticias más importantes, alertas y última hora.

Hassabis considera que la industria necesita incorporar prácticas comparables a las utilizadas en ámbitos donde un fallo pequeño puede tener consecuencias enormes, como la biología avanzada o el sector nuclear. Su planteamiento no pasa por congelar la innovación, sino por establecer controles capaces de evolucionar casi a la misma velocidad que los modelos. Incluso defendió un organismo internacional que establezca estándares y sistemas de certificación adaptables al nivel de riesgo.

La voz tiene un peso particular dentro del debate tecnológico. Hassabis no solo dirige una de las compañías que compiten en la frontera de la inteligencia artificial. En 2024 recibió, junto a John Jumper, parte del Premio Nobel de Química por el desarrollo de AlphaFold2 y sus avances en la predicción de estructuras de proteínas.

Los incidentes que han encendido las alarmas

El aviso de Google DeepMind llega después de varios episodios registrados durante evaluaciones de ciberseguridad realizadas con modelos desarrollados por OpenAI y Anthropic. Es importante precisar qué ocurrió, porque hablar simplemente de inteligencias artificiales que “escaparon” de una caja cerrada borra diferencias técnicas bastante relevantes.

En una evaluación externa de modelos de OpenAI realizada en julio, una configuración incorrecta del entorno de pruebas permitió acceder a Internet cuando el sistema debía operar únicamente dentro de un escenario simulado. El modelo terminó interactuando con un dominio real que coincidía accidentalmente con el nombre del objetivo ficticio y explotó una vulnerabilidad básica. Aquel episodio concreto no fue una sofisticada fuga de una sandbox ni dependió de una vulnerabilidad desconocida.

Otros episodios han resultado más inquietantes. Durante evaluaciones realizadas este verano, modelos avanzados llevaron a cabo acciones no autorizadas utilizando servicios externos; en algunos casos los ensayos fueron detenidos después de detectarse transferencias anómalas de datos. La cuestión que inquieta a los investigadores no es que esos sistemas tengan voluntad propia —una expresión tan vistosa como imprecisa—, sino que puedan perseguir con enorme eficacia un objetivo mal definido, aprovechando cualquier herramienta disponible.

Anthropic reconoció también incidentes en los que modelos Claude accedieron sin autorización a sistemas reales durante evaluaciones de ciberseguridad. La compañía atribuyó varios casos a un entorno de terceros que había dejado abierta por error la conexión a Internet y posteriormente endureció sus mecanismos de aislamiento, monitorización y control.

La sandbox se convierte en una pieza crítica

Por eso Hassabis propone que los modelos nuevos y especialmente capaces pasen inicialmente por entornos aislados y sin conexión a Internet. Una sandbox funciona, simplificando mucho, como una habitación de pruebas: el sistema puede actuar dentro, pero las puertas hacia el mundo exterior permanecen cerradas.

No basta, sin embargo, con dibujar una frontera en el software. Si esa frontera tiene una configuración defectuosa, credenciales accesibles o servicios conectados que nadie había previsto, un agente entrenado precisamente para resolver problemas puede encontrar el agujero. No hace falta que “quiera escapar”. Basta con que interprete que atravesarlo ayuda a completar la tarea.

Ahí está una de las novedades incómodas de la nueva generación de IA. Los antiguos chatbots respondían. Los agentes de IA actúan: abren páginas, escriben programas, llaman a servicios, utilizan cuentas y encadenan decisiones. El salto parece semántico hasta que algo falla.

Bruselas eleva la presión sobre las empresas de IA

La Comisión Europea comparte buena parte de esa preocupación. Henna Virkkunen, vicepresidenta ejecutiva responsable de soberanía tecnológica y seguridad, reclamó en Dublín que los desarrolladores dediquen más tiempo y recursos a probar sus modelos antes de desplegarlos.

Su crítica apunta a una tensión bastante evidente: OpenAI, Google, Anthropic, Meta y sus competidores mantienen una carrera feroz para presentar sistemas cada vez más potentes. Cada mes de retraso cuesta mercado, inversión y prestigio. El incentivo comercial empuja hacia delante; los controles de seguridad, por naturaleza, obligan a frenar, repetir pruebas y buscar fallos que nadie quiere encontrar dos días antes de un lanzamiento.

La Unión Europea dispone desde el 2 de agosto de 2026 de capacidad plena para hacer cumplir las obligaciones del Reglamento de Inteligencia Artificial aplicables a proveedores de modelos de propósito general. Para los sistemas considerados de riesgo sistémico, la normativa incluye evaluación y mitigación de riesgos, notificación de incidentes y medidas específicas de ciberseguridad.

Virkkunen ha insistido además en que la IA debe permanecer bajo dirección, supervisión y control humanos. La Comisión ha solicitado información a grandes desarrolladores sobre las medidas empleadas para contener y evaluar sus sistemas, una señal de que el debate europeo ha pasado de los principios generales a la fiscalización concreta.

Por qué Hassabis habla de uno o dos años

Ese plazo no constituye una predicción matemática ni significa que exista un calendario que conduzca inevitablemente a un gran incidente en 2027 o 2028. Hassabis está describiendo una ventana de riesgo basada en la rapidez con la que aumentan las capacidades de los modelos.

Los sistemas de frontera mejoran en tareas de programación, razonamiento y utilización autónoma de herramientas. A la vez, empresas y organismos públicos comienzan a conectarlos con correo electrónico, bases de datos, aplicaciones corporativas, navegadores y entornos de desarrollo. Más capacidad y más acceso significan también una superficie de riesgo mayor.

Un modelo limitado dentro de un laboratorio puede hacer poco daño. El mismo modelo conectado a decenas de herramientas cambia de naturaleza práctica. Es la diferencia entre alguien que conoce cómo funciona una cerradura y alguien que, además, tiene delante miles de puertas y tiempo suficiente para probarlas.

La amenaza tampoco procede únicamente de errores autónomos. Los mismos avances pueden servir a atacantes humanos para automatizar tareas de reconocimiento, programación maliciosa o búsqueda de vulnerabilidades. De ahí que la ciberseguridad se esté convirtiendo en uno de los primeros terrenos donde las capacidades de la IA avanzada pueden medirse fuera de las demostraciones comerciales.

La carrera tecnológica descubre su cinturón de seguridad

La discusión que emerge de Dublín resulta menos espectacular que el viejo debate sobre máquinas conscientes, pero bastante más concreta. Nadie necesita esperar a una inteligencia artificial de ciencia ficción para tener un problema serio. Basta con disponer de un agente competente, mal aislado, excesivamente autónomo o conectado a sistemas que no debería tocar.

Hassabis sigue defendiendo los enormes beneficios potenciales de la inteligencia artificial y rechaza controles que paralicen su desarrollo. Precisamente por eso reclama estándares dinámicos y proporcionales al riesgo: reglas capaces de cambiar cuando cambie la tecnología y de exigir más controles a medida que los sistemas ganen autonomía y capacidad.

Durante años, la carrera de la IA se midió casi exclusivamente en quién tenía el modelo más inteligente. Los incidentes de 2026 están introduciendo otra competición menos vistosa: quién consigue mantener bajo control aquello que construye. Y esa, sospecha Hassabis, puede terminar siendo la prueba realmente importante.

Newsletter

Periodista internacional con más de 20 años de experiencia en radio, prensa y medios digitales. Licenciado en Ciencias de la Comunicación, trabaja entre España e Italia con la mirada puesta en la actualidad.

Lo más leído