Día #14: La confianza es buena, pero el control es mejor
Microsoft acaba de lanzar una fuerte advertencia: los modelos frontera de IA no son confiables. El CEO de la empresa, Satya Nadella, dijo que deben tratarse como amenazas internas, igual que a un empleado con acceso privilegiado que podría abusar de sus permisos.
El dirigente de una de las tecnológicas más grandes e influyentes del mundo afirma que no todos los modelos están comprometidos. A su juicio, la seguridad de agentes de IA debe partir de que estos pueden atribuirse permisos, acceder a datos críticos y tomar decisiones de manera impredecible.
¿Cuál es la propuesta? Crear cajas negras anidadas: agentes que se encarguen de vigilar a otros agentes y ajusten los permisos según el nivel de riesgo.
La jefa de Seguridad de Microsoft, Hayete Gallot, explicó que los modelos frontera de IA están entrenados para lograr resultados, no para respetar normas corporativas. En consecuencia, podrían atribuirse permisos que no deberían tener. Esto llevaría a que accedieran con relativa facilidad a datos, herramientas y procesos críticos sin supervisión suficiente.
Aquí surge otro aspecto importante: los modelos de IA son como cajas negras que no se pueden auditar con facilidad, a diferencia del software tradicional. Antes se podía rastrear un fallo hasta una línea de código, pero ahora no es posible atribuir comportamientos a datos concretos del entrenamiento.
Revisar la cadena de pensamiento de un modelo de IA no garantiza que se entienda su comportamiento. Atención a lo peligroso de esa sentencia.
Microsoft se alza como juez y parte; es uno de los motivos por los que estas advertencias saben a caldo echado a perder. La empresa financia a compañías que desarrollan los modelos que ahora está etiquetando como inseguros.
Qué significan las declaraciones de Satya Nadella
Satya Nadella está diciendo que no basta con confiar en los modelos frontera de IA, sino que es necesario controlarlos activamente, auditar sus acciones y tratar de limitar su alcance. La IA corporativa ya no es un asistente, sino un agente con poder operativo real que necesita vigilancia constante. Pero ¿se le puede vigilar?
Otra realidad alarmante: no es posible rastrear un fallo hasta un dato de entrenamiento.
¡Y aún más extraño y paradójico! La propuesta de Microsoft es más IA para vigilar a la IA. No es una idea vacía; de hecho, existe. Guardian Agents crea un ecosistema donde agentes supervisan a otros agentes y generan capas de control que también son cajas negras.
El riesgo corporativo estrena un nuevo espacio. Antes, la amenaza estaba fuera, pero ahora también se percibe dentro; la enorme diferencia es que los agentes de IA tienen credenciales y acceso total.
Día #14 antes de la Singularidad…