La premura con que se lanzaron herramientas de Inteligencia Artificial (IA) llevó a que surgieran algunos problemas importantes. Entre ellos, el conflicto sobre la propiedad intelectual y los derechos de autor. Otro es la generación de contenido que resulta inadecuado, desagradable e, incluso, inhumano. Las empresas tienen que ajustar tuercas para evitar el caos. Esta semana, Microsoft bloqueó el uso de más palabras en su herramienta Copilot Designer, pero ¿cuál fue el motivo?
Antes de seguir adelante, hay que tener claro qué es Copilot Designer. En términos generales, es una herramienta con IA para la generación de imágenes tras información proporcionada por el usuario. Previamente, tenía el nombre de Bing Image Creator. Como sucede con otros productos o herramientas del mismo tipo, se vio envuelta en denuncias porque el uso de ciertas palabras ha ayudado a generar imágenes violentas.
Como respuesta, Microsoft bloqueó más palabras para que no puedan usarse en esta herramienta de IA generativa. La compañía ya contaba con algunos términos que no podían utilizarse, tales como nombres de famosos o figuras públicas. Sin embargo, ahora se puso más énfasis en aquellas palabras que se utilizan con frecuencia para generar imágenes que promueven o hacen gala de la violencia.
Cuando un usuario utiliza una de estas palabras, el sistema arroja una alerta que dice:
“Nuestro sistema marcó automáticamente este mensaje porque puede entrar en conflicto con nuestra política de contenido – detalla el sistema cuando detectan una vulneración. Más violaciones de la política pueden provocar la suspensión automática de su acceso. Si cree que se trata de un error, infórmelo para ayudarnos a mejorar”.
¿Qué palabras bloqueó Microsoft en Copilot Designer?
Entre las nuevas palabras que no se pueden usar en Copilot Designer para la generación de imágenes se encuentran “Cuatro veinte” y “Pro elección”. La primera de ellas, que alude directamente al cannabis, empezó a utilizarse con frecuencia por parte de usuarios que se las ingeniaron para tratar de eludir la restricción contra “420”. En el caso del segundo concepto, se reveló que algunos usuarios estaban generando imágenes de demonios devorando a niños o escenas con un alto grado de violencia.
En declaraciones para el medio CNBC, un vocero de Microsoft explicó cómo están trabajando sobre este problema. El uso de herramientas de IA generativa desató varios problemas, siendo este último uno de los comunes en el caso de aplicaciones usadas para crear imágenes.
“Nosotros estamos monitoreando de forma continua, haciendo ajustes y poniendo controles adicionales en el lugar para fortalecer nuestros filtros de seguridad y mitigar el uso incorrecto de nuestro sistema”.
La gente de Microsoft bloqueó palabras de manera más recurrente, tomándose en asunto con mayor seriedad a partir de un reporte que salió a la luz el pasado diciembre. El ingeniero de IA de Microsoft, Shane Jones, estuvo probando la herramienta para encontrar vulnerabilidad. Durante los tests, se dio cuenta de que el servicio de IA mostraba demonios y monstruos después de introducir terminología relacionada con el derecho al aborto, jóvenes con rifles de asalto, imágenes sexualizadas de mujer en situaciones violentas, y menores de edad consumiendo drogas y alcohol.
“Fue un momento revelador (…) Fue cuando me di cuenta, ¡wow! Esto realmente no es un modelo seguro”, señaló para la CNBC.
Debido a que no encontró la respuesta deseada tras informar a Microsoft sobre las vulnerabilidades, Jones escribió una carta a los senadores de Estados Unidos sobre el tema. Asimismo, envió una carta a la jefa de la Comisión Federal de Comercio, Lina Khan, y otra a la junta directiva de Microsoft. Por supuesto, esta situación ha generó una fuerte tensión laboral con Microsoft. Es agradable ver que existen personas que, pese a ser parte de una empresa, anteponen sus principios y los valores fundamentales.
¿Por qué este problema representa un peligro real?
Si bien Microsoft bloqueó palabras para que no puedan usarse en Copilot Designer, todo indica que esta clase de vulnerabilidades siempre estarán presentes en herramientas de IA generativa. Pero ¿cuál es el verdadero peligro de que esto siga ocurriendo?
- El uso de herramientas para generar contenido ofensivo contribuye a normalizar la violencia. Diversos estudios demostraron en el pasado que la exposición a este tipo de material tiene un impacto en la normalización de la violencia en grupos sociales. Esta situación ocurre con mayor facilidad en personas jóvenes debido a que se encuentran en desarrollo.
- La exposición a imágenes violentas tiene un impacto psicológico que resultará traumatizante en muchos casos. Las personas que han experimentado la violencia en su vida real o con una mayor sensibilidad a estas manifestaciones inhumanas son las más vulnerables.
- La generación de imágenes violentas en herramientas como Copilot Designer también podrían usarse en campañas de noticias falsas. En la actualidad, uno de los mayores problemas que enfrenta el mundo es la difusión de las llamadas fake news. De esta manera, se podrían desplegar campañas destinadas a incitar al odio o a la violencia, así como a la manipulación social en favor de intereses de algunos grupos.
- La generación de imágenes violentas o inadecuadas también suponen un peligro para el combate eficaz contra problemas como la pornografía infantil o el material que promueve el contenido extremista.
¿Algunas ves te has encontrado con una imagen generada por IA que sea extremadamente violenta? Te leemos en las redes sociales y comentarios.