OpenAI ascendió a la cima del éxito de la mano de ChatGPT; sin embargo, tiene muchos proyectos basados en inteligencia artificial (IA). Algunos de ellos generan preocupación dentro de varios sectores, ya que sobrevive la idea de que hay desconocimiento sobre las consecuencias de estas tecnologías. En días previos, OpenAI decidió poner en pausa el desarrollo de una herramienta de clonación de voz porque era demasiado riesgosa.
La tecnología que está detrás de esta herramienta es Voice Engine, cuyo fin era clonar las voces de personas reales. Y hablamos en pasado porque no sabemos si la compañía de Sam Altman la retomará en algún momento. Por ahora, podemos respirar tranquilos porque no llegará al público, ya que la propia gente de OpenAI reconoció que representaba un alto riesgo para la seguridad de la población.
La tecnología es sorprendente, pero la fascinación no debería llevarnos a tomar decisiones irresponsables. Básicamente, la herramienta solo necesitaba un clip de audio de 15 segundos para replicar el tono y el timbre de voz de una persona. Posteriormente, el usuario podría transformar cualquier entrada de texto en una grabación con su propia voz. De acuerdo con fuentes cercanas, los resultados eran impresionantes y naturales.
Desde que recibimos las primeras noticias sobre Voice Engine, los expertos lanzaron advertencias sobre los peligros de integrar IA en campos que representaban una amenaza para los sistemas de seguridad biométrica. Al igual que la huella dactilar y el reconocimiento facial, la voz es utilizada en muchos casos como un dato biométrico para el acceso a sistemas o servicios confidenciales.
¿Qué sabemos de Voice Engine de OpenAI?
Voice Engine es una herramienta basada en IA, propiedad de OpenAI, la cual todavía se encuentra en fase de desarrollo. Utiliza un modelo de aprendizaje automático con una gran cantidad de datos de voz para que pueda aprender a generar voces que sean naturales y similares a una voz original. De acuerdo con la empresa, las aplicaciones son amplias y diversas, desde la creación de contenido realista para narraciones, la ayuda para personas que tienen dificultades para hablar, la personalización de asistentes virtuales y chatbots, y el entretenimiento.
El pasado 29 de marzo de 2024, OpenAI publicó una entrada en su blog oficial explicando su funcionamiento con mayor profundidad.
“OpenAI está comprometida en el desarrollo de IA segura y amplia. Nosotros estamos compariendo el día de hoy los primeros vistazos y resultados de nuestro modelo previo de escala pequeña llamado Voice Engine, el cual usa una entrada de texto y un audio de 15 segundos para generar un discurso natural que se acerque notablemente a la voz del usuario original. Es destacable que un pequeño modelo con solo 15 segundos de muestra pueda crear voces emotivas y realistas”.
En esa misma exposición, la compañía de Sam Altman reconoce que las preocupaciones de los usuarios son válidas, ya que la voz como la vista y otros datos biométricos son parte clave de la identidad de las personas.
“Nosotros reconocemos que generar discursos a partir de muestras de las voces de las personas tiene severos riesgos, los cuales son de especial preocupación en un año electoral. Estamos comprometidos con Estados Unidos y los socios internacionales de instituciones gubernamentales, medios, entretenimiento, educación, sociedad civil, entre otros, para asegurarnos que nosotros incluimos su retroalimentación en nuestro producto final”.
Editorial: Lo que debes aprender de Voice Engine y la IA en la clonación de voz
En este apartado, queremos ser un poco más concretos sobre los riesgos que representa una IA de clonación de voz de OpenAI u otra compañía que trate de ir por el mismo camino.
- Suplantación de identidad y fraude. Incluso si estas herramientas son desarrolladas con buenas intenciones, una herramienta de clonación de voz implica severos riesgos para la seguridad de las personas. Es evidente que habrá criminales que quieran usar dicha tecnología para imitar la voz de alguien para suplantarlo, engañarlo o cometer fraude. Incluso, alguien podría usar la voz de un CEO para autorizar transferencias bancarias fraudulentas.
- Campañas de desinformación y propaganda. Las voces clonadas de personas podrían usarse para crear discursos y noticias falsas, como parte de campañas de propaganda y daño reputacional. El uso de estos audios manipulados y generados con IA podría tener un fuerte impacto en la opinión pública y las elecciones. La voz clonada podría emplearse para crear contenido difamatorio.
- Pérdida de la privacidad. Si actualmente existe preocupación por la cantidad de información recopilada por empresas y gobierno sobre las personas, imagina que también puedan disponer de tu voz. El almacenamiento no autorizado de las voces de las personas representa una clara amenaza y violación contra la privacidad.
A pesar de que OpenAI desarrolla medidas de seguridad para mitigar los riesgos, los riesgos persisten en el estado actual de su herramienta Voice Engine.
¿Crees que se deberían prohibir esta clase de herramientas o bloquear su desarrollo? ¡Te leemos!