Hace unos días, la startup de IA de voz ElevenLabs lanzó un versión beta de su plataforma eso les da a los usuarios el poder de crear voces sintéticas completamente nuevas para audio de texto a voz o para clonar la voz de alguien. Bueno, Internet solo tardó unos días en comenzar a usar este último para propósitos viles. La compañía tiene revelado en Twitter que está viendo un “número creciente de casos de uso indebido de clonación de voz” y que está pensando en una forma de abordar el problema “implementando salvaguardas adicionales”.
Si bien ElevenLabs no explicó qué significaba “casos de uso indebido”, tarjeta madre Encontré publicaciones de 4chan con clips con voces generadas que suenan como celebridades leyendo o diciendo algo cuestionable. Un clip, por ejemplo, supuestamente presentaba una voz que sonaba como la de Emma Watson leyendo una parte de Mein Kampf. Los usuarios también publicaron clips de voz que presentan sentimientos homofóbicos, transfóbicos, violentos y racistas. No está del todo claro si todos los clips usaron la tecnología de ElevenLab, pero una publicación con una amplia colección de archivos de voz en 4chan incluía un enlace a la plataforma de la startup.
Quizás esta aparición de clips de audio “deepfake” no debería ser una sorpresa, dado que hace unos años, habíamos visto un fenómeno similar. Los avances en inteligencia artificial y aprendizaje automático han llevado a un aumento de videos falsos, específicamente pornografía falsa, en los que los materiales pornográficos existentes se modifican para usar las caras de las celebridades. Y sí, la gente usó la cara de Emma Watson para algunos de esos videos.
ElevenLabs ahora está recopilando comentarios sobre cómo evitar que los usuarios abusen de su tecnología. Por el momento, sus ideas actuales incluyen agregar más capas a la verificación de su cuenta para habilitar la clonación de voz, como solicitar a los usuarios que ingresen información de pago o una identificación. También está considerando que los usuarios verifiquen la propiedad de los derechos de autor de la voz que desean clonar, como pedirles que envíen una muestra con un mensaje de texto. Finalmente, la compañía está pensando en abandonar por completo su herramienta Voice Lab y hacer que los usuarios envíen solicitudes de clonación de voz que debe verificar manualmente.
Fin de semana loco: gracias a todos por probar nuestra plataforma Beta. Si bien vemos que nuestra tecnología se aplica abrumadoramente al uso positivo, también vemos un número creciente de casos de uso indebido de clonación de voz. ¡Queremos comunicarnos con la comunidad de Twitter para obtener ideas y comentarios!
— ElevenLabs (@elevenlabsio) 30 de enero de 2023
Todos los productos recomendados por Engadget son seleccionados por nuestro equipo editorial, independiente de nuestra empresa matriz. Algunas de nuestras historias incluyen enlaces de afiliados. Si compra algo a través de uno de estos enlaces, podemos ganar una comisión de afiliado. Todos los precios son correctos en el momento de la publicación.
