AudioCraft es un conjunto de tres modelos de IA creado por Meta, el cual ha demostrado la capacidad de crear efectos de sonido y música a partir de descripciones. Esto es algo sorprendente en el mundo de las inteligencias artificiales, y demuestra el poder que pueden alcanzar estos sistemas.

AudioCraft: IA para crear música

El pasado miércoles, Meta dio a conocer AudioCraft, un conjunto de herramientas generativas de inteligencia artificial para crear música y audio a partir de indicaciones de texto. Con este sistema, los creadores de contenido solo necesitarán ingresar descripciones de texto sencillas, con la cual la IA generará audios complejos, componer melodías e incluso, simular orquestas completas.

AudioCraft tiene tres componentes esenciales: AudioGen, una herramienta que genera efectos de audio y paisajes sonoros; MusicGen, que genera composiciones musicales y melodías a partir de descripciones; y EnCodec, un código de comprensión de audio, basado en redes neuronales.

Haciendo referencia al último, Meta asegura que EnCodec se mejoró desde su anuncio el pasado noviembre, y ahora es capaz de «generar música de mayor calidad con menos artefactos». Además, AudioGen puede crear efectos de sonidos, como ladridos de perros, bocinas de autos o pasos en un piso de madera. Asimismo, MusicGen puede crear canciones de varios géneros desde cero, basándose en descripciones como «música para bailar, melodías pegadizas, pop, percusiones tropicales, ritmos alegres, música para la playa», etc.

Para promocionar más el producto, Meta colocó muestras de lo que es capaz de hacer, así las personas podrían evaluarlas. Según los resultados de los usuarios, aunque los sonidos se alinean con lo que promete, parecen no tener la calidad suficiente como para reemplazar la música tradicional, mucho menos la profesional.

Como respuesta, Meta asegura que, si bien los modelos generativos de IA centrados en textos e imágenes han recibido mucha atención, básicamente porque son más fácil de experimentar para las personas, el desarrollo de herramientas de audio generativo se ha estancado.

«Hay algo de trabajo por ahí, pero es muy complicado y no muy abierto, por lo que las personas no pueden jugar fácilmente con él».

Una contribución a la industria

Dentro de Meta, esperan que el lanzamiento de AudioCraft, bajo licencia MIT, contribuya a la comunidad en general al proporcionar herramientas accesibles para la experimentación musical y de audio.

También explicaron que los modelos están disponibles con fines de investigación y para mejorar la comprensión de la tecnología por parte de las personas, por ello esperan brindar acceso a profesionales, que puedan entrenar sus propios modelos, con sus propios datos y ayudar a que el arte avance.

Cabe resaltar que Meta no es la primera empresa que experimenta con generadores de música y audio con IA. OpenAi también presentó Jukebox, en 2020, Google presentó MusicLM en enero y, en diciembre pasado, un equipo de investigación independiente creó una plataforma de  generación de texto a música, llamada Riffusion, usando una base de difusión estable.

Pero, aun así, ninguno de estos proveedores ha llamado la atención como los que ofrecen modelos de síntesis de imágenes o texto. Aun así, eso no significa que el proceso de desarrollo sea menos complicado, aseguró Meta en su web.

También es importante resaltar que, en medio de toda la controversia que se ha generado sobre el material, con que IAs de generación de imágenes como Mdjourney o DALL-E, Meta diga que MusicGen se capacitó con «20.000 horas de música propiedad de Meta o con licencia específica para ello». Parece un movimiento para asegurarse de no tener problemas en el futuro, apegado más a la ética.

Es cuanto menos interesante ver cómo se desarrolla este y otros modelo de audio. Se podría conseguir que algunas herramientas  generativas de audio sean fácil de usar en el futuro, pero por el momento, los conocedores aseguran que AudioCraft y el resto, son herramientas para profesionales.