Magenta Studio le permite experimentar con herramientas de aprendizaje automático de código abierto, independientes o dentro de Ableton Live. Magenta proporciona una manera bastante comprensible de comenzar dentro de un campo de investigación que puede volverse un poco turbio. Al brindarle acceso fácil a los modelos de aprendizaje automático para patrones musicales, puede generar y modificar ritmos y melodías.

Descargar Magenta Studio gratis

Requiere Ableton Live 10.1 y Max para Live

Magenta Studio hizo su primera aparición en público en la conferencia Loop de Ableton en Los Ángeles en noviembre. Allí, en una charla titulada «La computadora como colaboradora», se unieron a los artistas para explorar qué significa el aprendizaje automático para la creatividad. Los artistas YACHT y dragones afortunados reflexionaron sobre lo que la humanidad y la escucha significan para la música, y cómo han experimentado con esos medios, incluido el YACHT que va tan lejos como para generar letras y melodías. Jesse Engel y Adam Roberts aportaron una perspectiva desde el equipo de investigación de Google Brain, combinando ingeniería y música:

Después de un poco más de pulido, Magenta Studio ahora está listo para su uso en horario estelar desde su lanzamiento completo a principios de este año. Si está trabajando con Ableton Live, puede usar Magenta Studio como un conjunto de dispositivos. Sin embargo, debido a que están construidos con Electron (una popular herramienta de JavaScript multiplataforma), también hay una versión independiente. Y, si es un desarrollador, puede profundizar mucho más en las herramientas y modificarlas para sus propios propósitos, e incluso si solo tiene un poco de comodidad con la línea de comandos, también puede entrenar a sus propios modelos. (Más sobre esto en un momento.)

Pude sentarme con los desarrolladores en Los Ángeles y también he estado jugando con las últimas versiones de Magenta Studio. Pero retrocedamos y hablemos primero sobre lo que esto significa.

¿AI?

Inteligencia artificial: bueno, disculpas, podría haber encajado las letras «ML» en el titular de arriba, pero nadie sabría de qué estaba hablando.

El aprendizaje automático es un término mejor. En qué se basan Magenta y TensorFlow es aplicar análisis algorítmico a grandes volúmenes de datos. «TensorFlow» puede sonar como una especie de pelota de ejercicios de estrés que tienes en tu escritorio. Pero en realidad se trata de crear un motor que pueda procesar rápidamente muchos tensores : unidades geométricas que se pueden combinar, por ejemplo, en redes neuronales artificiales.

Ver los resultados de esta máquina de aprendizaje en acción significa tener una forma diferente de generar y modificar información musical. Toma las cosas que has estado haciendo en el software de música con herramientas como cuadrículas, y te permite usar un modelo matemático que es más sofisticado y que te da diferentes resultados que puedes escuchar.

Es posible que conozca a Magenta por su participación en el sintetizador NSynth . Eso también tiene su propio dispositivo Ableton Live, desde hace un par de años.

NSynth utiliza modelos para asignar sonidos a otros sonidos e interpolar entre ellos; en realidad aplica las técnicas que veremos en este caso (para notas / ritmos) al audio en sí. Algunos de los artefactos más gruesos producidos por este proceso incluso resultaron deseables para algunos usuarios, ya que son algo un poco únicos, y puedes volver a jugar en Ableton Live.

Pero incluso si esa aplicación en particular no le impresionó, al tratar de encontrar nuevos timbres para instrumentos, las ideas basadas en notas / ritmo hacen que este esfuerzo merezca un nuevo aspecto.

Las redes neuronales recurrentes son un tipo de modelo matemático que se repite algorítmicamente una y otra vez . Decimos que está «aprendiendo» en el sentido de que hay algunos paralelos con las concepciones de muy bajo nivel de cómo funcionan las neuronas en la biología, pero esto es en un nivel más básico: ejecutar el algoritmo repetidamente significa que puede predecir las secuencias de manera más efectiva. dado un conjunto de datos en particular.

La biblioteca «musical» de Magenta aplica un conjunto de principios de aprendizaje a los datos de notas musicales. Eso significa que necesita un conjunto de datos para «entrenar», y parte de los resultados que obtiene se basan en ese conjunto de capacitación. Construya un modelo basado en un conjunto de datos de melodías de bluegrass, por ejemplo, y tendrá diferentes salidas del modelo que si comenzara con el plainchante gregoriano o el gamelan indonesio.

Una de las razones por las que es genial que Magenta y Magenta Studio sean de código abierto es que eres totalmente libre de profundizar y entrenar tus propios conjuntos de datos. (Eso requiere un poco más de conocimiento y un poco de tiempo para que tu computadora o un servidor se quiten, pero también significa que no debes juzgar a Magenta Studio solo por estos resultados iniciales).

¿Qué hay en Magenta Studio?

Magenta Studio tiene algunas herramientas diferentes. Muchos se basan en MusicVAE, un modelo de investigación reciente que analiza cómo se puede aplicar el aprendizaje automático a la forma en que las diferentes melodías se relacionan entre sí. Los teóricos de la música han analizado las transformaciones melódicas y rítmicas durante mucho tiempo, y muy a menudo usan modelos matemáticos para hacer descripciones más sofisticadas de cómo funcionan. El aprendizaje automático le permite trabajar con grandes conjuntos de datos, y luego no solo hace un modelo, sino que se transforma entre patrones e incluso genera nuevos, por lo que esto resulta interesante para el software de música.

Lo que es más importante es que no tiene que entender, ni siquiera preocuparse por las matemáticas y el análisis que se realizan aquí, ya que expertos matemáticos y músicos aficionados pueden escuchar y juzgar los resultados. Si quieres leer un resumen de esa investigación de MusicVAE , puedes hacerlo . Pero es mucho mejor bucear y ver cómo son los resultados primero. Y ahora, en lugar de solo ver un video de demostración de YouTube o un fragmento de fragmento de canción, puedes jugar con las herramientas de manera interactiva.

 Toma las cosas que has estado haciendo en el software de música con herramientas como cuadrículas, y te permite usar un modelo matemático que es más sofisticado y que te da diferentes resultados que puedes escuchar.

Magenta Studio le permite trabajar con datos MIDI, directamente en la vista de sesión de Ableton Live. Hará nuevos clips, a veces a partir de los clips existentes que ingresó, y el dispositivo emitirá los resultados como MIDI que puede usar para controlar instrumentos y racks de batería. También hay una diapositiva llamada «Temperatura» que determina cómo se muestrea matemáticamente el modelo. No es bastante como el ajuste de la aleatoriedad – de ahí que eligieron este nuevo nombre – pero se le dará un cierto control sobre la forma predecible o impredecible el resultado será (si usted también acepta que la relación puede no ser totalmente lineal). Y puedes elegir el número de variaciones, y la longitud en barras.

Los datos sobre los que se entrenaron estas herramientas representan millones de melodías y ritmos. Es decir, han elegido un conjunto de datos que le proporcionará resultados genéricos y vanilla – en el contexto de la música occidental, por supuesto. (Y la interfaz de Live está bastante configurada con las expectativas sobre lo que es un kit de batería, y con melodías en torno a un piano de 12 tonos de temperamento igual, así que esto se ajusta a esa interfaz … sin mencionar que, sin duda, existe cierta afinidad cultural para esa estandarización y Toda la idea de hacer este tipo de modelo de aprendizaje automático, pero estoy divagando.)

Aquí están sus opciones:

Generar

Esto hace que una nueva melodía o ritmo no requiera entrada, es el equivalente a tirar los dados (erm, estilo de aprendizaje automático, por lo tanto no aleatorio) y escuchar lo que se obtiene.

Continuar

En realidad, esto es un poco más cercano a lo que pretendía hacer la investigación de Magenta Studio: golpear al principio de un patrón, y se completará donde predice que el patrón podría ir a continuación. Esto significa que puede tomar un solo clip y terminarlo, o generar un montón de variaciones / continuaciones de una idea rápidamente.

Interpolar

En lugar de un clip, use dos clips y fusione / modifique entre ellos.

Ranura

Ajuste el tiempo y la velocidad para «humanizar» un clip a una sensación particular. Este es posiblemente el más interesante de todos, porque está un poco más enfocado, e inmediatamente resuelve un problema que el software no ha resuelto terriblemente bien en el pasado. Dado que el conjunto de datos se centra en 15 horas de bateristas reales, los resultados aquí suenan más específicamente musicales. Y obtienes una «humanización» que está (posiblemente) más cerca de lo que tus oídos esperan escuchar que las crudas plantillas basadas en porcentajes del pasado. Y sí, hace que las grabaciones cuantificadas suenen más interesantes.

Drumificar

El mismo conjunto de datos que Groove, pero esto crea un nuevo clip basado en el groove de la entrada. Es … algo así como si los ritmos de Band-in-a-Box no fueran horribles, básicamente. (Disculpas a los desarrolladores de Band-in-a-Box). Así que funciona bien para la percusión que «acompaña» a una entrada.

Entonces, ¿es útil? 

Puede parecer no humano o no musical utilizar cualquier tipo de aprendizaje automático en el software. Pero desde el momento en que levantas un instrumento, o lees una notación, estás trabajando con un modelo de música. Y ese modelo impactará en cómo juegas y piensas.

Más al punto con algo como Magenta, ¿ realmente obtienes resultados musicalmente útiles? Groove para mí es muy interesante. De hecho, significa que puede realizar una cuantización de surcos menos rígida, ya que en lugar de algunas variaciones fijas aplicadas a una cuadrícula, obtiene un modelo mucho más sofisticado que se adapta en función de la entrada. Y con diferentes sets de entrenamiento, podrías obtener diferentes surcos. Drumify también es convincente por la misma razón.

Generar también es divertido, aunque incluso en el caso de Continuar, el problema es que estas herramientas no resuelven un problema en particular, sino que le brindan una manera divertida de frustrar sus propias intenciones. Es decir, al igual que con el uso de I Ching (vea John Cage, otros) o una función de asignación aleatoria (vea … todos nosotros, con un complemento o dos), puede romper con sus hábitos habituales y crear alguna sorpresa incluso si Estás solo en un estudio o en algún otro entorno de trabajo.

Un problema simple aquí es que un modelo de una secuencia no es un modelo completo de música. Incluso la música monofónica puede lidiar con el peso, la expresión, el timbre. Sí, teóricamente, puedes aplicar cada uno de esos elementos como nuevas dimensiones e introducirlos en modelos de aprendizaje automático, pero, por ejemplo, tomemos el canto de la música. Los compositores también trabajaron con elementos menos cuantificables, como el significado y el sonido del texto, las posiciones en la liturgia, citas de varias capas y referencias a otras composiciones. Y ese es el caso más simple: la música de punk a tecno y las sonatas para piano desafiarán a estos modelos en Magenta.

Lo menciono no porque quiero descartar el proyecto Magenta; por el contrario, si estás al tanto de estas cosas, tener un juego musical como este es aún más divertido.

Puedes salir de tus hábitos habituales y crear alguna sorpresa incluso si estás solo en un estudio o en algún otro entorno de trabajo.

En el momento en que comienza a utilizar Magenta Studio, ya está ampliando algunas de las proezas estadísticas del motor de aprendizaje automático con su propia intervención humana. Estás eligiendo qué resultados te gustan. Estás añadiendo instrumentación. Está ajustando el control deslizante de Temperatura utilizando su oído, cuando en realidad a menudo no hay una indicación matemática real de dónde debe «establecerse».

Y eso significa que los piratas informáticos que están investigando estos modelos también podrían producir nuevos resultados. La gente todavía está encontrando nuevas aplicaciones para las funciones de cuantización, que no han cambiado desde la década de 1980. Con herramientas como Magenta, obtenemos una nueva serie de técnicas matemáticas para aplicar a la música. Cambiar un conjunto de datos o realizar modificaciones menores en estos complementos podría producir resultados muy diferentes.

Y para el caso, incluso si juegas con Magenta Studio durante un fin de semana, luego te aburres y vuelves a practicar tu propia música, incluso eso es un beneficio.

A donde podría ir este próximo

Hay mucha gente por ahí que le vende soluciones “AI” y, sí, por supuesto, con este zumbido, mucho de eso es el aceite de serpiente. Pero esa no es la experiencia que tiene al hablar con el equipo de Magenta, en parte porque están comprometidos con la investigación pura. Eso los pone en línea con la historia de las consultas técnicas puras del pasado, como el equipo de Bell Labs (con Max Mathews) que creó la síntesis por computadora. Magenta está abierto, pero también abierto.

Como Jesse Engel, de Magenta, nos dice: «Somos un grupo de investigación (no un grupo de productos de Google), lo que significa que Magenta Studio no es estático y tiene muchos más modelos interesantes que probablemente estén en camino. Cosas como la generación MIDI más impresionante , la transcripción de vanguardia y los nuevos paradigmas de controlador . 

Nuestro objetivo es que alguien se dé cuenta de que esta es una avenida que hemos creado para cerrar la brecha entre nuestra investigación en curso y la producción musical real, porque la retroalimentación es importante para nuestra investigación.

Así que bien, los creadores de música …

Descargar Magenta Studio gratis

Requiere Ableton Live 10.1 y Max para Live