Qu'est-ce que le Jukebox d'OpenAI et que pouvez-vous en faire ?

L'IA générative se répand lentement dans de plus en plus de disciplines de l'industrie créative. Il a débuté avec des générateurs d'art IA, puis s'est étendu à l'écriture avec du texte généré par l'IA. Maintenant, nous pouvons ajouter de la musique à cette liste.

Dans un avenir proche, la musique générée par l'IA, créée à partir de zéro, deviendra une réalité. En fait, c'est déjà une possibilité avec Jukebox, le modèle d'IA de création musicale d'OpenAI. Ce n'est pas encore disponible dans une application facile à utiliser, et ça ne sonne pas encore assez bien, mais les os algorithmiques sont là.

Voici ce que vous devez savoir sur le Jukebox d'OpenAI et ce que vous pouvez en faire.

Jukebox: une IA qui génère de la musique en tant qu'audio brut

Jukebox est un réseau neuronal qui peut générer de la musique sous forme audio brute lorsque vous lui donnez une entrée comme le genre, l'artiste ou les paroles. Il a été publié en avril 2020 par OpenAI, la même société qui nous a apporté le générateur d'art AI nommé Dall-E, et le chatbot AI appelé ChatGPT.

Contrairement à Dall-E, qui s'est propagé rapidement à travers le monde et a fait de l'IA un sujet brûlant d'actualités et de médias, Jukebox n'a pas suscité un large éventail d'intérêts après sa sortie. L'une des raisons en est qu'il ne dispose pas d'une application Web conviviale, du moins pas encore.

Vous pouvez trouver le code sur le Site Web d'OpenAI, ainsi qu'une explication détaillée du fonctionnement du processus d'encodage et de décodage.

Une autre raison probable est que cela prend énormément de temps et de puissance de calcul. Pour vous donner une idée, le rendu d'une seule minute d'audio peut prendre 9 heures. Vous aurez besoin d'une volonté d'explorer le modèle sous sa forme de code, ainsi que de beaucoup de patience si vous voulez voir ce qu'un modèle d'IA peut faire pour générer de la musique.

Ou, vous pouvez passer à la Explorateur d'échantillons de juke-box. C'est là qu'OpenAI a posté ses expériences de génération de chansons à l'effigie d'Ella Fitzgerald ou de 2Pac.

Pour être clair, autres outils de musique AI existent pour vous aider à générer une chanson, mais ils ne génèrent pas d'audio à partir de zéro. Au lieu de cela, ils combinent des échantillons préenregistrés ou créent des informations MIDI qui sont transmises à un synthétiseur numérique.

À quoi ressemble le Jukebox?

Les résultats de Jukebox sont reconnaissables mais étranges. Il n'est pas difficile de comprendre la forme de la chanson et le genre auquel elle appartient, mais la qualité des résultats donne l'impression que vous écoutez certaines des premières musiques enregistrées: c'est-à-dire étouffées avec beaucoup de bruit.

Il est sûr de dire que Jukebox ne produit pas le genre de son haute fidélité que vous entendriez avec une paire de bons écouteurs. Cela ressemble plus à entendre de la musique d'une station de radio qui n'est pas entièrement syntonisée sur la bonne fréquence. Certaines chansons sont des réinterprétations tandis que d'autres sont des continuations de chansons existantes. Il y a aussi une catégorie pour les nouveaux artistes et styles, et les paroles inédites.

Malgré la qualité du son, les premiers expérimentateurs disent être impressionnés par la beauté étrange et la nature bizarre de la musique créée par Jukebox. "Comme une bande originale de documentation sur un pays inconnu avec une culture inconnue", écrit Merzmench sur Medium.

Actuellement, les résultats sont loin d'être assez bons pour copier, voire remplacer, la musique créée par l'homme, mais le la technologie évolue rapidement et, bien assez tôt, des modèles comme Jukebox seront capables d'accomplir ces exploits aussi.

Comment le jukebox d'OpenAI a été formé

Une partie de la façon dont Jukebox est capable de créer de la musique qui n'a jamais existé auparavant est qu'il est formé sur la musique de vrais musiciens. OpenAI explique que :

"Pour former ce modèle, nous avons parcouru le Web pour organiser un nouvel ensemble de données de 1,2 million de chansons (dont 600 000 en anglais), associées aux paroles et métadonnées correspondantes de LyricWiki."

L'exploration de données est une pratique utilisée par certaines entreprises d'IA pour créer un ensemble de données qu'un modèle d'IA peut utiliser pour apprendre et prendre des décisions lors de la génération d'une image, d'un texte ou, dans ce cas, d'une musique. Les ensembles de données créés par crawling sont controversés car le consentement n'est pas obtenu des propriétaires des données en premier lieu. Bien que certaines plateformes vous permettent de retirer votre contenu des ensembles de données.

Vous pourriez penser que 1,2 million de chansons, c'est beaucoup, mais en comparaison, Dall-E 2 a été formé sur des centaines de millions de paires image-texte provenant d'Internet. Dans cet esprit, Jukebox a ses limites.

Son bassin de formation relativement petit ne peut pas capturer la richesse et la diversité de la musique humaine. OpenAI a déclaré qu'il est en grande partie formé sur la musique occidentale, ce qui représente un biais clair dans la musique qu'il est capable de générer.

Que pouvez-vous faire avec Jukebox?

Alors, avec ses limites à l'esprit, que pouvez-vous faire avec Jukebox? Un moyen rapide de répondre à cette question est de dire ce que vous ne pouvez pas faire avec Jukebox.

Parce qu'il faut près d'une demi-journée pour rendre une minute de musique, ce n'est pas très utile pour produire de la musique. Du moins, pas au sens traditionnel. Normalement, les musiciens vont et viennent entre jouer sur un instrument (improviser) et planifier la structure d'une chanson. Le même type d'expérimentation n'est pas possible avec Jukebox.

Puisqu'il n'est pas facile de créer une chanson avec Jukebox à ce stade, vous pouvez le considérer davantage comme une nouvelle façon de générer des échantillons de musique. Une fois que vous avez généré l'audio que vous aimez, vous pouvez l'utiliser dans vos projets créatifs comme vous le feriez normalement.

La vidéo ci-dessous est le résultat d'une personne utilisant de la musique créée avec Jukebox pour souligner une courte vidéo de montage.

L'intelligence artificielle a également un large éventail d'applications en dehors des applications créatives, c'est pourquoi cela vaut la peine comprendre ce qu'est l'IA et les dangers qu'elle représente.

Êtes-vous ému par AI Music?

La musique générée par Jukebox n'est pas facile à rejeter, et malgré toute son étrangeté et sa qualité étrange et humaine-machine, elle ressemble finalement à de la musique. Alors que l'industrie de la musique utilise des outils d'intelligence artificielle depuis un certain temps maintenant, la possibilité de générer de la musique sous forme d'audio brut n'est que maintenant une réalité.

Mais bien que des modèles comme Jukebox existent, ils n'ont pas encore été intégrés dans un outil commercial et restent en deçà des capacités des musiciens humains.