GauGAN2 est un outil de création de paysages photoréalistes générés par l'IA. Développé par NVIDIA et disponible sous forme de démo Web, GauGAN2 vous permet de modifier l'image autant que vous le souhaitez, en utilisant un mélange de croquis et de saisie de texte pour guider le système d'IA.
Avec un peu de temps, vous pouvez affiner l'image en ajoutant ou en supprimant des détails jusqu'à ce qu'elle soit parfaite. Les images qu'il peut produire semblent souvent réalistes, mais un faux coup et les images peuvent commencer à ressembler à des œuvres d'art fantastiques, plutôt qu'à des paysages réels.
Voici ce que vous devez savoir sur le GauGAN2 de NVIDIA.
Qu'est-ce que le GauGAN2 de NVIDIA ?
GauGAN2 est un générateur d'art AI avec une fenêtre d'édition unique. Développé par la branche de recherche de NVIDIA, la même société qui fabrique des GPU, il est accessible à tous via une démo Web.
C'est similaire en quelque sorte à avec Dall-E 2, un générateur de texte en image d'IA, où vous pouvez taper des phrases comme "soleil se couchant sur le désert" et le système d'IA créera une image basée sur cette description. Cependant, ce n'est pas tout ce que vous pouvez faire avec GauGAN2; il existe plusieurs façons de continuer à modifier l'image.
Une option consiste à utiliser la carte de segmentation pour voir un aperçu des objets dans l'image. À l'aide de ces informations, vous pouvez modifier la forme de choses comme une chaîne de montagnes en redessinant ses limites ou en effaçant complètement des éléments.
Vous pouvez également utiliser l'outil crayon pour dessiner un cercle, par exemple, qui pourrait être rendu comme un soleil. Il en va de même pour dessiner quelques pics en arrière-plan, qui pourraient devenir une chaîne de montagnes, surtout si vous les combinez avec une saisie de texte décrivant la scène.
Après avoir essayé GauGAN2 de NVIDIA, vous voudrez peut-être apprendre comment utiliser l'application Canvas de NVIDIA, qui repose sur la même technologie. Il s'agit d'une application gratuite destinée aux artistes et aux créatifs, mais elle ne fonctionne qu'avec l'un des GPU RTX de NVIDIA.
Comment fonctionne GauGAN2 ?
Dans les coulisses, GauGAN2 a été construit à l'aide de réseaux antagonistes génératifs (GAN). En fait, son nom est une pièce de théâtre sur l'artiste postimpressionniste français Paul Gauguin et GANs.
La raison pour laquelle il peut générer des images qui ressemblent de manière convaincante à de vrais paysages est que, pendant sa période de formation, il a été alimenté avec 10 millions d'images de paysages de haute qualité. La puissance de calcul requise pour entraîner le modèle provenait du supercalculateur NVIDIA Selene, l'un des supercalculateurs les plus puissants au monde.
Les GAN trouvent des utilisations dans de nombreuses applications, y compris de nombreuses Générateurs texte-art IA. La principale différence avec GauGAN2 est la possibilité de modifier l'image générée par l'IA dans un éditeur dédié, en utilisant des outils tels que le stylo, le remplissage et le pinceau pour apporter des modifications.
L'interface est minimale, mais pas vraiment conviviale, et son look rétro pourrait vous rappeler les débuts de Microsoft Paint, par opposition aux logiciels de pointe. Si les commandes ne semblent pas évidentes au premier abord, vous pouvez exécuter un didacticiel rapide ou regarder une vidéo de présentation; cliquez simplement sur les boutons dans le coin supérieur droit de la page.
Quel art peut produire GauGAN2 ?
L'objectif de GauGAN2 est de créer des images photoréalistes de paysages tels que des montagnes, des lacs et des plages.
Il existe une bibliothèque d'étiquettes parmi lesquelles vous pouvez choisir lors de l'esquisse qui aident à étiqueter davantage l'entrée d'esquisse, afin que le générateur d'IA puisse rendre une image appropriée. Ceux-ci incluent des choses comme le brouillard, la colline, la pierre, la neige et l'eau, pour n'en nommer que quelques-uns.
Cependant, il n'est pas difficile que les choses tournent mal et vous êtes tout aussi susceptible de produire des images absurdes et surréalistes. Prenez simplement l'outil crayon et dessinez quelques formes étranges, et GauGAN crachera quelque chose qui ressemble plus à une œuvre d'art expérimentale qu'à quelque chose de reconnaissable.
La saisie de phrases absurdes dans la zone de texte peut également produire des résultats étranges. Parfois, vous n'avez même pas besoin d'aller aussi loin; demander simplement un paysage de montagne a produit ce qui ressemble à une étrange combinaison de neige et de fourrure.
Dans les deux cas, certains artistes peuvent trouver un outil comme celui-ci utile. Il peut être utilisé pour accélérer le processus de storyboard ou comme moyen rapide de créer un concept art pour un jeu ou une vidéo.
Bien que cette démo soit loin d'être un produit fini prêt à l'emploi, elle montre un potentiel intéressant.
GauGAN2: un générateur d'art hybride IA
GauGAN2 rejoint la collection de générateurs d'images AI qui transforment le texte en images. Contrairement à d'autres applications, cependant, vous pouvez modifier l'image par étapes, en utilisant des croquis et du texte comme entrée, en affinant l'image AI comme vous le souhaitez.
S'il est utilisé correctement, GauGAN2 peut produire des images photoréalistes assez convaincantes de la nature, ce qui pourrait être utile pour les artistes qui ont besoin de remplir un storyboard ou de produire rapidement de l'art conceptuel. Cependant, il est trop facile pour les choses de devenir bizarres, et quelques coups de stylo errants peuvent conduire à des résultats intéressants.