Qu'est-ce que Shap-E d'OpenAI et que peut-il faire ?

Les sociétés de recherche et de déploiement d'intelligence artificielle (IA), comme OpenAI, publient en permanence des fonctionnalités au profit de l'humanité. En plus de ChatGPT, DALL-E, Point-E et d'autres outils performants, OpenAI a publié Shap-E, un nouveau modèle innovant.

Alors, qu'est-ce que Shap-E d'OpenAI et que peut-il faire pour vous ?

Qu'est-ce que le Shap-E d'OpenAI?

En mai 2023, Alex Nichol et Heewon Jun, chercheurs et contributeurs OpenAI, ont publié un papier annonçant Shap-E, la dernière innovation de l'entreprise. Shap-E est un nouvel outil formé sur un ensemble de données massif d'images 3D et de texte appariés qui peuvent générer des modèles 3D à partir de texte ou d'images. C'est similaire à DALL-E, qui peut créer des images 2D à partir de texte, mais Shap-E produit des ressources 3D.

Shap-E est formé sur un modèle de diffusion conditionnelle et une cartographie d'actifs 3D. Le mappage des actifs 3D signifie que Shap-E apprend à associer du texte ou des images aux modèles 3D correspondants à partir d'un grand ensemble de données d'objets 3D existants. Un modèle de diffusion conditionnelle est un modèle génératif qui part d'une version bruitée de la sortie cible et l'affine progressivement en supprimant le bruit et en ajoutant des détails.

En combinant ces deux composants, Shap-E peut générer des modèles 3D réalistes et diversifiés qui correspondent à l'entrée de texte ou d'image donnée et peuvent être visualisés sous différents angles et conditions d'éclairage.

Comment utiliser le Shap-E d'OpenAI

Shap-E n'a pas été rendu public comme les autres outils OpenAI, mais son poids de modèle, son code d'inférence et des exemples sont disponibles en téléchargement sur le Shap-E GitHub page.

Vous pouvez télécharger gratuitement le code Shap-E et installez-le à l'aide de la commande Python pip sur ton ordinateur. Vous avez également besoin d'un GPU NVIDIA et d'un processeur hautes performances, car Shap-E est très gourmand en ressources.

Après l'installation, ouvrez les images 3D que vous générez sur Microsoft Paint 3D. De même, vous pouvez convertir les images en fichiers STL si vous souhaitez les imprimer à l'aide d'imprimantes 3D.

Vous pouvez également signaler des problèmes et trouver des solutions aux problèmes déjà soulevés par d'autres sur la page Shap-E GitHub.

Ce que vous pouvez faire avec le Shap-E d'OpenAI

Shap-E vous permet de décrire des idées complexes en utilisant une représentation visuelle des idées. Les applications potentielles de cette technologie sont illimitées, d'autant plus que les visuels ont généralement des effets beaucoup plus étendus que les textes.

En tant qu'architecte, vous pouvez utiliser Shap-E pour créer des modèles 3D de bâtiments et de structures basés sur des descriptions écrites. Vous pouvez spécifier les dimensions, les matériaux, les couleurs et les styles des structures à l'aide de phrases simples. Par exemple, vous pouvez l'inviter avec: "Créer un gratte-ciel avec 60 étages et des balustrades en verre" et exporter le ou les résultats vers d'autres logiciels pour une édition ultérieure si vous aimez les résultats que vous obtenez.

Les joueurs et les artistes de l'animation peuvent améliorer les environnements virtuels et les expériences visuelles en créant des objets et des personnages 3D détaillés. En ingénierie, vous pouvez décrire les composants, les spécifications et les fonctions des machines et des équipements et obtenir les résultats dans des modèles 3D avant de créer des prototypes physiques.

De plus, même dans des domaines comme l'éducation, Shap-E peut aider les éducateurs à communiquer des idées complexes et abstraites à leurs élèves dans des matières comme la biologie, la géométrie et la physique.

Bien qu'il s'agisse toujours d'un travail en cours, Shap-E a une longueur d'avance sur OpenAI POINT-E, qui produit des nuages ​​de points 3D basés sur des invites textuelles. Les nuages ​​de points sont limités dans leur expressivité et leur résolution, produisant souvent des formes floues ou incomplètes.

Générer des modèles 3D à l'aide de Shap-E d'OpenAI

Shap-E est une démonstration impressionnante de la puissance de l'IA pour créer du contenu 3D à partir de langage naturel ou d'images. Avec lui, vous pouvez créer des objets 3D pour des jeux informatiques, des expériences VR interactives, des prototypes et à d'autres fins. Bien qu'il n'y ait aucune garantie concernant la qualité de sortie, le modèle AI vous offre un moyen rapide et efficace de créer un modèle 3D de n'importe quoi.

En outre, ce modèle d'IA est une contribution importante dans l'espace d'apprentissage en profondeur et conduira probablement à de futures innovations et créations avancées.