DALL·E 2: L’IA qui crée des images à partir de texte devient vraiment bluffante

Le laboratoire OpenAI avait impressionné son monde voici un peu plus d’une année, en levant le voile sur DALL·E. Derrière ce mot-valise formé à partir de Dali et de WALL·E (le robot des studios Pixar), se cache une IA capable de générer de nouvelles images à partir d’un bref descriptif.

Avec DALL·E 2, OpenAI a nettement amélioré le système, qui génère désormais des images d’une résolution bien plus précise. D’après ses concepteurs, les images seraient quatre fois plus photoréalistes. DALL·E 2 s'appuie sur CLIP, un système de vision par ordinateur qu'OpenAI a annoncé l'an passé. CLIP analyse des images et résume ensuite leur contenu par des descriptions. Pour DALL·E 2, le système est est inversé et combiné à un processus que les chercheurs d’Open AI nomment «diffusion». Ce dernier «part d'un motif de points aléatoires et modifie progressivement ce motif vers une image lorsqu'il reconnaît des aspects spécifiques de cette image», expliquent les concepteurs.

En outre, DALL·E 2 peut apporter des modifications réalistes à des images existantes à partir d'une légende en langage naturel. Le système peut ajouter et supprimer des éléments tout en tenant compte des ombres, des reflets et des textures. OpenAI souligne que DALL·E 2 est un projet de recherche qui n’est pas mis publiquement à disposition. «Dans le cadre de nos efforts pour développer et déployer l'IA de manière responsable, nous étudions les limites et les capacités de DALL-E avec un groupe restreint d'utilisateurs», précise OpenAI.

Sur le même sujet, lire notre dossier >> Modèles de langage géants