OpenAI dévoile un détecteur d'images générées par IA

OpenAI vient de dévoiler un outil de détection des images générées par l'IA. Pour l'instant, l’outil est limité aux images produites par DALL-E3 et est actuellement disponible pour un groupe limité de testeurs (notamment des laboratoires de recherche et des organisations journalistiques). L'objectif est de permettre à ces chercheurs indépendants d'évaluer l'efficacité du système, d'examiner ses applications dans le monde réel et d'explorer les caractéristiques du contenu généré par l'IA, explique OpenAI dans son annonce. 

Selon la start-up californienne, l'outil identifie correctement environ 98% des images de DALL-E3. Moins de 0,5% des images non générées par l'IA ont été incorrectement attribuées à DALL-E3 après des tests internes sur une version antérieure de l'outil. Le classificateur gère bien les modifications courantes telles que la compression, le recadrage et les changements de saturation. Cependant, avec des modifications plus importantes, l’outil se montre moins performant. en particulier lorsque les images créées avec DALL-E3 sont retouchées ou générées par d'autres modèles. «Nous constatons également que la performance du classificateur pour distinguer les images générées par DALL-E 3 et d'autres modèles d'IA est plus faible et que le classificateur signale actuellement ~5-10% des images générées par d'autres modèles d'IA sur notre ensemble de données interne», précise l'entreprise dans son annonce. 

OpenAI ajoute avoir également intégré un système de filigrane audio dans Voice Engine, son modèle de clonage de voix actuellement en preview à l’accès limité. 

OpenAi intègre le comité de pilotage de la C2PA

On se souvient qu’OpenAI contribue à la C2PA (Coalition for Content Provenance and Authenticity) depuis février dernier, date à laquelle elle a rejoint l'alliance en même temps que Google et Meta. OpenAI annonce être désormais membre du comité de pilotage de la C2PA, aux côtés d'un certain nombre d'autres entreprises: Adobe, BBC, Google, Intel, Microsoft, Publicis Groupe, Sony et 
Truepic.  

L'objectif de cette alliance est de mettre en place des standards et des techniques interopérables pour permettre aux utilisateurs en ligne de distinguer les photos prises par des appareils réels de celles produites par des outils d'IA générative, notamment par le biais d'un système d'étiquetage des métadonnées. 

A noter qu’au-delà de ce standard d’étiquetage de métadonnées, OpenAI s'investit également dans le développement de méthodes de filigrane (watermark) résistant à la falsification. On parle ici d'un marquage qui resterait détectable malgré d'importantes manipulations. Précisons que l’outil de détection d'images générées par IA que vient de dévoiler OpenAI ne s’inscrit pas dans ces méthodes basées sur un watermark lié à des métadonnées, mais dans la tentative d’identifier ces images sans qu’aucun filigrane ou autres indices ne soient impliqués.