Cet algorithme est capable de recréer une image HD à partir d’une image floutée, sauf que…
Des chercheurs américains ont développé une technique innovante pour recréer une image en haute résolution à partir d’une image dégradée en s’appuyant sur le machine learning. Nuance importante: le système ne retrouve pas la photo originale, mais produit une source plausible et réaliste de la photo floutée.
Peut-on, grâce à l’intelligence artificielle, retrouver le visage de quelqu’un à partir d’une photo floutée, par exemple une prise de vue satellite comme on le voit dans certains films? Et bien non, les prodiges de l'intelligence artificielle peinent à y parvenir car l’image floutée ne contient tout simplement pas les informations nécessaires pour retrouver l’original. Ou, pour le dire autrement, les visages d’une multitude de personnes sont susceptibles de produire un seul et même visage flouté.
A partir d’une image en basse résolution, l’intelligence artificielle peut en revanche créer un visage très réaliste en haute résolution. Dans un article scientifique publié il y a quelques jours, des chercheurs de l’université américaine de Duke (Caroline du Nord) décrivent une méthode innovante et performante pour arriver à ce résultat. Leur technique de super-résolution pourrait servir dans de multiples domaines où l’obtention d’images HD est compliquée, notamment pour des questions de coût et de mémoire - on pense notamment aux images satellite, à l’astronomie ou à la microscopie.
Nouvelle approche, meilleurs résultats
Jusqu’à présent, les techniques de machine learning pour produire une image en haute résolution à partir d’une image dégradée recouraient à des réseaux neuronaux convolutifs, expliquent les auteurs de l’article. Entraînés avec des paires d’images (dégradé, non-dégradé), ces systèmes recréent peu à peu une image de qualité en cherchant à minimiser l’écart avec l’image dégradée. Cette approche par optimisation a toutefois ses défauts. Certains détails, comme la texture, sont négligés, alors qu’ils sont importants pour l’impression de réel de la photo obtenue. Il en résulte une photo en haute résolution moyennement convaincante.
Les chercheurs de l’Université de Duke ont développé une approche très différente avec des résultats bien supérieurs. «L'objectif devrait être de générer des images réalistes parmi l'ensemble des solutions possibles, c'est-à-dire de trouver des points qui se trouvent réellement sur la multitude d'images naturelles et qui peuvent aussi être dégradés correctement», expliquent-ils. Dit autrement, leur technique va créer d’abord une multitude d’images possibles en haute résolution à l’aide d’un modèle génératif (des visages par exemple). Ensuite, leur algorithme va rechercher parmi cette gigantesque galerie d’images celles qui, une fois dégradées, correspondent à l'image en input.
Les images en haute résolution obtenues sont ainsi de meilleure résolution et parfaitement réalistes car elles ne résultent pas d’une optimisation (voir les rendus PULSE ci-dessuus, par rapport aux techniques FSRNET et FSRGAN). Autre avantage de l’approche, elle ne nécessite pas d’entraîner le modèle au préalable avec des paires d’images. Enfin, le système permet de produire plusieurs images différentes résultant dans une seule et même image floutée.
> La page décrivant le projet PULSE avec des liens vers le code et l’article.
*PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models
