Avant de nous asphyxier, l’IA pourrait elle-même asphyxier
A l’avenir, à force d’être entraînées et ré-entraînées avec des contenus qu’elles ont elles-mêmes produits, les IA génératives risquent d’avoir une représentation du monde de plus en plus faussée et de générer des contenus de moins en moins vraisemblables. Elles pourraient être en quelque sorte atteintes de démence, analysent des chercheurs britanniques et canadiens dans un article récent.
Les grand modèles de langage menacent d’inonder le monde de contenus générés artificiellement, avec des impacts sur la confiance encore difficiles à appréhender. Mais les modèles pourraient être inondés en retour par ces mêmes contenus. Dans un article publié fin mai, des chercheurs britanniques et canadiens montrent qu’avec le temps, les IA génératives pourraient ainsi être frappées de démence.
Les chercheurs rappellent que les grands modèles de langage à la ChatGPT et Midjourney ont été entraînés en puisant dans le gigantesque stock de contenus de toutes sortes publiés sur internet. «On aura bientôt entraîné les modèles sur tous les textes humainement disponibles», expliquait François Chollet, responsable des développements IA chez Google, à ICTjournal au printemps 2022.
Pour perfectionner les modèles actuels et en développer de nouveaux, les data engineers vont donc chercher de nouveaux contenus à exploiter, et dans cette masse, on trouvera une part croissante de textes, images et autres vidéos générés par les IA elles-mêmes. Et les chercheurs de s’interroger: «Que se passe-t-il lorsque des textes produits par une version de GPT forment la majorité de l’échantillon servant à entraîner les modèles suivants? Qu’arrive-t-il aux versions GPT-n, lorsque n augmente?».
Démence progressive
Le constat des chercheurs est sans appel: au fur et à mesure qu’ils sont entraînés avec leurs propres productions, les modèles dégénèrent. Avec le temps, ils oublient la distribution des données sous-jacente censée représenter le monde, quand bien même cette distribution ne change pas. «La démence du modèle est un processus dégénératif affectant des générations de modèles génératifs appris, où les données générées finissent par polluer l'ensemble d'entraînement de la génération suivante de modèles; étant entraînés sur des données polluées, ils perçoivent alors mal la réalité», expliquent les chercheurs.
Ils montrent que les modèles commencent par oublier les cas extrêmes: les événements les plus probables sont surestimés, tandis que les plus improbables - les cygnes noirs chers à Nassim Taleb - sont négligés. Après quoi, les versions successives des modèles convergent vers une distribution présentant peu de variance et très éloignée de la réalité.
La démence du modèle fait référence à un processus d'apprentissage dégénératif dans lequel les modèles commencent à oublier des événements improbables au fil du temps, à mesure que le modèle s'empoisonne avec sa propre projection de la réalité.
Selon les chercheurs, le phénomène tient principalement à l’erreur d’approximation statistique et touche aussi bien les modèles nouvellement entraînés que ceux qui sont bâtis sur des modèles existants, comme c’est de plus en plus souvent le cas. Et surtout, la démence progressive est inévitable. Seul remède: trouver des contenus neufs produits par des humains. Des contenus de plus en plus rares dont la valeur devrait grimper.
