Les développeurs d’IA craignent de ne plus disposer de données humaines via le crowdsourcing
Selon un expérimentation de chercheurs de l’EPFL, un tiers des travailleurs mobilisés sur la plateforme de crowdsourcing Mechanical Turk emploient déjà ChatGPT pour exécuter leurs tâches. Les chercheurs s’inquiètent que le phénomène fasse qu’il leur soit de plus en plus difficile d’obtenir les données humaines nécessaires à l’entraînement de leurs algorithmes.
Ce n’est pas un mystère: les algorithmes et autres modèles de langage actuels reposent sur des données et contenus humains (encore) indispensables à leur entraînement. Pour obtenir ces données d’entraînement, les organisations et chercheurs usent de différents moyens. Parfois, ils collectent gratuitement des contenus publiés sur le web et sur les réseaux sociaux. Parfois, ils s’appuient sur des entreprises dans des pays à bas coût, à l’image d’OpenAI, qui a recouru à des travailleurs kenyans pour étiqueter les images les plus toxiques. Parfois, ils utilisent des travailleurs distants payés quelques centimes la micro-tâche via des plateformes de crowdsourcing.
Si les données humaines sont l’oxygène des algorithmes, tous ces «travailleurs de la donnée» en sont pour ainsi dire les respirateurs artificiels (humains). Ainsi dans le cas de l’IA générative, les grands modèles de langage sont menacés d’asphyxie si, victimes de leur popularité, ils s’entraînent sur leurs propres créations glanées sur le web et n’ont plus assez de nouveaux contenus humains à «respirer».
Quand le turc mécanique redevient mécanique
Au-delà du risque de prolifération de contenus générés par l’IA sur le web, les plateformes de crowdsourcing menacent elles aussi de ne plus approvisionner les data engineers en données humaines, s’inquiètent des chercheurs de l’EPFL dans un article récent. En cause là aussi, les grands modèles de langage.
Vu leur performance sur une grande variété de tâches, les modèles à la ChatGPT pourraient en effet être utilisés par les travailleurs mobilisés via les plateformes de crowdsourcing, telles que le service Mechanical Turk d’Amazon. Au lieu d’exécuter «humainement» les tâches pour lesquelles ils sont rémunérés (étiquetage de données, réponse à des questions, etc.) , ils pourraient exploiter les outils d’IA pour gagner du temps. N’est-ce pas d’ailleurs la promesse de l’IA générative que d’augmenter la productivité?
Image d'une gravure sur cuivre de Karl Gottlieb von Windisch représentant l'automate Le Turc Mécanique. (Source: Wikimedia)
Rappelons que le nom de Mechanical Turk qu’Amazon a donné à sa plateforme vient du Turc mécanique, un automate joueur d’échec créé au XVIIIème siècle. En fait, le prétendu automate n’en était pas un et dissimulait un joueur humain décidant des coups et manipulant les pièces sur l’échiquier. En usant du service d’Amazon, on peut ainsi avoir l’impression de recourir à une machine, alors qu’en fait ce sont des personnes qui font le travail. Ramené au cas qui nous intéresse, ce que craignent les chercheurs, c’est que l’humain opérant en cachette ne se serve lui-même d’une machine. Autrement dit que le Turc mécanique soit finalement mécanique - une «intelligence artificielle artificielle artificielle», pour reprendre l’expression employée par les auteurs.
Un tiers des travailleurs crowdsourcés suspects d’employer l’IA
Pour évaluer si les travailleurs du Mechanical Turk emploient déjà ChatGPT, les chercheurs de l’EPFL leur ont soumis la tâche de résumer des abstracts (résumés introductifs) d’articles de recherche médicaux. Pour l’anecdote, les travailleurs ont été payés 1 dollar le résumé, les chercheurs estimant qu’il faut en moyenne 4 minutes pour en rédiger un (?!).
En parallèle, les chercheurs ont entrainé un modèle à distinguer des résumés rédigés par des humains de résumés générés par ChatGPT. Ils ont ensuite employé ce modèle pour déterminer parmi les résumés produits par les travailleurs crowdsourcés, la proportion suspecte d’avoir été faite avec ou à l’aide de ChatGPT.
Pour davantage de précision, les chercheurs se sont également appuyés sur les frappes clavier des travailleurs, en partant de l’idée que ceux qui ont fait usage du copier-coller sont davantage suspects d’avoir utilisé ChatGPT. (Bien que limité à la fenêtre d’édition et au copier-coller, les auteurs de l’article reconnaissent que l’emploi d’un outil enregistrant les frappes clavier peut poser problème).
Selon leur analyse, et en ne comptant que les cas où la probabilité est d’au moins 98%, les chercheurs estiment qu’un tiers des travailleurs mobilisés ont utilisé ChatGPT. Sur les 46 résumés produits, 41 ont fait usage du copier-coller, dont 26 attribués à l’humain et 15 à ChatGPT.
Pour les chercheurs, ces résultats montrent que ChatGPT est déjà largement employé par les travailleurs de Mechanical Turk, ce qui «soulève de graves inquiétudes quant à la dilution progressive du facteur humain dans les données textes». Ils ajoutent qu’avec l’adoption croissante des grands modèles de langage, l’acquisition de données humaines va devenir plus ardue.
Source: Veniamin Veselovsky, Manoel Horta Ribeiro, Robert West: «Artificial Artificial Artificial Intelligence: Crowd Workers Widely Use Large Language Models for Text Production Tasks» (version du 13 juin 2023)
