Repenser la supervision humaine de l’IA générative
Face aux hallucinations de l’IA générative, c’est la vigilance et l’intervention d’un humain qui assurent la fiabilité des outputs. Encore faut-il choisir un mode de contrôle humain adapté et éviter que la supervision ne se transforme en simple alignement sur les outputs de la machine.
Qui n’a pas rêvé qu’en plus de converser et d’avoir réponse à tout, les outils d’IA générative fournissent des réponses correctes? Qu’ils puissent par exemple renseigner un client de manière fiable sur la disponibilité et le délai de livraison d’un produit, ou générer un contrat prêt à envoyer aux autres parties pour signature? Malheureusement, si les contenus générés artificiellement sont souvent justes, ils renferment fréquemment des erreurs et autres affabulations. Intrinsèquement lié à la technologie elle-même, le phénomène est connu et, désormais, reconnu par les leaders du domaine. En septembre 2025, OpenAI admettait ainsi que ChatGPT n’est pas immunisé contre les hallucinations (le terme consacré), qu’il s’agit d’un problème central des grands modèles de langage et que ces derniers n’atteindront jamais 100% d’exactitude.
Le manque de fiabilité des productions des LLM est l’un des principaux obstacles aux projets d’automatisation des entreprises et explique nombre d’échecs en la matière. Selon une enquête de McKinsey, c’est le premier risque lié à la GenAI que les organisations cherchent à réduire, avant même la sécurité. Et Salesforce, jusqu’ici très enthousiaste sur la technologie, a tout récemment opéré un virage stratégique. Compte tenu des lacunes des modèles, l’éditeur SaaS souhaite désormais se consacrer au développement de systèmes d’automatisation déterministes.
L’humain à la rescousse
Ces hallucinations des LLM génèrent de nombreux risques: erreurs opérationnelles, problèmes de qualité, atteinte à la réputation et même perte de productivité, quand des collaborateurs doivent passer du temps à vérifier les documents truffés d’erreurs que leurs collègues leur ont transmis. Des chercheurs anglophones ont récemment créé le néologisme «workslop» pour qualifier ces productions de piètre qualité.
Plutôt que d’ignorer le problème ou d’en faire un blocage interdisant tout déploiement d’IA générative, il s’agit surtout de contraindre et d’encadrer les productions des LLM. Pour ce faire, les organisations recourent à diverses mesures et garde-fous techniques: prompts, fine-tuning spécialisé, RAG, validation automatisée lorsque c’est possible. La plupart du temps, l’intervention d’un collaborateur s’avère toutefois indispensable. Autrement dit il faut mettre un humain dans la boucle (Human-in-the-Loop), par exemple un expert ayant la tâche de valider ce qui a été produit par un agent à une étape du workflow.
Choisir le bon type d’intervention
Le Human-in-the-Loop n’est cependant pas la solution, mais un éventail de solutions. L’intervention humaine peut en effet prendre diverses formes, allant du contrôle systématique de tous les outputs dans leur intégralité, à des audits ponctuels de la performance du modèle.
Plusieurs critères permettent de déterminer le mode d’intervention le plus approprié au processus:
- Objectif. Que cherche-t-on à optimiser en priorité? La solution GenAI a-t-elle pour objet d’augmenter le volume de production? Sa qualité? Son caractère innovant?
- Tolérance à l’erreur. L’IA peut générer des contenus et réponses erronés. Ces erreurs ont-elles un impact négligeable ou les conséquences sont-elles importantes et irréversibles?
- Taux d’hallucination. Quelle proportion des réponses contient des erreurs? En quelle quantité? Des mesures techniques d’atténuation sont-elles possibles? A quel coût?
- Compétences. De quelle expertise doivent disposer les collaborateurs chargés de vérifier les productions? De quelle capacité de vigilance? De quels profils a-t-on besoin? A quel coût?
Ces critères peuvent orienter les organisations vers tel ou tel mode d’intervention humaine en fonction du processus. Parfois, de simples audits ponctuels suffiront. Parfois, l’organisation exigera que tous les contenus soient validés par un spécialiste, quitte à ce que cela nuise à la productivité. Parfois enfin, il s’agit de repenser fondamentalement le processus et les tâches pour façonner l’intervention humaine la plus adéquate et sensée.
Prenons deux exemples bien distincts. Une première entreprise décide d’automatiser la production de milliers d’e-mails promotionnels personnalisés à l’aide d’un LLM. La mauvaise qualité de ces messages risque de nuire à la performance de la campagne, voire détériorer la crédibilité et la réputation de l’entreprise. Si l’organisation juge ces risques acceptables, elle peut très bien se contenter d’examiner un échantillon des e-mails et surveiller les indicateurs de performance pour intervenir en cas de déviation.
Considérons maintenant une deuxième organisation, qui exploite une solution GenAI capable de rédiger des contrats à partir d’une lettre d’intention en s’appuyant sur des templates et des exemples passés. Il s’agit d’un processus critique aux conséquences irréversibles. Des erreurs contractuelles (clauses inappropriées, juridiction erronée, écarts avec les précédents de l’entreprise, etc.) engagent directement la responsabilité de l’organisation et des signataires. Dans un tel cas de figure, l’entreprise estimera sans doute qu’une validation systématique et explicite par un collaborateur compétent est indispensable.
Contenir les effets pervers de l’association humain-IA
S’appuyer de la sorte sur l’humain permet de profiter de l’IA générative tout en encadrant ses lacunes, à condition toutefois de veiller à ce qui se joue côté humain. L’emploi de ces outils recèle en effet nombre d’effets pervers paradoxaux aujourd’hui bien documentés. On attend du collaborateur qu’il use de son expertise, qu’il fasse preuve d’esprit critique, qu’il soit vigilant et méfiant à l’égard des outputs. Mais, insidieusement, les capacités et les interfaces des solutions GenAI incitent au contraire l’utilisateur à leur faire excessivement confiance, à s’y conformer et à leur déléguer toujours plus de tâches. Résultat: les compétences, la responsabilité, le sentiment de maîtrise et la motivation reculent. Agrégés, ces travers menacent non seulement le traitement des erreurs de l’IA, mais aussi les savoirs uniques de l’organisation et sa capacité à apprendre, à innover et à apporter des réponses inédites aux situations imprévisibles.
Diverses mesures permettent de réduire ces impacts sur l’humain. Au niveau organisationnel, il convient de clarifier les objectifs, les responsabilités et les attentes à l’égard de l’utilisateur, ainsi que la façon dont son apport sera mesuré. L’entreprise peut aussi veiller à organiser le travail pour que les employés alternent entre des tâches de vigilance active et d’autres tâches sans IA propices à l’apprentissage et à l’épanouissement. Pour que les utilisateurs développent une confiance adéquate dans la GenAI, l’organisation peut aussi mettre en place des mécanismes de feedback les informant ponctuellement sur la qualité des contenus qu’ils ont validés.
Mais, pour garantir un contrôle efficace sur les productions de l’IA générative, il convient également de former les collaborateurs travaillant avec l’IA ou chargés de vérifier ses outputs. Contrairement aux logiciels classiques, on ne saurait se contenter d’enseigner aux utilisateurs à bien employer les outils IA. Pour que leur surveillance soit efficace, il s’agit aussi de développer leur emploi critique de la technologie.
Un tel usage repose sur la compréhension du fonctionnement de la technologie, de ses limites et de la nature de ses erreurs. Il implique aussi une attention de l’utilisateur à ses propres mécanismes cognitifs, aux tâches qu’il délègue implicitement à l’IA et aux comportements que ces dispositifs encouragent. Il suppose enfin la maîtrise de pratiques permettant de maintenir la vigilance, de calibrer la confiance et d’entretenir un rapport raisonné à l’outil.
