Christoph Heitz, ZHAW: «Un humain qui clique sur ‹confirmer› ne constitue pas encore un contrôle»
L’IA ne doit pas seulement être performante, mais aussi équitable, compréhensible et contrôlable. Mais la portée concrète de ces exigences ne relève pas uniquement de la technique. Christoph Heitz, professeur à la ZHAW, explique comment les entreprises peuvent arbitrer entre des objectifs contradictoires, vérifier les explications fournies par les systèmes d’IA et mettre en place un contrôle humain efficace.
Vous dirigez le domaine AI & Society à la ZHAW et menez notamment des recherches sur l’équité algorithmique et l’éthique de l’IA. Qu’est-ce qui caractérise selon vous une IA responsable?
Une IA responsable commence par la prise de conscience que les systèmes d’IA ont des effets réels sur les personnes. Lorsqu’un système intervient dans l’octroi de crédits, l’attribution d’emplois ou de prestations sociales, il influence la répartition des opportunités et des risques dans la société. De telles décisions ne sont jamais totalement neutres et comportent toujours une dimension éthique. On peut parler d’IA responsable lorsque le développement et l’utilisation d’un système ne sont pas uniquement axés sur l’efficacité ou les bénéfices économiques, mais prennent aussi en compte leurs effets sur les personnes et la société. La logique décisionnelle du système d’IA doit reposer de manière transparente sur des principes tels que la transparence, l’équité, la sécurité et l’explicabilité, et les choix de conception correspondants doivent pouvoir être justifiés et expliqués. Une IA responsable implique également que les humains conservent le contrôle des décisions importantes et que les responsabilités liées à ces décisions soient clairement définies.
Qui décide de ce qu’est une IA équitable?
Certainement pas les techniciens et les informaticiens! Ce n’est pas une question technique, mais une décision fondée sur des valeurs et des normes: quelle conception de l’équité ou de la justice sociale faut-il mettre en œuvre? Les avis peuvent diverger, mais tout choix de conception technique concrétise l’une de ces conceptions. Dans la pratique, l’équité est mesurée au moyen de métriques dites de fairness. Il en existe des dizaines, formulées mathématiquement, et certaines sont incompatibles entre elles. Nos recherches montrent que les métriques d’équité courantes peuvent être interprétées comme l’expression de différentes conceptions de la justice. Cela permet de rendre visibles les jugements de valeur qui se cachent derrière un choix technique. La décision revient en définitive à ceux qui portent la responsabilité et disposent de la légitimité nécessaire: le droit fixe des exigences minimales, notamment en matière de non-discrimination, et au-delà, c’est à l’organisation qui déploie le système de trancher, idéalement en associant les personnes concernées. Le rôle de la technique consiste à rendre ce choix explicite et à en montrer les conséquences.
Un système d’IA peut satisfaire à des critères formels d’équité tout en étant perçu comme injuste par les personnes concernées. Où se situent les limites de ces critères?
A plusieurs niveaux. Premièrement, la plupart des critères mesurent en moyenne l’égalité entre des groupes. Un individu peut malgré tout être traité injustement, et c’est précisément cette perspective individuelle qu’adoptent les personnes concernées. Deuxièmement, les approches courantes de «Fair Design» sont souvent formulées de manière trop technique et ne tiennent pas suffisamment compte des conséquences des décisions pour les personnes concernées. Cela peut déboucher sur des résultats manifestement choquants. Troisièmement, toutes les prédictions ne sont pas équivalentes sur le plan moral: prédire si une personne remboursera un crédit ou si elle commettra un délit n’implique pas les mêmes exigences en matière d’équité. Enfin, les critères statistiques ne prennent guère en compte la dimension procédurale: la possibilité d’être entendu, de contester une décision ou de comprendre comment elle a été prise. Ces aspects sont souvent déterminants dans la perception de la justice.
L’équité et la performance peuvent entrer en conflit. Jusqu’où une entreprise peut-elle sacrifier la performance au profit de l’équité?
Il n’existe pas de réponse générale, mais le cadre est clair. Tout d’abord, en dessous des exigences légales, il n’y a rien à arbitrer: la discrimination n’est pas une question d’efficacité. Au-delà de ce seuil, il s’agit d’un arbitrage qui doit être effectué en toute connaissance de cause. Dans nos recherches actuelles, nous caractérisons ce que l’on appelle la frontière de Pareto, c’est-à-dire l’ensemble des solutions pour lesquelles il n’est plus possible d’améliorer l’équité sans sacrifier la performance, et inversement. Un constat important est que de nombreux systèmes ne se trouvent même pas sur cette frontière. Il est alors possible d’améliorer l’équité sans perdre en performance. Et lorsqu’un véritable conflit d’objectifs existe, il est souvent moins important qu’on ne le craint. Autre point: la «performance» est souvent assimilée à la précision des prédictions. Or ce qui compte, c’est l’utilité pour l’ensemble des parties prenantes, y compris les personnes concernées. Considéré sous cet angle, le compromis apparaît en réalité comme une question de répartition, qu’une entreprise devrait être en mesure d’aborder ouvertement et de justifier.
L’explicabilité constitue un élément important d’une IA digne de confiance: les utilisateurs doivent pouvoir comprendre pourquoi un système arrive à un résultat donné. Comment parvenir techniquement à cette transparence?
Il existe deux approches fondamentales. La première consiste à utiliser des modèles d’IA qui sont intrinsèquement interprétables, par exemple des modèles de scoring simples ou des arbres de décision. Dans de nombreuses applications reposant sur des données tabulaires, ils offrent des performances presque équivalentes à celles de modèles complexes et devraient donc être sérieusement envisagés. La seconde approche repose sur des méthodes d’explication a posteriori appliquées à des modèles complexes. Elles peuvent indiquer quelles caractéristiques ont influencé une décision ou fournir des explications contrefactuelles, par exemple: «Si votre revenu avait été supérieur de X, le crédit aurait été accordé.» Ces dernières sont souvent les plus utiles pour les personnes concernées, car elles mettent en évidence des possibilités d’action. Mais un point est essentiel: l’explicabilité n’est pas une caractéristique purement technique. Une explication doit être adaptée à son public. Une développeuse, une gestionnaire ou un demandeur de crédit n'ont pas les mêmes besoins.
Une IA peut fournir une explication plausible sans révéler les véritables raisons de son résultat. Comment déterminer si une explication reflète réellement le comportement du modèle ou si elle se contente d’être convaincante?
C’est un problème sérieux, en particulier avec les modèles de langage, qui peuvent formuler des justifications très convaincantes sans que celles-ci soient nécessairement correctes. Plausibilité et fidélité à la réalité sont deux choses différentes. Il est toutefois possible de tester les explications. Si une explication affirme que la caractéristique A a été déterminante, une modification de A doit effectivement modifier le résultat. Si ce n’est pas le cas, l’explication est fausse. Ces tests d’intervention, qui consistent à faire varier systématiquement les données d’entrée et à vérifier si le modèle réagit comme l’explication le prévoit, constituent l’outil le plus important. Dans le cas des méthodes d’explication a posteriori, on sait par ailleurs qu’il s’agit d’approximations et qu’elles peuvent produire des résultats différents pour une même décision. Lorsque les enjeux sont importants, cela plaide en faveur de modèles interprétables dans lesquels le modèle et son explication ne font qu’un.
Un système d’IA peut-il détecter de manière fiable ses propres incertitudes et les communiquer ouvertement aux utilisateurs?
En partie. Il existe de bonnes méthodes permettant de quantifier statistiquement l’incertitude, par exemple des probabilités calibrées ou des méthodes qui fournissent, au lieu d’une prédiction unique, un intervalle de résultats plausibles avec un taux de couverture garanti. Mais elles ne fonctionnent que tant que la situation d’utilisation reste similaire aux données d’entraînement. Le véritable problème concerne les situations auxquelles le système n’a encore jamais été confronté. Dans ces cas, il peut se montrer très sûr de lui tout en ayant tort, sans parvenir à le détecter de manière fiable. Avec les modèles de langage, un autre problème s’ajoute: le degré de confiance exprimé dans le langage peut être très éloigné de la précision réelle. La communication de l’incertitude exige elle aussi de la prudence. Une probabilité n’est utile que si les personnes savent comment l’interpréter. Il est souvent préférable de concevoir le système de manière à ce que les cas incertains soient automatiquement transmis à un humain.
Le contrôle humain est considéré comme un élément important de l’IA responsable. Comment doit-il être organisé pour que les humains puissent réellement examiner les résultats de l’IA de manière critique et les corriger si nécessaire?
Un humain qui clique sur «confirmer» à la fin d’un processus ne constitue pas encore un contrôle. La recherche montre très clairement que les humains ont tendance à suivre les recommandations des machines, en particulier lorsqu’ils sont sous pression temporelle. Un contrôle efficace suppose plusieurs conditions: disposer de suffisamment de temps et de compétences pour réellement examiner un cas; avoir accès aux informations pertinentes, et pas seulement au résultat; disposer de l’autorité nécessaire et du soutien de l’organisation pour s’écarter de la recommandation sans devoir se justifier; et recevoir un retour permettant de savoir quand le système avait raison et quand l’humain avait raison. Il peut aussi être utile d’inverser l’ordre des étapes: l’humain se forge d’abord sa propre opinion, puis prend connaissance de l’évaluation du système. Enfin, il faut vérifier honnêtement si le contrôle est réellement exercé au quotidien. Si le taux de divergence tend vers zéro, c’est un signal d’alerte.
Vous avez contribué au concept de «Pro-Human AI Design», qui vise à préserver ou à renforcer l’autonomie humaine dans l’utilisation de l’IA. A partir de quand l’allègement de la charge de travail grâce à l’IA devient-il problématique parce que les humains perdent des compétences ou abandonnent leur pouvoir de décision?
Lorsque l’IA ne se contente plus de prendre en charge des tâches fastidieuses, mais qu’elle remplace précisément les activités dans lesquelles les humains exercent leur capacité de jugement, leur responsabilité et leurs relations avec les autres. Dans le cadre du Pro-Human AI Design, nous nous demandons donc comment concevoir l’IA afin qu’elle renforce ce qui nous caractérise en tant qu’êtres humains, au lieu d’affaiblir des dimensions telles que la capacité à nouer des relations, la responsabilité et l’autonomie. La solution ne consiste souvent pas à renoncer à l’IA, mais à repenser sa conception. Dans un cas d’usage médical, nous avons pu montrer que le passage d’une génération entièrement automatisée des comptes rendus à une complétion de texte assistée par l’IA préservait mieux la relation et la responsabilité de la médecin envers le patient. La médecin reste l’autrice du texte. La situation devient donc problématique lorsque les humains se contentent de valider des résultats qu’ils ne seraient plus capables de produire ou d’évaluer eux-mêmes.
Le comportement des systèmes d’IA peut évoluer à la suite de mises à jour, de nouvelles données ou de changements dans les conditions d’utilisation. Comment s’assurer qu’une IA jugée digne de confiance le reste?
La fiabilité n’est pas une caractéristique que l’on vérifie une fois avant de cocher une case, mais un état qui doit être surveillé en permanence. Concrètement, cela signifie mesurer en exploitation les performances et les indicateurs liés à la fiabilité, et pas seulement avant le déploiement; surveiller l’évolution de ces valeurs; traiter chaque mise à jour comme un nouveau déploiement nécessitant de nouveaux contrôles; et définir clairement qui doit intervenir lorsqu’une anomalie est détectée. Il est également important que les personnes concernées et les utilisateurs puissent signaler les problèmes et que ces signalements soient réellement analysés. Il ne faut pas non plus sous-estimer les effets de rétroaction: par ses décisions, un système modifie le monde dont proviendront ses futures données. Si l’on accorde par exemple moins souvent des crédits à certains groupes, on disposera par la suite de moins d’informations à leur sujet. Ce phénomène ne peut être maîtrisé qu’au moyen d’une gouvernance délibérée couvrant l’ensemble du cycle de vie, et non grâce à une certification ponctuelle.
Quelles compétences sont nécessaires pour garantir une utilisation responsable de l’IA dans les entreprises ou les organismes de droit public?
C’est une question absolument centrale. Une chose est claire: l’expertise technique est importante, mais elle ne suffit pas. On ne peut donc pas simplement déléguer cette responsabilité à l’informatique. Il est tout aussi clair que les règles de gouvernance sont importantes, mais qu’elles ne suffisent pas non plus pour assurer leur mise en œuvre. Les approches efficaces nécessitent une analyse claire des risques juridiques et éthiques, une gestion des risques orientée vers des objectifs précis et une mise en œuvre technique solide, le tout selon une démarche agile et efficace. Les lacunes en matière de compétences sont importantes dans ce domaine. C’est pourquoi nous avons fondé en 2025 le Swiss Centre for Responsible AI (SCRAI), un think-and-do tank destiné aux entreprises et aux administrations suisses. Nous y regroupons des connaissances sur l’IA responsable issues de différentes disciplines et les mettons à disposition, qu’il s’agisse d’évaluations de Responsible AI, de conseil stratégique ou d’un soutien concret à la mise en œuvre. Nous souhaitons ainsi contribuer à faire entrer l’IA responsable dans la pratique en Suisse.
L’actualité IT en Suisse et à l’international, avec un focus sur la Suisse romande, directement dans votre boîte mail > Inscrivez-vous à la newsletter d’ICTjournal, envoyée du lundi au vendredi!
