Cloudflare veut faire payer les crawlers GenAI
Cloudflare bloque désormais les crawlers IA qui accèdent à des contenus en ligne sans autorisation ni compensation financière. L’entreprise de cybersécurité souhaite laisser le choix aux exploitants de sites web: autoriser l’accès, le bloquer ou exiger une rémunération. Pour cette dernière option, Cloudflare teste actuellement un nouveau modèle «Pay per Crawl».
Les «crawlers» IA, ces bots qui collectent des données pour entraîner des modèles d’intelligence artificielle, accèdent souvent sans autorisation au contenu des sites web. Les robots d'exploration IA collectent le contenu (comme des textes, des articles et des images) avec pour finalité de générer des réponses, mais sans rediriger les visiteurs vers la source initiale. Résultat: les éditeurs, créateurs de contenus et exploitants de sites perdent non seulement des revenus, mais ne savent plus à quelle fréquence ni dans quel but leurs contenus sont utilisés, explique Cloudflare dans le cadre de l'annonce d’une nouvelle mesure visant à contrer ce phénomène.
Cloudflare bloque désormais les crawlers IA qui accèdent à des contenus sans autorisation ou compensation financière. Les exploitants de sites web peuvent ainsi décider eux-mêmes s'ils autorisent l'accès et à quelles conditions, comme l'écrit Cloudflare. Le type d'utilisation par les modèles d'IA peut également être restreint.
Selon l’annonce de l’entreprise, les exploitants ont trois options:
- Autoriser l’accès libre aux crawlers IA
- Bloquer entièrement l’accès
- Exiger une rémunération pour l’utilisation des contenus
Pay per Crawl: une alternative au blocage
Pour cette dernière option, Cloudflare introduit le modèle «Pay per Crawl», un paiement par requête, actuellement en phase de bêta privée. Ce système permet aux exploitants de reprendre le contrôle total sur la monétisation de leurs contenus.
D’après Cloudflare, ce modèle de paiement s’intègre dans l’infrastructure web existante. Techniquement, il repose sur les codes de statut HTTP et des mécanismes d’authentification standardisés.
Voici comment cela fonctionne: lorsqu'un robot d'indexation IA demande du contenu, il indique via l'en-tête de la requête qu'il souhaite payer et obtient l'accès. Dans le cas contraire, il reçoit une réponse de type «paiement requis» avec les informations relatives au prix.Cloudflare agit comme intermédiaire et fournit l’infrastructure nécessaire.
Avec cette mesure, Cloudflare poursuit son offensive contre l'aspiration de contenus par les modèles d’IA générative. En mars dernier, le populaire fournisseur de services dédiés à la performance et à la sécurité des sites web avait déjà dévoilé AI Labyrinth, un système visant à piéger les robots d’exploration ne respectant pas les règles comme robots.txt. Là où le blocage par défaut agit en amont pour refuser l’accès, AI Labyrinth fonctionne comme une défense plus fine, en détournant les crawlers persistants vers un labyrinthe de liens sans fin, afin de ralentir et d’identifier les comportements abusifs.
