Assistants IA pour développeurs: la productivité augmente mais pas la qualité

Les assistants IA boostent la productivité des développeurs informatiques. Le hic? Ce code créé plus rapidement semble perdre en qualité, au point de compliquer sérieusement la tâche de ceux en charge de le nettoyer et de le maintenir sur le long terme. Voilà du moins le constat qui ressort d’une étude de GitClear. Cette société spécialisée dans l’analyse de code s’est focalisée sur l’outil GitHub Copilot et s'est penchée sur 153 millions lignes de code, issues aussi bien de clients commerciaux que de dépôts open source, créées ou modifiées entre janvier 2020 et décembre 2023. Pour rappel, GitHub Copilot a été lancé publiquement en juin 2022. 

Un fossé générationnel? 

Selon GitClear, plusieurs enjeux sont associés aux assistants de programmation. En premier lieu, le fait que les projets logiciels sont inondés de propositions d'ajout de code, mais reçoivent peu de suggestions de mise à jour, de déplacement ou de suppression de lignes. Les auteurs du rapport font en outre observer que les développeurs expérimentés, qui ont une meilleure compréhension des coûts à long terme de la maintenance du code, sont réticents à utiliser les suggestions de l'IA. Au contraire des développeurs juniors, qui produisent aujourd'hui plus rapidement que jamais, jusqu’à l’excès. 

Le «churn» et le copier-coller sont toujours plus fréquents

En analysant la nature des lignes de code prises en compte pour l’étude, ainsi que les éventuelles modifications les concernant, GitClear a constaté que les changements les plus notables, en 2023, concernent le code déplacé (en baisse) et copié-collé (en hausse). Mais surtout le «churn», un indice fort de piètre qualité, qui se réfère à du code poussé vers un dépôt GitHub puis supprimé, modifié ou mis à jour en l'espace de seulement deux semaines. 

Selon les résultats GitClear, le churn était rare auparavant mais il a augmenté de manière significative en 2022-2023, ce qui concorde avec l'émergence d'assistants IA tels que Copilot. En parallèle, le remaniement de code a diminué, alors que cette pratique s'inscrit pourtant dans les principes de stabilité et de testabilité associés à la réutilisation optimisée du code et, donc, à sa qualité. En outre, une augmentation du code copié-collé a été observée, ce qui annonce des problèmes de maintenabilité à long terme.

Les développeurs moins enclins à affiner le code

GitClear a également analysé l'âge des lignes de code révisées et a observé une tendance préoccupante en termes de qualité. A savoir une augmentation sensible d’un remplacement de code dans un délai de deux semaines. Alors qu’avant l'arrivée des assistants IA, les développeurs semblaient plus enclins à affiner et à réutiliser le code récemment écrit. Et les auteurs du rapport de conclure: «Il ne fait aucun doute qu'avec la prolifération de l'IA, nous sommes entrés dans une ère où les lignes de code sont ajoutées plus rapidement que jamais. La meilleure question à se poser pour 2024 est la suivante: qui sera chargé de nettoyer ce qui restera par la suite?»