Les assistants de codage basés sur l’IA ont suscité beaucoup d’attentes dans l’industrie. Présentés comme des outils de productivité révolutionnaires, ils sont pourtant loin d’offrir les résultats escomptés.
Une étude récente réalisée par Uplevel révèle des failles significatives dans leur efficacité, cela bouleverse les perceptions autour de ces outils prometteurs.
L’enthousiasme autour des assistants de codage IA semblait justifié : automatisation, rapidité et moins d’erreurs. Cependant, selon l’étude d’Uplevel, ces outils n’ont pas permis d’améliorer la productivité des développeurs de manière significative. « L’utilisation de GitHub Copilot a également entraîné 41 % de bugs supplémentaires », selon l’étude d’Uplevel.
Un autre objectif des assistants IA était de réduire l’épuisement professionnel chez les développeurs. Pourtant, l’étude démontre que ces outils n’ont eu aucun impact significatif sur ce problème. Le temps de travail passé en dehors des heures normales a diminué pour le groupe témoin et le groupe test utilisant l’outil de codage. Mais il a diminué davantage lorsque les développeurs n’utilisaient pas Copilot.
L’étude a comparé le rendement de 800 développeurs sur trois mois avant et après l’utilisation de Copilot. Les résultats n’ont montré aucune amélioration notable en termes de productivité.
Des attentes déçues
Matt Hoffman, chef de produit chez Uplevel, explique que son équipe s’attendait à des résultats plus positifs. « Notre équipe a émis l’hypothèse que le temps de cycle des relations publiques diminuerait. », explique-t-il. Ils pensaient que l’utilisation d’un assistant de codage IA réduirait le temps de cycle des relations publiques et diminuerait les défauts dans le code. Pourtant, le gain de productivité tant attendu n’a pas été observé. L’IA, malgré ses promesses, semble encore loin d’être un outil infaillible dans le développement.
Malgré ces résultats, Uplevel ne recommande pas d’abandonner complètement les assistants de codage IA. « Il faut juste garder un œil attentif sur ce qui est généré ; fait-il ce que vous attendez de lui ? », ajoute Hoffman. Les outils évoluent rapidement et pourraient offrir des bénéfices à l’avenir, mais la prudence reste de mise.
Les équipes de développement de Gehtsoft USA, dirigées par Ivan Gekht, ont également rencontré des difficultés avec les assistants de codage IA. Gekht souligne que « le dépannage devient si gourmand en ressources qu’il est plus facile de réécrire le code à partir de zéro que de le réparer. » Cette observation met en lumière la complexité de l’intégration des IA dans le développement de logiciels.
Les assistants IA sont-ils vraiment utiles ?
Pour Gekht, les assistants de codage ne remplacent pas la pensée critique humaine, nécessaire pour comprendre et concevoir un logiciel complet. « Il devient de plus en plus difficile de comprendre et de déboguer le code généré par l’IA », explique-t-il. Écrire du code ne représente qu’une petite partie du processus de développement. La plupart du travail réside dans la compréhension des exigences et la conception du système, des tâches où l’IA a encore beaucoup à apprendre.
Cependant, tout n’est pas négatif. Travis Rehl, directeur technique chez Innovative Solutions, note des améliorations substantielles grâce à des outils comme Claude Dev et GitHub Copilot. Selon lui, « la productivité des développeurs augmentait de deux à trois fois », en fonction de la rapidité avec laquelle les tickets de développement sont traités et de la qualité du code mesurée par le nombre de bugs.
- Partager l'article :
