IA générative et productivité

Pierre me disait que les clients lui demandent de l’aide pour adopter l’IA générative parce qu’ils ont maintenant peur d’être en retard sur le sujet par rapport à leur compétition.

À mon humble avis, cet effet FOMO (Fear Of Missing Out) n’est qu’une conséquence de l’inconnu. La peur est également une stratégie que certaines entreprises d’IA utilisent à tort pour accélérer la  commercialisation de leurs produits ou services.

Mais le FOMO ne devrait pas être le moteur d’une initiative d’IA et n’a jamais été une raison suffisante pour investir. La peur a aussi des effets tellement négatifs sur notre cerveau que je pense qu’elle pourrait avoir l’effet inverse voir geler les initiatives.

Aujourd’hui, nous devrions simplement considérer les preuves que certaines études ont mises en lumière, à savoir que la technologie de l’IA générative est un stimulant reconnu de la productivité. Et je pense que nous n’avons pas vu beaucoup de technologies qui peuvent prétendre contribuer des gains de productivité à deux chiffres.

Jetons donc un coup d’œil à quelques articles et à leurs conclusions, d’accord ?

Productivité des consultants BCG

Une nouvelle étude du MIT sur l'impact de l'IA générative sur les travailleurs hautement qualifiés révèle que lorsque l'intelligence artificielle est utilisée (dans les limites de ses capacités), elle peut améliorer les performances d'un travailleur jusqu'à 40 % par rapport aux travailleurs qui ne l'utilisent pas. Dans le même temps, les performances des travailleurs chutent de 19 % lorsque l’IA est utilisée en dehors de cette limite.

Mais quelles sont exactement les limites supérieures des capacités de l'IA ? Essayons de comprendre.

L’étude a impliqué 700 consultants du Boston Consulting Group. Il s’agissait de 2 groupes, l’un adapté aux capacités de GPT-4, l’autre recevant des affectations conçues pour que GPT-4 fasse une erreur. Chaque sous-groupe a été subdivisé en 3 conditions : pas d’accès à l’IA, accès à GPT-4 et accès guidé à GPT-4.

Les missions « adaptées à l’IA » impliquaient la conception et la présentation d’un nouveau produit, comprenant plusieurs actions, de la présentation au lancement, comme un slogan marketing, un article de 2500 mots et des leçons apprises. Les deux sous-groupes dotés d’IA ont obtenu de meilleurs résultats avec 38 % et 42,5 % par rapport à un groupe sans IA. Ils reconnaissent également qu’elle a le plus profité aux moins performants de la moitié inférieure, ce qui suggère que l’IA est également bonne pour améliorer les compétences des employées juniors.

Les missions « en dehors des capacités de l'IA » ont impliqué 3 produits/marques, en digérant leurs données financières et en préparant un mémo de stratégie d'investissement avec des justifications. Les deux sous-groupes dotés d'IA ont sous-performé avec 13 % et 24 % par rapport à aucun groupe d'IA. Les chercheurs en IA ont observé que la baisse des performances était due au fait que les gens « éteignent en quelque sorte leur cerveau et suivent ce que l'IA recommande ».

Les chercheurs font ensuite quelques recommandations sur la façon d'empêcher les gens de suivre aveuglément des réponses très crédibles générées par l'IA, mais qui pourraient être erronées.

Productivité des agents du service à la clientèle

Une autre étude du National Bureau of Economic Research a révélé que l'IA générative peut augmenter la productivité des travailleurs de 14 %. Cette augmentation a été plus prononcée chez les travailleurs moins expérimentés et peu qualifiés (amélioration de la productivité de 34 %). L'outil d'IA a également amélioré le sentiment des clients, réduit l'escalade managériale et réduit l'attrition des travailleurs.

L'étude a porté sur 5179 agents du service client qui ont utilisé un outil basé sur le grand modèle de langage (LLM) Generative Pre-trained Transformer (GPT) d'OpenAI. Le LLM a aidé les agents à répondre plus rapidement, à répondre à plus de chats par heure et à résoudre les chats avec plus de succès. En plus d'améliorer la productivité, l'IA peut également contribuer à améliorer la satisfaction des clients.

L'expérience a été menée par une société de logiciels du Fortune 500 qui fournit des logiciels de processus métier. L'entreprise a échelonné le déploiement d'un assistant conversationnel génératif basé sur l'IA auprès de 5 179 agents du support client. L'outil d'IA a vu 3 millions de chats clients et a fourni aux agents 1,2 million de suggestions d'IA en temps réel sur la façon de répondre. Les chercheurs ont utilisé une régression d’écart dans les différences pour isoler l'impact causal de l'accès aux recommandations de l'IA sur la productivité des agents.

L’accès à l’assistance basée sur l’IA peut avoir un impact sur la façon dont les clients traitent les agents, car il peut améliorer la teneur des conversations en aidant les agents à définir les attentes des clients ou à résoudre leurs problèmes plus rapidement. Cela se traduit également par moins de jurons, de violence verbale et de cris, ce qui entraîne moins d’épuisement professionnel et d’attrition chez les travailleurs du service à la clientèle.

Les résultats de cet article soulèvent également des questions sur la façon dont les travailleurs, en particulier les plus performants, devraient être rémunérés pour les données qu’ils fournissent aux systèmes d’IA (car ils sont ceux qui fournissent le plus d’exemples de formation de premier ordre et bénéficient de moins de gains de productivité).

Productivité des professionnels diplômés de l’enseignement supérieur sur des tâches d’écriture

Dans l'ensemble, l'article de Noy et Zhang mentionne que les gens étaient 40 % plus rapides et que leur qualité augmentait de 18 % lorsqu'ils utilisaient ChatGPT. Les travailleurs exposés à ChatGPT pendant l'expérience étaient également 2 fois plus susceptibles de déclarer l'utiliser dans leur vrai travail 2 semaines après l'expérience et 1,6 fois plus susceptibles 2 mois après l'expérience.

L’article discute des résultats d’une expérience menée pour étudier les effets de ChatGPT sur des tâches d’écriture. L’expérience a impliqué 444 participants, des professionnels ayant fait des études supérieures, qui ont été répartis au hasard dans l’un des deux groupes. Les participants du premier groupe ont reçu ChatGPT, tandis que les participants du deuxième groupe ont reçu un outil d’écriture différent.

Les participants ont été invités à rédiger deux dissertations. Sélectionné au hasard, 50 % de nos participants sont invités à s'inscrire à ChatGPT entre le premier et le deuxième essai. Les dissertations ont ensuite été notées par deux évaluateurs indépendants. Les évaluateurs ont constaté que les essais écrits avec ChatGPT étaient nettement meilleurs que les essais écrits avec l’autre outil. Les essais écrits avec ChatGPT ont également été rédigés beaucoup plus rapidement.

Les auteurs de l’article affirment que les résultats de leur expérience fournissent des preuves solides que l’IA générative peut avoir un impact positif significatif sur la productivité. Ils affirment que ChatGPT pourrait être utilisé pour automatiser de nombreuses tâches d’écriture, telles que la rédaction d’e-mails, de rapports et de supports marketing. Ils soutiennent également que ChatGPT pourrait être utilisé pour améliorer la qualité de l’écriture, par exemple en aidant à identifier et à corriger les erreurs grammaticales.

L’article se termine en discussion des implications potentielles de l’IA générative sur ces personnels. Les auteurs soutiennent que l’IA générative pourrait entraîner le déplacement d’emplois, car certains emplois actuellement effectués par des humains pourraient être automatisés. Cependant, ils soutiennent également que l’IA générative pourrait créer de nouveaux emplois, à mesure que de nouvelles industries et de nouveaux produits émergent.

Dans l’ensemble, l’article est une évaluation positive du potentiel de l’IA générative pour améliorer la productivité. Les auteurs fournissent des preuves solides que l’IA générative peut avoir un impact positif significatif sur les tâches d’écriture, et ils affirment que ce n’est qu’un exemple des nombreuses façons dont l’IA générative pourrait être utilisée pour améliorer la productivité.

Productivité des développeurs de logiciels

L'article décrit une étude menée par McKinsey pour évaluer l'impact des outils génératifs basés sur l'IA sur la productivité des développeurs. L'étude a impliqué plus de 40 développeurs McKinsey ayant différents niveaux d'expérience en développement de logiciels.

Pour l’étude, les participants ont été invités à effectuer des tâches courantes de développement logiciel dans trois catégories : la génération de code, la refactorisation et la documentation. Les tests se sont étalés sur plusieurs semaines, au cours desquelles chaque tâche a été effectuée par un groupe de test ayant accès à deux outils génératifs basés sur l’IA et un groupe témoin sans l’aide de l’IA. Les développeurs ont alterné entre le groupe de test et le groupe de contrôle pour différentes tâches.

L’étude a utilisé une méthodologie complète, combinant des enquêtes sur les taches, un suivi du temps, des évaluations par des juges, des révisions de code automatisées et des enquêtes post-expérience pour évaluer de manière approfondie l’impact des outils basés sur l’IA générative sur la productivité des développeurs dans diverses tâches de développement logiciel.

L’étude montre un potentiel d’augmentation significative de la productivité (~40% d’amélioration pour la génération de code), en fonction de la complexité des tâches et de l’expérience des développeurs. Les gains de temps étaient inférieurs à 10 % pour les tâches jugées très complexes, en particulier lorsque les développeurs ne connaissaient pas un environnement de programmation spécifique. Dans certains cas, les développeurs ayant moins d’un an d’expérience ont même parfois mis 7 à 10 % de temps en plus pour accomplir des tâches avec des outils d’IA.

La qualité du code en termes de bogues, de maintenabilité et de lisibilité était légèrement meilleure dans le code assisté par l'IA. Les développeurs ont itéré avec les outils pour atteindre cette qualité, ce qui suggère que la technologie est mieux adaptée pour augmenter plutôt que remplacer les développeurs.

L'article recommande une approche structurée pour maximiser les gains de productivité et minimiser les risques lors du déploiement d'outils basés sur l'IA générative, tels que la formation et le coaching en IA générative, la sélection minutieuse des cas d'utilisation, l'amélioration des compétences de la main-d'œuvre et la mise en œuvre de contrôles des risques.

Une autre étude menée lors du lancement d’Amazon CodeWhisperer, Amazon a élaboré un défi de productivité. Les participants qui utilisaient CodeWhisperer étaient 27 % plus susceptibles d’accomplir des tâches avec succès et l’ont fait en moyenne 57 % plus rapidement que ceux qui n’utilisaient pas CodeWhisperer.

Même les services publiques s'y sont mis

En France, les services publics ont mené une expérimentation d'IA générative et les résultats sont très encourageants :

• Une réponse sur deux est facilitée par l'IA, ce qui permet de réduire le temps de réponse moyen de 7 jours à 3.

• 74 % des usagers se disent satisfaits de la réponse apportée, qui est jugée plus complète et personnalisée.

• 70 % des agents ont un ressenti positif de l'outil, qui leur libère du temps pour se concentrer sur les cas les plus complexes.

Conclusion : productivité avec l'IA générative

 

De nombreuses études montrent que l'IA générative a un impact positif significatif sur la productivité sur différents types de tâches. Ce n'est pas si souvent que la technologie apporte des types d'améliorations de productivité à deux chiffres. C'est le cas de l’IA Générative et, à mon humble avis, cela devrait suffire pour justifier que vous l'étudiiez de près pour voir comment l'exploiter dans votre domaine.