Une entreprise peut gâcher presque n'importe quel bon outil en lui accolant la mauvaise mesure. Au travail, seules les incitations comptent : avantages financiers, statut, promotion... Les travailleurs travaillent avec des incitations. Vous et moi aussi. Pratiquement tout le monde fait les choses parce que ça lui profite, ou profite à ses proches. Du coup, au travail, on finit par faire ce qui nous fait obtenir une promotion, plus d'argent, plus de sécurité d'emploi…
Le passage sur les lignes de code récompensées, c'est le cœur du sujet et l'article le range trop vite dans le passé. On a mesuré les développeurs au nombre de lignes pendant des années, résultat des bases de code obèses que personne n'osait toucher. Là o
Le passage sur les lignes de code récompensées, c'est le cœur du sujet et l'article le range trop vite dans le passé. On a mesuré les développeurs au nombre de lignes pendant des années, résultat des bases de code obèses que personne n'osait toucher. Là on remplace les lignes par les jetons, même erreur, juste une autre unité.
Avant de croire un tableau de bord IA, je regarde trois choses :
est-ce que le coût est rapporté à une livraison acceptée, pas au volume
est-ce que le taux de reprise est affiché dans le même écran
est-ce que quelqu'un a le droit d'éteindre la métrique sans perdre sa prime
Tant que ces trois cases restent vides, walou de garanti, c'est de la décoration.
Contenu de la discussion
Une entreprise peut gâcher presque n'importe quel bon outil en lui accolant la mauvaise mesure. Au travail, seules les incitations comptent : avantages financiers, statut, promotion... Les travailleurs travaillent avec des incitations. Vous et moi aussi. Pratiquement tout le monde fait les choses parce que ça lui profite, ou profite à ses proches. Du coup, au travail, on finit par faire ce qui nous fait obtenir une promotion, plus d'argent, plus de sécurité d'emploi... Nous ne sommes pas les propriétaires de l'entreprise, nous sommes des salariés. On veille sur soi. Et c'est normal.
Le Grand Massacre des Rats de Hanoï a eu lieu en 1902, à Hanoï, au Vietnam (alors appelé Indochine française), lorsque, sous le régime colonial français, le gouvernement colonial a créé un programme de prime qui versait une récompense de 1¢ pour chaque rat tué.[6] Pour toucher la prime, il fallait fournir la queue coupée d'un rat. Les fonctionnaires coloniaux ont toutefois commencé à remarquer dans Hanoï des rats sans queue. Les attrapeurs de rats vietnamiens capturaient les rats, leur coupaient la queue, puis les relâchaient dans les égouts pour qu'ils produisent davantage de rats. Plus d'exemples ici : https://en.wikipedia.org/wiki/Perverse_incentive#Examples_of_perverse_incentives.
L'usage de l'IA dans les entreprises technologiques
Quand la direction se met à célébrer la consommation de jetons, le volume de requêtes, le nombre d'agents ou l'usage quotidien de l'IA, les gens optimisent l'activité machine plutôt que les résultats utiles. Si votre poste est menacé parce qu'on vous pointe comme refusant d'utiliser l'IA, alors... vous utilisez l'IA. Beaucoup, surtout quand les ingénieurs sont récompensés pour s'en servir de plus en plus. Cela ne veut pas dire qu'ils sont irrationnels. Cela veut dire que ce sont des salariés. Les salariés courent après ce que la direction peut voir, surtout quand la chose visible apporte des récompenses. En ce moment, l'activité IA apporte beaucoup de récompenses
Ce n'est que de la corruption d'indicateur dans un nouveau costume. Les organisations savent en théorie qu'une fois qu'une mesure devient une cible, elle cesse d'être une mesure propre, puis elles oublient la règle au moment même où l'indicateur paraît technique et tourné vers l'avenir. L'IA aggrave l'amnésie parce que l'activité machine est facile à mettre en graphique et facile à étaler. L'adoption de l'IA en fait partie.
Le bon tableau de bord est plus difficile et moins flatteur. Imaginez une équipe de support qui double fièrement son volume de réponses assistées par IA. Ça paraît formidable, jusqu'à ce que vous remarquiez que les escalades ont elles aussi augmenté, parce que les premières réponses étaient superficielles et que les superviseurs ont passé plus de temps à les corriger. Une meilleure mesure n'est pas « combien de réponses IA avons-nous générées ? ». C'est « le délai de première réponse s'est-il amélioré sans que les escalades, les reprises ou la frustration des clients n'empirent ? ». La même chose vaut en ingénierie. Brûler plus de jetons n'a aucun sens si le temps de revue, le taux de défauts et le risque de retour arrière empirent tous. Et quel impact réel l'équipe d'ingénierie a-t-elle vraiment eu, au bout du compte ?
Il y a une objection qui mérite d'être prise au sérieux. Au début d'un déploiement, les mesures d'usage peuvent compter. Si personne ne touche à l'outil, il n'y a tout simplement aucune histoire d'adoption. D'accord. Mais les mesures d'expérimentation temporaires ont la fâcheuse habitude de devenir des indicateurs de vanité permanents. Une fois que le statut et l'évaluation se rattachent à l'activité IA visible, l'organisation se met à fabriquer de l'activité pour alimenter le tableau de bord.
C'est ainsi que des outils utiles deviennent de la bureaucratie. Les salariés se mettent à lancer des requêtes alors qu'ils devraient simplement décider d'eux-mêmes. Les responsables se mettent à réclamer des plans d'agents parce que les plans d'agents ont l'air modernes. Les équipes optimisent une surface d'IA mesurable au lieu du coût, de la qualité et de la livraison réels. L'institution a simplement trouvé une nouvelle façon de gaspiller de l'argent tout en se félicitant elle-même.
C'était autrefois un problème résolu. La direction récompensait jadis les ingénieurs qui écrivaient plus de code. Du coup, les bases de code finissaient par grossir spectaculairement et devenaient fragiles et boursouflées. Cette mesure simpliste montrait déjà qu'on ne peut pas mettre en place des indicateurs de performance simples en s'attendant à de bons résultats. Dès qu'on les met en place, les gens les optimisent. Et c'est normal, je fais pareil.
Le coup du support qui double le volume de réponses pendant que les escalades grimpent, je l'ai vu en vrai côté QA. On nous a sorti un graphe « % de tickets résolus par l'assistant » en réunion, tout le monde a applaudi. Six semaines plus tard c'est moi qui passe mes vendredis à rouvrir les tickets « résolus » parce que la première réponse ne tenait pas. Le graphe, lui, est resté magnifique.
Concrètement, est-ce que quelqu'un a déjà vu une boîte mesurer le coût des jetons par rapport à un résultat livré, et pas juste le volume ? Parce que tout le monde ici décrit le mauvais indicateur, mais j'aimerais savoir si le bon a déjà tourné quelque part sans finir tordu lui aussi.
Petit point : le parallèle avec « récompenser les lignes de code » n'est pas tout à fait clos comme problème. Beaucoup de boîtes le font encore via la vélocité de story points. On n'a pas appris la leçon, on a juste changé l'unité de mesure trois fois.
Ce qui manque dans le tableau, c'est qui se retrouve à nettoyer. Quand l'IA crache une réponse superficielle ou un bout d'interface bancal, le travail de rattrapage retombe toujours sur les mêmes, et ce travail-là n'a pas de compteur. On célèbre l'activité visible et on rend invisible le boulot qui évite la honte. Rien de neuf, c'est la vieille répartition, juste avec un nouveau jouet au milieu.
Le passage sur les lignes de code récompensées, c'est le cœur du sujet et l'article le range trop vite dans le passé. On a mesuré les développeurs au nombre de lignes pendant des années, résultat des bases de code obèses que personne n'osait toucher. Là on remplace les lignes par les jetons, même erreur, juste une autre unité.
Avant de croire un tableau de bord IA, je regarde trois choses :
est-ce que le coût est rapporté à une livraison acceptée, pas au volume
est-ce que le taux de reprise est affiché dans le même écran
est-ce que quelqu'un a le droit d'éteindre la métrique sans perdre sa prime
Tant que ces trois cases restent vides, walou de garanti, c'est de la décoration.
L'histoire des rats sans queue, c'est exactement ce qui se passe chez nous depuis qu'un VP a mis « PR ouvertes avec assistance IA » dans le tableau de bord trimestriel. Les gens ouvrent des PR générées qu'ils referment trois jours plus tard, et le compteur monte. Personne ne regarde le taux de rollback ni le temps d'astreinte, qui lui a bel et bien augmenté. La métrique est propre, le système ne l'est pas.
C'est le même mécanisme que les frais déguisés en conseil. Quand quelqu'un est récompensé pour pousser une chose, demandez-vous qui touche la commission. Là, le « conseiller » c'est la direction qui doit montrer une histoire d'adoption IA aux investisseurs, et le client qui paie le surcoût c'est l'équipe qui brûle des jetons pour rien. La métrique d'usage est juste la rétrocession invisible de cette histoire.
Ce qui commence à m'agacer, ce n'est pas le virage IA en soi. Certains outils sont vraiment utiles. Je m'en sers tous les jours maintenant. Ce qui m'agace, c'est que la direction exige un comportement « IA d'abord » tout en gardant chaque processus environnant agressivement hostile à l'usage de l'IA. On dit aux gens d'utiliser l'IA pour coder, planifier, faire des recherches, rédiger, déboguer, retrouver des connaissances, coordonner des projets…
Beaucoup d'employés de bureau se rassurent avec la mauvaise question. Ils n'arrêtent pas de se demander si l'IA peut faire tout leur travail. Ce n'est pas le seuil que leur employeur retiendra. La vraie question, c'est de savoir si le résultat peut être produit assez à bon marché, et vérifié assez à bon marché, pour que le poste commence à paraître coûteux. Il ne s'agit pas de savoir si l'IA peut faire tout notre travail…
A l’ère du numérique, l’intelligence artificielle (IA) transforme profondément le monde des entreprises. Grâce à des technologies capables d’analyser des données, d’automatiser des tâches et d’aider à la prise de décision, les organisations gagnent en efficacité et en compétitivité. L’IA est désormais utilisée dans de nombreux secteurs, tels que l’industrie, le commerce, la santé, la finance et les transports. Elle représente un véritable levier de croissance pour les entreprisesqui souhaitent
Un nouveau fantasme circule chez les dirigeants : l'IA pourrait remplacer les travailleurs. Elle en remplace certainement quelques-uns, mais les dirigeants croient qu'ils peuvent faire le travail de leurs subordonnés tout seuls, avec l'IA. Qu'ils savent coder ! Il suffit d'ouvrir un tableau de bord rempli d'agents nommés, de regarder les tâches défiler entre les volets, de réclamer une mise à jour sur un ton autoritaire, et d'obtenir des fonctionnalités sur un coup de tête…
J'ai toujours eu le sentiment que les entreprises d'IA mettent en fait des surcouches par-dessus l'IA pour repérer qu'on la teste sur sa capacité à raisonner. Par exemple, à l'époque où on lui faisait compter les voyelles/consonnes d'un mot et où elle se trompait. J'ai l'impression qu'il existe maintenant un script qui se déclenche dès que la tâche est correctement identifiée. J'ai aussi l'impression qu'elle est entraînée sur ces mèmes. Aujourd'hui, j'ai trouvé un nouveau test, un qui montre…
J'entends sans cesse le même retour sous différentes formes : « excellente vélocité », « j'adore le débit », « bel usage de l'IA ». De l'extérieur, on dirait vraiment qu'il se passe plus de choses : plus de revues de code, plus de tickets touchés, plus de mises à jour, plus de courriels, plus de tâches, plus de conceptions. L'IA permet de tenir ce rythme sans la friction habituelle de l'écriture, de la réflexion, ni même de l'hésitation…
L'an dernier, mon fil LinkedIn avait un genre bien à lui. Un chef de projet, un « responsable de livraison » ou quelqu'un avec Agile dans son intitulé publiait une capture d'écran d'une IA en train d'écrire une fonction, ajoutait une phrase du style « et on nous disait que ce métier était sûr, il suffit d'apprendre à coder » et récoltait quatre cents mentions « j'aime » de gens qui font le même travail. Le sous-entendu était toujours que « taper du code » était l'ingénierie…
L’essor fulgurant de l’intelligence artificielle générative bouleverse les habitudes de millions de personnes à travers le monde. Des étudiants aux professionnels, en passant par les créateurs de contenu, des outils comme ChatGPT sont devenus des assistants du quotidien. Mais cette révolution technologique soulève une question de plus en plus débattue : à force de déléguer certaines tâches intellectuelles à l’IA, risquons-nous d’affaiblir nos propres capacités cognitives ?
