Chargement…

Inciter les ingénieurs à utiliser l'IA risque-t-il vraiment de se retourner contre vous ?

OracleOfDelphi
Public 16 conversations 29 pensées 225 votes positifs 34 votes négatifs 0 séries 383 vues

Une entreprise peut gâcher presque n'importe quel bon outil en lui accolant la mauvaise mesure. Au travail, seules les incitations comptent : avantages financiers, statut, promotion... Les travailleurs travaillent avec des incitations. Vous et moi aussi. Pratiquement tout le monde fait les choses parce que ça lui profite, ou profite à ses proches. Du coup, au travail, on finit par faire ce qui nous fait obtenir une promotion, plus d'argent, plus de sécurité d'emploi…

In groups

Contenu de la discussion

Une entreprise peut gâcher presque n'importe quel bon outil en lui accolant la mauvaise mesure. Au travail, seules les incitations comptent : avantages financiers, statut, promotion... Les travailleurs travaillent avec des incitations. Vous et moi aussi. Pratiquement tout le monde fait les choses parce que ça lui profite, ou profite à ses proches. Du coup, au travail, on finit par faire ce qui nous fait obtenir une promotion, plus d'argent, plus de sécurité d'emploi... Nous ne sommes pas les propriétaires de l'entreprise, nous sommes des salariés. On veille sur soi. Et c'est normal.

null
Le Grand Massacre des Rats de Hanoï a eu lieu en 1902, à Hanoï, au Vietnam (alors appelé Indochine française), lorsque, sous le régime colonial français, le gouvernement colonial a créé un programme de prime qui versait une récompense de 1¢ pour chaque rat tué.[6] Pour toucher la prime, il fallait fournir la queue coupée d'un rat. Les fonctionnaires coloniaux ont toutefois commencé à remarquer dans Hanoï des rats sans queue. Les attrapeurs de rats vietnamiens capturaient les rats, leur coupaient la queue, puis les relâchaient dans les égouts pour qu'ils produisent davantage de rats. Plus d'exemples ici : https://en.wikipedia.org/wiki/Perverse_incentive#Examples_of_perverse_incentives.

L'usage de l'IA dans les entreprises technologiques

Quand la direction se met à célébrer la consommation de jetons, le volume de requêtes, le nombre d'agents ou l'usage quotidien de l'IA, les gens optimisent l'activité machine plutôt que les résultats utiles. Si votre poste est menacé parce qu'on vous pointe comme refusant d'utiliser l'IA, alors... vous utilisez l'IA. Beaucoup, surtout quand les ingénieurs sont récompensés pour s'en servir de plus en plus. Cela ne veut pas dire qu'ils sont irrationnels. Cela veut dire que ce sont des salariés. Les salariés courent après ce que la direction peut voir, surtout quand la chose visible apporte des récompenses. En ce moment, l'activité IA apporte beaucoup de récompenses

Ce n'est que de la corruption d'indicateur dans un nouveau costume. Les organisations savent en théorie qu'une fois qu'une mesure devient une cible, elle cesse d'être une mesure propre, puis elles oublient la règle au moment même où l'indicateur paraît technique et tourné vers l'avenir. L'IA aggrave l'amnésie parce que l'activité machine est facile à mettre en graphique et facile à étaler. L'adoption de l'IA en fait partie.

Le bon tableau de bord est plus difficile et moins flatteur. Imaginez une équipe de support qui double fièrement son volume de réponses assistées par IA. Ça paraît formidable, jusqu'à ce que vous remarquiez que les escalades ont elles aussi augmenté, parce que les premières réponses étaient superficielles et que les superviseurs ont passé plus de temps à les corriger. Une meilleure mesure n'est pas « combien de réponses IA avons-nous générées ? ». C'est « le délai de première réponse s'est-il amélioré sans que les escalades, les reprises ou la frustration des clients n'empirent ? ». La même chose vaut en ingénierie. Brûler plus de jetons n'a aucun sens si le temps de revue, le taux de défauts et le risque de retour arrière empirent tous. Et quel impact réel l'équipe d'ingénierie a-t-elle vraiment eu, au bout du compte ?

Il y a une objection qui mérite d'être prise au sérieux. Au début d'un déploiement, les mesures d'usage peuvent compter. Si personne ne touche à l'outil, il n'y a tout simplement aucune histoire d'adoption. D'accord. Mais les mesures d'expérimentation temporaires ont la fâcheuse habitude de devenir des indicateurs de vanité permanents. Une fois que le statut et l'évaluation se rattachent à l'activité IA visible, l'organisation se met à fabriquer de l'activité pour alimenter le tableau de bord.

C'est ainsi que des outils utiles deviennent de la bureaucratie. Les salariés se mettent à lancer des requêtes alors qu'ils devraient simplement décider d'eux-mêmes. Les responsables se mettent à réclamer des plans d'agents parce que les plans d'agents ont l'air modernes. Les équipes optimisent une surface d'IA mesurable au lieu du coût, de la qualité et de la livraison réels. L'institution a simplement trouvé une nouvelle façon de gaspiller de l'argent tout en se félicitant elle-même.

C'était autrefois un problème résolu. La direction récompensait jadis les ingénieurs qui écrivaient plus de code. Du coup, les bases de code finissaient par grossir spectaculairement et devenaient fragiles et boursouflées. Cette mesure simpliste montrait déjà qu'on ne peut pas mettre en place des indicateurs de performance simples en s'attendant à de bons résultats. Dès qu'on les met en place, les gens les optimisent. Et c'est normal, je fais pareil.

Thoughts

  • pince_sans_rire

    On a remplacé les queues de rats par des jetons consommés. Même égout, meilleur tableau de bord.

    Permalink
  • mababa_roadmap

    Pour rendre ça utilisable, les seules mesures que je défends en comité sont des paires liées :

    • délai de première réponse, mais accroché au taux d'escalade

    • débit de livraison, mais accroché au taux de défauts et de rollback

    • usage de l'outil, mais avec une date où on arrête de le regarder

    Dès qu'une métrique vit seule, elle ment. La paire l'empêche de mentir longtemps.

    Permalink
  • clemence_release

    Le coup du support qui double le volume de réponses pendant que les escalades grimpent, je l'ai vu en vrai côté QA. On nous a sorti un graphe « % de tickets résolus par l'assistant » en réunion, tout le monde a applaudi. Six semaines plus tard c'est moi qui passe mes vendredis à rouvrir les tickets « résolus » parce que la première réponse ne tenait pas. Le graphe, lui, est resté magnifique.

    Permalink
  • hantise_des_taux

    Une métrique qui flatte la direction et qui ne coûte rien à la direction. Voilà. Ça se voit venir comme une hausse de taux.

    Permalink
  • chasseur_de_frais

    Concrètement, est-ce que quelqu'un a déjà vu une boîte mesurer le coût des jetons par rapport à un résultat livré, et pas juste le volume ? Parce que tout le monde ici décrit le mauvais indicateur, mais j'aimerais savoir si le bon a déjà tourné quelque part sans finir tordu lui aussi.

    Permalink
  • julien_backend

    Petit point : le parallèle avec « récompenser les lignes de code » n'est pas tout à fait clos comme problème. Beaucoup de boîtes le font encore via la vélocité de story points. On n'a pas appris la leçon, on a juste changé l'unité de mesure trois fois.

    Permalink
  • lea_du_front

    Ce qui manque dans le tableau, c'est qui se retrouve à nettoyer. Quand l'IA crache une réponse superficielle ou un bout d'interface bancal, le travail de rattrapage retombe toujours sur les mêmes, et ce travail-là n'a pas de compteur. On célèbre l'activité visible et on rend invisible le boulot qui évite la honte. Rien de neuf, c'est la vieille répartition, juste avec un nouveau jouet au milieu.

    Permalink
  • marge_de_securite_dz

    Le passage sur les lignes de code récompensées, c'est le cœur du sujet et l'article le range trop vite dans le passé. On a mesuré les développeurs au nombre de lignes pendant des années, résultat des bases de code obèses que personne n'osait toucher. Là on remplace les lignes par les jetons, même erreur, juste une autre unité.

    Avant de croire un tableau de bord IA, je regarde trois choses :

    • est-ce que le coût est rapporté à une livraison acceptée, pas au volume

    • est-ce que le taux de reprise est affiché dans le même écran

    • est-ce que quelqu'un a le droit d'éteindre la métrique sans perdre sa prime

    Tant que ces trois cases restent vides, walou de garanti, c'est de la décoration.

    Permalink
  • julien_backend

    L'histoire des rats sans queue, c'est exactement ce qui se passe chez nous depuis qu'un VP a mis « PR ouvertes avec assistance IA » dans le tableau de bord trimestriel. Les gens ouvrent des PR générées qu'ils referment trois jours plus tard, et le compteur monte. Personne ne regarde le taux de rollback ni le temps d'astreinte, qui lui a bel et bien augmenté. La métrique est propre, le système ne l'est pas.

    Permalink
  • chasseur_de_frais

    C'est le même mécanisme que les frais déguisés en conseil. Quand quelqu'un est récompensé pour pousser une chose, demandez-vous qui touche la commission. Là, le « conseiller » c'est la direction qui doit montrer une histoire d'adoption IA aux investisseurs, et le client qui paie le surcoût c'est l'équipe qui brûle des jetons pour rien. La métrique d'usage est juste la rétrocession invisible de cette histoire.

    Permalink

Related discussions

  • Pourquoi les managers veulent-ils que tout le monde utilise l'IA, sauf eux-mêmes ?

    Ce qui commence à m'agacer, ce n'est pas le virage IA en soi. Certains outils sont vraiment utiles. Je m'en sers tous les jours maintenant. Ce qui m'agace, c'est que la direction exige un comportement « IA d'abord » tout en gardant chaque processus environnant agressivement hostile à l'usage de l'IA. On dit aux gens d'utiliser l'IA pour coder, planifier, faire des recherches, rédiger, déboguer, retrouver des connaissances, coordonner des projets…

  • L'IA ne remplacera pas seule les emplois de bureau — mais une personne équipée d'IA peut-elle en remplacer plusieurs ?

    Beaucoup d'employés de bureau se rassurent avec la mauvaise question. Ils n'arrêtent pas de se demander si l'IA peut faire tout leur travail. Ce n'est pas le seuil que leur employeur retiendra. La vraie question, c'est de savoir si le résultat peut être produit assez à bon marché, et vérifié assez à bon marché, pour que le poste commence à paraître coûteux. Il ne s'agit pas de savoir si l'IA peut faire tout notre travail…

  • L’intelligence artificielle : un moteur de développement pour les entreprises modernes

    A l’ère du numérique, l’intelligence artificielle (IA) transforme profondément le monde des entreprises. Grâce à des technologies capables d’analyser des données, d’automatiser des tâches et d’aider à la prise de décision, les organisations gagnent en efficacité et en compétitivité. L’IA est désormais utilisée dans de nombreux secteurs, tels que l’industrie, le commerce, la santé, la finance et les transports. Elle représente un véritable levier de croissance pour les entreprisesqui souhaitent

  • L'IA est-elle en train de rendre les managers médicalement fous ?

    Un nouveau fantasme circule chez les dirigeants : l'IA pourrait remplacer les travailleurs. Elle en remplace certainement quelques-uns, mais les dirigeants croient qu'ils peuvent faire le travail de leurs subordonnés tout seuls, avec l'IA. Qu'ils savent coder ! Il suffit d'ouvrir un tableau de bord rempli d'agents nommés, de regarder les tâches défiler entre les volets, de réclamer une mise à jour sur un ton autoritaire, et d'obtenir des fonctionnalités sur un coup de tête…

  • L'IA peut-elle vous faire perdre la tête, surtout si vous croyez le contraire ?

    J'ai toujours eu le sentiment que les entreprises d'IA mettent en fait des surcouches par-dessus l'IA pour repérer qu'on la teste sur sa capacité à raisonner. Par exemple, à l'époque où on lui faisait compter les voyelles/consonnes d'un mot et où elle se trompait. J'ai l'impression qu'il existe maintenant un script qui se déclenche dès que la tâche est correctement identifiée. J'ai aussi l'impression qu'elle est entraînée sur ces mèmes. Aujourd'hui, j'ai trouvé un nouveau test, un qui montre…

  • L'IA rend-elle extrêmement difficile de distinguer les bons ingénieurs des bruyants ?

    J'entends sans cesse le même retour sous différentes formes : « excellente vélocité », « j'adore le débit », « bel usage de l'IA ». De l'extérieur, on dirait vraiment qu'il se passe plus de choses : plus de revues de code, plus de tickets touchés, plus de mises à jour, plus de courriels, plus de tâches, plus de conceptions. L'IA permet de tenir ce rythme sans la friction habituelle de l'écriture, de la réflexion, ni même de l'hésitation…

  • Et si les managers qui juraient que l'IA remplacerait les ingénieurs étaient remplacés les premiers ?

    L'an dernier, mon fil LinkedIn avait un genre bien à lui. Un chef de projet, un « responsable de livraison » ou quelqu'un avec Agile dans son intitulé publiait une capture d'écran d'une IA en train d'écrire une fonction, ajoutait une phrase du style « et on nous disait que ce métier était sûr, il suffit d'apprendre à coder » et récoltait quatre cents mentions « j'aime » de gens qui font le même travail. Le sous-entendu était toujours que « taper du code » était l'ingénierie…

  • ChatGPT : l’intelligence qui pourrait nous rendre moins intelligents ?

    L’essor fulgurant de l’intelligence artificielle générative bouleverse les habitudes de millions de personnes à travers le monde. Des étudiants aux professionnels, en passant par les créateurs de contenu, des outils comme ChatGPT sont devenus des assistants du quotidien. Mais cette révolution technologique soulève une question de plus en plus débattue : à force de déléguer certaines tâches intellectuelles à l’IA, risquons-nous d’affaiblir nos propres capacités cognitives ?