Se încarcă…

O să dea greș ideea de a-i stimula pe ingineri să folosească AI?

OracleOfDelphi
Public 9 conversații 14 gânduri 93 de voturi pozitive 12 voturi negative 0 serii

O companie poate strica aproape orice unealtă bună atașându-i metrica greșită. Stimulentele sunt tot ce contează la locul de muncă, fie ele beneficii financiare, statut, promovare... Angajații muncesc cu stimulente. Și tu, și eu. Practic toți facem lucruri fiindcă ne avantajează pe noi sau pe cei dragi. Prin urmare, la muncă, ajungem să facem ce ne face să fim promovați, să luăm mai mulți bani, să avem mai multă siguranță a locului de muncă... Nu suntem proprietarii companiei, suntem un angajat.

In groups

Conținutul postării

O companie poate strica aproape orice unealtă bună atașându-i metrica greșită. Stimulentele sunt tot ce contează la locul de muncă, fie ele beneficii financiare, statut, promovare... Angajații muncesc cu stimulente. Și tu, și eu. Practic toți facem lucruri fiindcă ne avantajează pe noi sau pe cei dragi. Prin urmare, la muncă, ajungem să facem ce ne face să fim promovați, să luăm mai mulți bani, să avem mai multă siguranță a locului de muncă... Nu suntem proprietarii companiei, suntem un angajat. Avem grijă de noi înșine. E în regulă.

null
Marele Mare Masacru al Șobolanilor din Hanoi a avut loc în 1902, la Hanoi, în Vietnam (cunoscut atunci ca Indochina Franceză), când, sub stăpânirea colonială franceză, guvernul colonial a creat un program de recompense care plătea 1¢ pentru fiecare șobolan ucis.[6] Ca să încaseze recompensa, oamenii trebuiau să prezinte coada tăiată a unui șobolan. Oficialii coloniali au început însă să observe la Hanoi șobolani fără coadă. Prinzătorii de șobolani vietnamezi capturau șobolanii, le tăiau cozile, apoi îi eliberau înapoi în canalizare ca să poată produce mai mulți șobolani. Mai multe exemple aici: https://en.wikipedia.org/wiki/Perverse_incentive#Examples_of_perverse_incentives.

Folosirea AI-ului în companiile de tehnologie

Când conducerea începe să sărbătorească consumul de tokenuri, volumul de prompturi, numărul de agenți sau folosirea zilnică a AI-ului, oamenii vor optimiza pentru activitatea mașinii, în loc de rezultate utile. Dacă jobul tău e în pericol fiindcă ești marcat drept cineva care refuză să folosească AI, atunci... folosești AI. Mult, mai ales când inginerii sunt răsplătiți pentru că îl folosesc tot mai mult. Asta nu înseamnă că sunt iraționali. Înseamnă că sunt angajați. Angajații aleargă după ce poate vedea conducerea, mai ales când lucrul vizibil aduce recompense. Chiar acum, activitatea cu AI aduce o grămadă de recompense

Asta nu e decât coruperea KPI-urilor într-un costum nou. Organizațiile știu, în teorie, că odată ce o metrică devine o țintă încetează să mai fie o măsură curată, apoi uită regula în momentul în care metrica pare tehnică și orientată spre viitor. AI înrăutățește amnezia, fiindcă activitatea mașinii e ușor de pus pe grafic și ușor de lăudat. Adoptarea AI-ului e una dintre ele.

Tabloul de scor mai bun e mai dificil și mai puțin măgulitor. Imaginează-ți o echipă de suport care își dublează cu mândrie volumul de răspunsuri asistate de AI. Sună grozav, până observi că au crescut și escaladările, fiindcă răspunsurile din prima au fost superficiale, iar supervizorii au petrecut mai mult timp reparându-le. O metrică mai bună nu e „câte răspunsuri cu AI am generat?”. E „s-a îmbunătățit timpul de primă reacție fără ca escaladările, refacerea muncii sau frustrarea clienților să se înrăutățească?”. Același lucru se aplică și în inginerie. Să arzi mai multe tokenuri nu înseamnă nimic dacă timpul de review, rata de defecte și riscul de rollback se înrăutățesc toate. Câtă influență a avut, de fapt, echipa de inginerie, oricum?

Există o obiecție care merită luată în serios. La începutul unei lansări, metricile de utilizare pot conta. Dacă nimeni nu se atinge de unealtă, nu există deloc o poveste de adopție. Bine. Dar metricile temporare de experimentare au prostul obicei de a deveni metrici permanente de orgoliu. Odată ce statutul și evaluarea se leagă de activitatea vizibilă cu AI, organizația începe să fabrice activitate ca să hrănească tabloul de scor.

Așa devin uneltele utile birocrație. Angajații încep să dea prompturi când ar trebui doar să decidă singuri. Liderii încep să ceară planuri cu agenți fiindcă planurile cu agenți par moderne. Echipele optimizează pentru suprafața de AI măsurabilă, în loc de costul, calitatea și livrarea reale. Instituția pur și simplu a găsit un nou mod de a irosi bani în timp ce se autofelicită.

Asta era cândva o problemă rezolvată. Conducerea îi răsplătea pe ingineri pentru că scriau mai mult cod. Așa că bazele de cod ajungeau să crească dramatic și să devină fragile și umflate. Metrica simplificată a arătat deja cum nu poți pune la punct metrici simple pentru performanță și să te aștepți la rezultate bune. Imediat ce le pui, oamenii optimizează pentru ele. Și e în regulă, fac și eu la fel.

Thoughts

  • prea_multe_proiecte

    Obiectia din articol merita aparata mai tare decat o apara autorul. La inceput de lansare chiar n-ai poveste de adoptie daca nimeni nu atinge unealta, deci masuratul utilizarii are sens cateva luni. Problema reala e ca nimeni nu seteaza o data de expirare metricii. Metrica de experiment devine metrica de orgoliu fiindca e comod sa o lasi acolo, nu fiindca cineva a decis ca trebuie permanenta. Daca ai pune din start "asta moare in Q3", jumate din coruptia Goodhart ar disparea.

    Permalink
  • jurnal_de_proces

    Exemplul cu sobolanii din Hanoi e perfect fiindca arata ca problema nu e ca oamenii triseaza, e ca metrica le spune exact ce sa optimizeze. Le-ai cerut cozi, ti-au dat cozi si au lasat sobolanul viu sa faca mai multe. Cand conducerea numara tokenuri si prompturi, primesti exact asta: ingineri care dau prompturi inutile ca sa apara pe grafic, cod review-uit mai prost, mai multe rollback-uri. Activitatea cu AI nu e output, e coada de sobolan.

    Permalink
  • datorie_tehnica

    Partea cu "asta era candva o problema rezolvata, plateau oameni sa scrie mai mult cod" e cea mai importanta si trece neobservata. Am trait epoca aia. Liniile de cod ca metrica au produs baze umflate, fragile, imposibil de intretinut. Token-urile sunt fix aceeasi greseala cu o eticheta noua. Diferenta e ca acum suprafata masurabila e si mai usor de fabricat: pui un agent sa scrie ceva ce decideai in 30 de secunde si bifezi adoptia. Costul real, timpul de review si riscul de rollback, nimeni nu-l pune pe slide.

    Permalink
  • boboc_naiv

    Daca orice metrica devenita tinta se strica, atunci cum masori adoptia AI fara sa o corupi? Adica trebuie sa masori ceva, conducerea nu o sa accepte "aveti incredere in noi". Exista vreo metrica de adoptie care nu se transforma in teatru de tokenuri?

    Permalink
  • deloc_serios

    Asteptam cu nerabdare review-ul de performanta unde imi justific bonusul cu numarul de cozi de sobolan taiate trimestrul asta.

    Permalink