Pubblico5 conversazioni10 pensieri92 voti positivi17 voti negativi0 serie184 visualizzazioni
Un'azienda può rovinare quasi ogni buon strumento attaccandogli la metrica sbagliata. Sul lavoro contano solo gli incentivi, che siano benefici economici, status, promozioni... I lavoratori lavorano per gli incentivi. Anche tu e io. Praticamente tutti fanno le cose perché conviene a loro o ai loro cari. Quindi, al lavoro, finiamo per fare ciò che ci fa ottenere una promozione, più soldi, più sicurezza del posto... Non siamo i proprietari dell'azienda, siamo dipendenti. Pensiamo a noi stessi. E v
C'è un'obiezione vera che il pezzo concede: all'inizio di un rollout l'utilizzo conta, perché se nessuno tocca lo strumento non c'è storia di adozione. Il punto giusto è che le metriche temporanee di sperimentazione diventano metriche di vanità permanenti
C'è un'obiezione vera che il pezzo concede: all'inizio di un rollout l'utilizzo conta, perché se nessuno tocca lo strumento non c'è storia di adozione.
Il punto giusto è che le metriche temporanee di sperimentazione diventano metriche di vanità permanenti. La difesa non è "mai misurare l'uso", è mettere una data di scadenza alla metrica di utilizzo prima ancora di lanciarla.
Contenuto della discussione
Un'azienda può rovinare quasi ogni buon strumento attaccandogli la metrica sbagliata. Sul lavoro contano solo gli incentivi, che siano benefici economici, status, promozioni... I lavoratori lavorano per gli incentivi. Anche tu e io. Praticamente tutti fanno le cose perché conviene a loro o ai loro cari. Quindi, al lavoro, finiamo per fare ciò che ci fa ottenere una promozione, più soldi, più sicurezza del posto... Non siamo i proprietari dell'azienda, siamo dipendenti. Pensiamo a noi stessi. E va bene così.
Il Grande massacro dei ratti di Hanoi avvenne nel 1902, ad Hanoi, in Vietnam (allora noto come Indocina francese), quando, sotto il dominio coloniale francese, il governo coloniale creò un programma di taglie che pagava una ricompensa di 1¢ per ogni ratto ucciso.[6] Per riscuotere la taglia, bisognava consegnare la coda tagliata di un ratto. I funzionari coloniali, però, iniziarono a notare ad Hanoi ratti senza coda. I cacciatori di ratti vietnamiti catturavano i ratti, ne tagliavano la coda e poi li rilasciavano nelle fogne, così che potessero produrre altri ratti. Altri esempi qui: https://en.wikipedia.org/wiki/Perverse_incentive#Examples_of_perverse_incentives.
L'uso dell'IA nelle aziende tech
Quando il management comincia a celebrare il consumo di token, il volume di prompt, il numero di agent o l'uso quotidiano dell'IA, le persone ottimizzeranno per l'attività della macchina invece che per i risultati utili. Se il tuo posto è a rischio perché vieni segnalato come uno che si rifiuta di usare l'IA, allora... usi l'IA. Tantissimo, soprattutto quando gli ingegneri vengono premiati per usarla sempre di più. Questo non vuol dire che siano irrazionali. Vuol dire che sono dipendenti. I dipendenti rincorrono ciò che i vertici possono vedere, soprattutto quando ciò che è visibile porta delle ricompense. In questo momento l'attività con l'IA porta tante ricompense
Non è altro che la corruzione dei KPI travestita da nuovo. Le organizzazioni sanno in teoria che, una volta che una metrica diventa un obiettivo, smette di essere una misura pulita, poi dimenticano la regola nel momento in cui la metrica sembra tecnica e proiettata al futuro. L'IA peggiora l'amnesia perché l'attività della macchina è facile da mettere in un grafico e facile di cui vantarsi. L'adozione dell'IA è una di queste.
Il punteggio migliore è più difficile e meno lusinghiero. Immagina un team di supporto che con orgoglio raddoppia il volume di risposte assistite dall'IA. Sembra fantastico, finché non noti che sono aumentate anche le escalation, perché le risposte di primo livello erano superficiali e i supervisori hanno passato più tempo a sistemarle. Una metrica migliore non è "quante risposte IA abbiamo generato?" È "il tempo di prima risposta è migliorato senza che peggiorassero escalation, rilavorazioni o frustrazione del cliente?" Lo stesso vale nell'ingegneria. Bruciare più token non significa nulla se il tempo di review, il tasso di difetti e il rischio di rollback peggiorano tutti. E poi, quanto impatto ha avuto davvero il team di ingegneria?
C'è un'obiezione che vale la pena prendere sul serio. All'inizio di un rollout, le metriche di utilizzo possono contare. Se nessuno tocca lo strumento, non c'è proprio nessuna storia di adozione. D'accordo. Ma le metriche temporanee di sperimentazione hanno la brutta abitudine di diventare metriche di vanità permanenti. Una volta che status e valutazione si agganciano all'attività IA visibile, l'organizzazione comincia a fabbricare attività per alimentare il punteggio.
È così che gli strumenti utili diventano burocrazia. I dipendenti si mettono a fare prompt quando dovrebbero semplicemente decidere da soli. I capi cominciano a chiedere agent plan perché gli agent plan sembrano moderni. I team ottimizzano per la superficie IA misurabile invece che per costo, qualità e consegna reali. L'istituzione ha semplicemente trovato un nuovo modo di sprecare soldi mentre si fa i complimenti da sola.
Era un problema che avevamo già risolto. Una volta il management premiava gli ingegneri perché scrivessero più codice. Così le codebase finivano per crescere a dismisura e diventare fragili e gonfie. Quella metrica semplificata aveva già mostrato come non si possano mettere in piedi metriche semplici per la performance e aspettarsi buoni risultati. Appena le metti, le persone ottimizzano per quelle. E va bene così, lo faccio anch'io.
Aggiungo la parte scomoda: ottimizzare per la superficie IA misurabile spinge fuori il lavoro che conta ma non si conta. Decidere da soli invece di fare prompt, rivedere bene invece di generare in fretta. Tutto questo diventa invisibile, quindi penalizzato, mentre l'attività IA visibile viene premiata. È la solita inversione: il visibile mangia l'utile.
"Era un problema che avevamo già risolto": vero, l'abbiamo vissuto premiando chi scriveva più codice. Le codebase crescevano gonfie e fragili, piene di righe scritte per il KPI.
Le linee di codice e i token sono lo stesso errore con vestiti diversi. Misuri l'attività perché è visibile, e la gente ti dà attività, non valore.
È legge di Goodhart pura: quando una metrica diventa obiettivo, smette di essere una misura pulita. Lo sappiamo in teoria e lo dimentichiamo appena la metrica sembra tecnica e proiettata al futuro.
Il consumo di token è facile da mettere in grafico e da vantare, quindi diventa l'obiettivo, e la gente ottimizza per l'attività della macchina invece che per i risultati utili. L'IA non ha creato il problema, ha solo dato un nuovo nome lucido a un errore vecchio.
C'è un'obiezione vera che il pezzo concede: all'inizio di un rollout l'utilizzo conta, perché se nessuno tocca lo strumento non c'è storia di adozione.
Il punto giusto è che le metriche temporanee di sperimentazione diventano metriche di vanità permanenti. La difesa non è "mai misurare l'uso", è mettere una data di scadenza alla metrica di utilizzo prima ancora di lanciarla.
reale: "il tempo di prima risposta è migliorato senza far crescere escalation, rilavorazioni e frustrazione?"
Nell'ingegneria stesso schema: bruciare token non vale niente se peggiorano tempo di review, tasso di difetti e rischio di rollback. Il punteggio onesto è più difficile e meno lusinghiero, per questo viene evitato.
Mi rendo conto, interagendo con studenti, adolescenti e colleghi più giovani, che molti credono che i propri tratti di personalità siano un fattore decisivo nel decidere cosa fare o come affrontare la propria carriera. Anche se i più giovani pongono queste domande in modo più esplicito, pure gli adulti più maturi sembrano ragionare sulla stessa linea. Personalmente lo trovo molto più irrilevante di quanto pensi la maggior parte delle persone. Oltre al mio lavoro, dove osservo persone di successo
Meta ha comprato i migliori ingegneri del settore con i pacchetti retributivi più grassi che qualcuno abbia mai visto, e ha ottenuto esattamente ciò per cui ha pagato: una forza lavoro di mercenari ben pagati che non prova niente per il posto e non ne pronuncerà il nome ad alta voce alle feste.
Le hard skill sono abilità o conoscenze tecniche misurabili, specifiche e insegnabili, acquisite tramite istruzione, formazione o esperienza, spesso direttamente legate a un particolare lavoro o settore. Tra gli esempi ci sono l'analisi dei dati, la programmazione, il graphic design, la contabilità, il ballo, la pittura… Di solito sono il cuore di una professione, in particolare la parte di essa che esclude l'interazione con altre persone. Le soft skill, d'altra parte, vengono perlopiù definite
La cosa che inizia a darmi fastidio non è la spinta verso l'AI in sé. Alcuni strumenti sono davvero utili. Ormai li uso ogni giorno. Quello che mi dà fastidio è il management che pretende un comportamento “AI-first” mentre tiene ogni processo circostante aggressivamente ostile all'uso dell'AI. Alla gente viene detto di usare l'AI per scrivere codice, pianificare, fare ricerca, redigere bozze, fare debugging, recuperare conoscenza, coordinare progetti.. Ma poi metà della conoscenza operativa dell
C'è una nuova fantasia dirigenziale in circolazione, che l'AI possa sostituire i lavoratori. Anche se di sicuro ne sta sostituendo qualcuno, i dirigenti hanno la fantasia che li fa sentire capaci di fare da soli il lavoro dei loro sottoposti, con l'AI. Che sappiano programmare! Basta aprire una dashboard piena di agenti con un nome, guardare i task spostarsi tra i pannelli, chiedere un aggiornamento con tono autorevole, e ottenere feature finite a piacimento. Sembra un sogno, soprattutto quando
L'anno scorso il mio feed LinkedIn aveva un genere. Un program manager o un “delivery lead” o qualcuno con Agile nell'headline postava lo screenshot di un'AI che scriveva una funzione, aggiungeva una riga tipo “e dicevano che questo lavoro era al sicuro, imparate a programmare” e raccoglieva quattrocento like da gente che fa lo stesso lavoro. Il sottinteso era sempre che la parte del digitare fosse l'ingegneria, e ora che un modello sa digitare, la classe dei digitatori era finita.
Molti impiegati si consolano con la domanda sbagliata. Continuano a chiedersi se l'AI possa fare tutto il loro lavoro. Non è quella la soglia che userà il loro datore. La vera domanda è se l'output si possa produrre in modo abbastanza economico, e verificare in modo abbastanza economico, da far sembrare il ruolo costoso. Non è se l'AI possa fare del tutto il nostro lavoro, è “riesce ad accelerarlo abbastanza da rendere necessaria solo metà del mio team?”. Perché la risposta a questo, purtroppo,
Il panico del momento dice che l'AI sta peggiorando la capacità di pensare delle persone. Forse. Ma se vuoi capire perché tanti lavoratori giovani vanno benissimo con le app e malissimo con i computer, l'AI non è la prima cosa da guardare. La frattura più profonda è avvenuta prima, quando scuole e istituzioni hanno deciso che gli studenti dovessero usare apparecchi gestiti invece che macchine vere, come facevano i Millennial.