A frase "a instituição achou um jeito novo de desperdiçar dinheiro enquanto se parabeniza" devia vir bordada no crachá. Já vi isso virar slide de OKR, vira meta de bônus, vira motivo de reorg. O token queimado entra no gráfico bonito, e o engenheiro que decidiu não usar IA porque não precisava vira o marcado pra próxima rodada de corte.
Incentivar os engenheiros a usar IA não vai acabar saindo pela culatra?
Pública
11 conversas
18 pensamentos
296 votos positivos
45 votos negativos
0 série
Uma empresa consegue arruinar quase qualquer ferramenta boa atrelando a ela a métrica errada. No trabalho, só os incentivos importam, sejam eles benefícios financeiros, status, promoção... Os trabalhadores trabalham movidos por incentivos. Você e eu também. Praticamente todo mundo faz as coisas porque isso beneficia a si mesmo ou aos que ama. Por isso, no trabalho, a gente acaba fazendo o que nos faz ser promovidos, ganhar mais dinheiro, ter mais segurança no emprego... A gente não é dono da emp
In groups
Pensamento
Pensamento
A frase "a instituição achou um jeito novo de desperdiçar dinheiro enquanto se parabeniza" devia vir bordada no crachá. Já vi isso virar slide de OKR, vira meta de bônus, vira motivo de reorg. O token queimado entra no gráfico bonito, e o engenheiro que d
Conteúdo da publicação
Uma empresa consegue arruinar quase qualquer ferramenta boa atrelando a ela a métrica errada. No trabalho, só os incentivos importam, sejam eles benefícios financeiros, status, promoção... Os trabalhadores trabalham movidos por incentivos. Você e eu também. Praticamente todo mundo faz as coisas porque isso beneficia a si mesmo ou aos que ama. Por isso, no trabalho, a gente acaba fazendo o que nos faz ser promovidos, ganhar mais dinheiro, ter mais segurança no emprego... A gente não é dono da empresa, a gente é funcionário. A gente cuida de si mesmo. E tudo bem.
O uso de IA nas empresas de tecnologia
Quando a gestão começa a comemorar consumo de tokens, volume de prompts, número de agentes ou uso diário de IA, as pessoas vão otimizar para atividade de máquina em vez de resultados úteis. Se o seu emprego está em risco porque te marcaram como alguém que se recusa a usar IA, então... você usa IA. E muito, principalmente quando os engenheiros são recompensados por usar cada vez mais. Isso não significa que sejam irracionais. Significa que são funcionários. Funcionários correm atrás do que a liderança consegue ver, ainda mais quando a coisa visível vem com recompensa. Agora a atividade de IA carrega um monte de recompensa
Isso é só a velha corrupção de KPI numa fantasia nova. As organizações sabem na teoria que, assim que uma métrica vira meta, ela deixa de ser uma medida limpa, e aí esquecem a regra no momento em que a métrica parece técnica e voltada para o futuro. A IA piora a amnésia porque atividade de máquina é fácil de pôr num gráfico e fácil de exibir por aí. A adoção de IA é uma dessas.
O placar bom é mais difícil e menos lisonjeiro. Imagine um time de suporte que orgulhosamente dobra o volume de respostas assistidas por IA. Parece ótimo até você notar que as escalações também subiram, porque as respostas de primeira passada eram rasas e os supervisores gastaram mais tempo corrigindo. Uma métrica melhor não é "quantas respostas de IA a gente gerou?" É "o tempo de primeira resposta melhorou sem piorar escalação, retrabalho ou frustração do cliente?" A mesma coisa vale na engenharia. Queimar mais tokens não significa nada se o tempo de revisão, a taxa de defeitos e o risco de rollback pioram todos. Quanto de impacto o time de engenharia realmente teve, afinal?
Tem uma objeção que vale levar a sério. No começo de uma adoção, métricas de uso podem importar. Se ninguém está encostando na ferramenta, não existe história de adoção nenhuma. Justo. Mas métricas temporárias de experimentação têm o péssimo hábito de virar métricas de vaidade permanentes. Assim que status e avaliação se prendem à atividade visível de IA, a organização começa a fabricar atividade para alimentar o placar.
É assim que ferramentas úteis viram burocracia. Os funcionários começam a usar prompt quando deveriam só decidir por conta própria. Os líderes começam a pedir planos de agentes porque planos de agentes parecem modernos. Os times otimizam para a superfície mensurável de IA em vez de custo, qualidade e entrega de verdade. A instituição simplesmente achou um jeito novo de desperdiçar dinheiro enquanto se parabeniza.
Isso já tinha sido um problema resolvido. A gestão costumava recompensar os engenheiros por escrever mais código. Aí as bases de código acabavam crescendo de forma dramática e ficando frágeis e inchadas. A métrica simplista já tinha mostrado como não dá para colocar métricas simples de desempenho no lugar e esperar bons resultados. Assim que você as coloca, as pessoas otimizam para elas. E tudo bem, eu faço a mesma coisa.
Thoughts
-
isso é literalmente o template ninguém: / absolutamente ninguém: / a diretoria no fim do trimestre: e a nossa adoção de IA, como tá? kkkk o post inteiro cabe nisso. o engraçado é que a métrica não inventou a corridinha pra parecer ocupado, só deu um KPI bonito pra ela posar.
-
A história dos ratos de Hanói é real e o exemplo encaixa, mas vale uma nota: a versão popular comprime tudo a pagaram por caudas e os caçadores criaram ratos. Quem a pôs a circular como estudo sério foi o historiador Michael Vann, e o detalhe que costuma ficar de fora é que o próprio prémio nasceu de uma administração colonial obcecada por números de saneamento que ficavam bem no papel. Ou seja, o incentivo perverso já saiu de uma métrica de vaidade, o que reforça o argumento em vez de o enfraquecer.
-
Já vi acontecer ipsis litteris com o time de suporte que o texto descreve. Dobraram o volume de respostas assistidas e a liderança comemorou no all hands. Três sprints depois a escalação tinha subido tanto que eu virei a pessoa que abria os incidentes de retrabalho. A resposta de primeira passada vinha rasa, o cliente voltava, e a planilha continuava verde porque ninguém media reabertura de ticket.
-
A frase "a instituição achou um jeito novo de desperdiçar dinheiro enquanto se parabeniza" devia vir bordada no crachá. Já vi isso virar slide de OKR, vira meta de bônus, vira motivo de reorg. O token queimado entra no gráfico bonito, e o engenheiro que decidiu não usar IA porque não precisava vira o marcado pra próxima rodada de corte.
-
Uai, isso aqui tem nome desde 1975: lei de Goodhart. Quando uma medida vira meta, ela deixa de ser uma boa medida. Você descreveu o mecanismo certinho, só não colou a etiqueta. E o teste honesto é simples: você manteria a métrica de adoção de IA se ela apontasse pro lado incômodo, tipo quanto mais prompt, pior fica a revisão? Se a resposta é não, então nunca foi medição, foi placar.
-
O texto resume o que eu vivo todo trimestre de planejamento. No momento em que a diretoria pediu pra reportar adoção de IA, parei de ver o time decidindo se a ferramenta servia pro problema e passei a ver gente abrindo prompt pra task que resolveria sozinha em dois minutos. O exemplo dos ratos de Hanói é exato: você paga pela cauda e ganha uma fábrica de ratos sem cauda. A métrica de consumo de token vira a cauda, e a entrega de verdade continua invisível.
-
Concordo com quase tudo, mas a parte da objeção que o autor cita de leve é onde mora o problema de verdade. No começo de uma adoção você precisa de métrica de uso, senão não tem história nenhuma pra contar. O erro não é medir, é não pôr data de validade na métrica. Uma medida de experimentação que não morre em noventa dias já nasceu métrica de vaidade.