Carregando…

Incentivar os engenheiros a usar IA não vai acabar saindo pela culatra?

OracleOfDelphi
Pública 11 conversas 18 pensamentos 296 votos positivos 45 votos negativos 0 séries 566 visualizações

Uma empresa consegue arruinar quase qualquer ferramenta boa atrelando a ela a métrica errada. No trabalho, só os incentivos importam, sejam eles benefícios financeiros, status, promoção... Os trabalhadores trabalham movidos por incentivos. Você e eu também. Praticamente todo mundo faz as coisas porque isso beneficia a si mesmo ou aos que ama. Por isso, no trabalho, a gente acaba fazendo o que nos faz ser promovidos, ganhar mais dinheiro, ter mais segurança no emprego... A gente não é dono da emp

In groups

Conteúdo da discussão

Uma empresa consegue arruinar quase qualquer ferramenta boa atrelando a ela a métrica errada. No trabalho, só os incentivos importam, sejam eles benefícios financeiros, status, promoção... Os trabalhadores trabalham movidos por incentivos. Você e eu também. Praticamente todo mundo faz as coisas porque isso beneficia a si mesmo ou aos que ama. Por isso, no trabalho, a gente acaba fazendo o que nos faz ser promovidos, ganhar mais dinheiro, ter mais segurança no emprego... A gente não é dono da empresa, a gente é funcionário. A gente cuida de si mesmo. E tudo bem.

null
O Grande Massacre de Ratos de Hanói aconteceu em 1902, em Hanói, no Vietnã (então conhecido como Indochina Francesa), quando, sob domínio colonial francês, o governo colonial criou um programa de recompensa que pagava 1¢ por cada rato morto.[6] Para receber a recompensa, era preciso entregar a cauda cortada de um rato. As autoridades coloniais, porém, começaram a notar ratos em Hanói sem cauda. Os caçadores de ratos vietnamitas capturavam os ratos, cortavam a cauda e os soltavam de volta nos esgotos, para que produzissem mais ratos. Mais exemplos aqui: https://en.wikipedia.org/wiki/Perverse_incentive#Examples_of_perverse_incentives.

O uso de IA nas empresas de tecnologia

Quando a gestão começa a comemorar consumo de tokens, volume de prompts, número de agentes ou uso diário de IA, as pessoas vão otimizar para atividade de máquina em vez de resultados úteis. Se o seu emprego está em risco porque te marcaram como alguém que se recusa a usar IA, então... você usa IA. E muito, principalmente quando os engenheiros são recompensados por usar cada vez mais. Isso não significa que sejam irracionais. Significa que são funcionários. Funcionários correm atrás do que a liderança consegue ver, ainda mais quando a coisa visível vem com recompensa. Agora a atividade de IA carrega um monte de recompensa

Isso é só a velha corrupção de KPI numa fantasia nova. As organizações sabem na teoria que, assim que uma métrica vira meta, ela deixa de ser uma medida limpa, e aí esquecem a regra no momento em que a métrica parece técnica e voltada para o futuro. A IA piora a amnésia porque atividade de máquina é fácil de pôr num gráfico e fácil de exibir por aí. A adoção de IA é uma dessas.

O placar bom é mais difícil e menos lisonjeiro. Imagine um time de suporte que orgulhosamente dobra o volume de respostas assistidas por IA. Parece ótimo até você notar que as escalações também subiram, porque as respostas de primeira passada eram rasas e os supervisores gastaram mais tempo corrigindo. Uma métrica melhor não é "quantas respostas de IA a gente gerou?" É "o tempo de primeira resposta melhorou sem piorar escalação, retrabalho ou frustração do cliente?" A mesma coisa vale na engenharia. Queimar mais tokens não significa nada se o tempo de revisão, a taxa de defeitos e o risco de rollback pioram todos. Quanto de impacto o time de engenharia realmente teve, afinal?

Tem uma objeção que vale levar a sério. No começo de uma adoção, métricas de uso podem importar. Se ninguém está encostando na ferramenta, não existe história de adoção nenhuma. Justo. Mas métricas temporárias de experimentação têm o péssimo hábito de virar métricas de vaidade permanentes. Assim que status e avaliação se prendem à atividade visível de IA, a organização começa a fabricar atividade para alimentar o placar.

É assim que ferramentas úteis viram burocracia. Os funcionários começam a usar prompt quando deveriam só decidir por conta própria. Os líderes começam a pedir planos de agentes porque planos de agentes parecem modernos. Os times otimizam para a superfície mensurável de IA em vez de custo, qualidade e entrega de verdade. A instituição simplesmente achou um jeito novo de desperdiçar dinheiro enquanto se parabeniza.

Isso já tinha sido um problema resolvido. A gestão costumava recompensar os engenheiros por escrever mais código. Aí as bases de código acabavam crescendo de forma dramática e ficando frágeis e inchadas. A métrica simplista já tinha mostrado como não dá para colocar métricas simples de desempenho no lugar e esperar bons resultados. Assim que você as coloca, as pessoas otimizam para elas. E tudo bem, eu faço a mesma coisa.

Thoughts

  • tudo_vira_meme

    isso é literalmente o template ninguém: / absolutamente ninguém: / a diretoria no fim do trimestre: e a nossa adoção de IA, como tá? kkkk o post inteiro cabe nisso. o engraçado é que a métrica não inventou a corridinha pra parecer ocupado, só deu um KPI bonito pra ela posar.

    Permalink
  • cita_a_fonte

    A história dos ratos de Hanói é real e o exemplo encaixa, mas vale uma nota: a versão popular comprime tudo a pagaram por caudas e os caçadores criaram ratos. Quem a pôs a circular como estudo sério foi o historiador Michael Vann, e o detalhe que costuma ficar de fora é que o próprio prémio nasceu de uma administração colonial obcecada por números de saneamento que ficavam bem no papel. Ou seja, o incentivo perverso já saiu de uma métrica de vaidade, o que reforça o argumento em vez de o enfraquecer.

    Permalink
  • camila_release

    Já vi acontecer ipsis litteris com o time de suporte que o texto descreve. Dobraram o volume de respostas assistidas e a liderança comemorou no all hands. Três sprints depois a escalação tinha subido tanto que eu virei a pessoa que abria os incidentes de retrabalho. A resposta de primeira passada vinha rasa, o cliente voltava, e a planilha continuava verde porque ninguém media reabertura de ticket.

    Permalink
  • saida_liquida

    A frase "a instituição achou um jeito novo de desperdiçar dinheiro enquanto se parabeniza" devia vir bordada no crachá. Já vi isso virar slide de OKR, vira meta de bônus, vira motivo de reorg. O token queimado entra no gráfico bonito, e o engenheiro que decidiu não usar IA porque não precisava vira o marcado pra próxima rodada de corte.

    Permalink
  • navalha_sem_do

    Uai, isso aqui tem nome desde 1975: lei de Goodhart. Quando uma medida vira meta, ela deixa de ser uma boa medida. Você descreveu o mecanismo certinho, só não colou a etiqueta. E o teste honesto é simples: você manteria a métrica de adoção de IA se ela apontasse pro lado incômodo, tipo quanto mais prompt, pior fica a revisão? Se a resposta é não, então nunca foi medição, foi placar.

    Permalink
  • rafael_roadmap

    O texto resume o que eu vivo todo trimestre de planejamento. No momento em que a diretoria pediu pra reportar adoção de IA, parei de ver o time decidindo se a ferramenta servia pro problema e passei a ver gente abrindo prompt pra task que resolveria sozinha em dois minutos. O exemplo dos ratos de Hanói é exato: você paga pela cauda e ganha uma fábrica de ratos sem cauda. A métrica de consumo de token vira a cauda, e a entrega de verdade continua invisível.

    Permalink
  • thiago_backend

    Concordo com quase tudo, mas a parte da objeção que o autor cita de leve é onde mora o problema de verdade. No começo de uma adoção você precisa de métrica de uso, senão não tem história nenhuma pra contar. O erro não é medir, é não pôr data de validade na métrica. Uma medida de experimentação que não morre em noventa dias já nasceu métrica de vaidade.

    Permalink

Related discussions

  • A IA não substitui empregos de escritório sozinha, mas uma pessoa com IA não substitui vários outros?

    Muita gente de escritório está se consolando com a pergunta errada. Ficam perguntando se a IA consegue fazer o trabalho inteiro deles. Não é esse o critério que o empregador vai usar. A pergunta de verdade é se a entrega pode ser produzida barato o suficiente, e revisada barato o suficiente, a ponto de o cargo começar a parecer caro. Não é se a IA consegue fazer todo o nosso trabalho, é "ela consegue acelerar o suficiente para que só metade da minha equipe seja necessária?". Porque a resposta pa

  • Por que os gestores querem que todo mundo use IA, menos eles próprios?

    O que está começando a me irritar não é o empurrão da IA em si. Algumas das ferramentas são genuinamente úteis. Eu uso todos os dias agora. O que me irrita é a gestão exigir um comportamento “AI-first” enquanto mantém todo processo ao redor agressivamente hostil ao uso de IA. As pessoas são mandadas usar IA para programar, planejar, pesquisar, redigir, depurar, recuperar conhecimento, coordenar projetos.. Mas aí metade do conhecimento operacional da empresa ainda vive dentro de conversas não doc

  • A IA está tornando impossível distinguir os bons engenheiros dos barulhentos?

    Eu ouço o mesmo feedback em formas diferentes: “ótima velocidade”, “adorei a vazão”, “bom uso de IA”. De fora, realmente parece que está acontecendo mais: mais Code Reviews, mais tickets mexidos, mais updates, mais e-mails, mais tarefas, mais designs. A IA torna fácil sustentar esse ritmo sem o atrito de sempre de escrever, pensar ou até hesitar. Mas dentro do trabalho existe um dilema que não para de crescer.

  • A IA está deixando os gerentes clinicamente insanos?

    Tem uma nova fantasia executiva circulando, a de que a IA pode substituir trabalhadores. Embora ela certamente esteja substituindo alguns, os executivos têm uma fantasia que os faz sentir que podem fazer o trabalho dos próprios subordinados sozinhos, com IA. Que eles sabem programar! É só abrir um dashboard cheio de agentes com nome, ver tarefas andando entre os painéis, pedir um update num tom de comando e ter features prontas num estalar de dedos. Parece um sonho, principalmente quando você pa

  • A maioria das startups de IA é só interface em cima de alguns arquivos Agent.md?

    A maioria das startups de IA hoje parece que alguém colou o GPT num terminal, adicionou uma interface em modo escuro e começou a falar como se tivesse inventado alguma coisa. Você vê esses pitches insanos tipo “agentes cognitivos autônomos persistentes com raciocínio de longo prazo” e aí olha por baixo do capô e basicamente é: dar acesso a ferramentas ao modelo, deixar ele usar um navegador, talvez adicionar resumos de memória e lógica de retry. Esse é o “produto”. Você consegue isso sozinho só

  • Os gerentes que achavam que os engenheiros seriam substituídos pela IA... não estão sendo substituídos por ela mais rápido?

    Ano passado o meu feed do LinkedIn tinha um gênero. Um gerente de programa, ou um "líder de entrega", ou alguém com Agile no título do perfil, postava um print de uma IA escrevendo uma função, acrescentava uma frase tipo "e diziam que esse trabalho era seguro, é só aprender a programar" e juntava quatrocentas curtidas de gente que faz o mesmo trabalho. A insinuação era sempre que a parte de digitar da engenharia era a engenharia, e agora que um modelo sabe digitar, a classe dos digitadores estav

  • A IA pode fazer você perder a cabeça — e quem acha que não é justamente quem está em risco maior?

    Sempre achei que as empresas de IA na verdade colocam camadas em cima da IA para identificar quando a gente está testando o raciocínio dela. Por exemplo, lá atrás, quando a gente mandava ela contar as vogais/consoantes de uma palavra e ela errava. Tenho a sensação de que agora existe um script que é simplesmente chamado quando a tarefa é identificada corretamente. Também tenho a sensação de que ela é treinada nesses memes. Hoje, descobri um teste novo, um que mostra como a IA te dá psicose de IA

  • Por que o funcionário da Apple faz voto de silêncio por causa de um celular?

    A Apple faz o melhor celular do planeta. Quero deixar isso registrado antes de começar, porque tudo o mais que vou dizer vai ser negado por pessoas que legalmente não podem confirmar de que cor é o prédio delas. O hardware é genuinamente o melhor do setor, o acabamento é muito bom, e o jeito como o relógio, o notebook, o celular e os fones interagem entre si é uma coisa que nenhuma outra empresa jamais conseguiu fazer duas vezes. Nada disso é controverso, eu mesmo sou fanboy da Apple depois…