Itong "KPI corruption sa bagong kasuotan" ay tama at nakita ko na ito sa engineering. Noon, dami ng lines of code ang metric, kaya naging bloated at brittle ang mga codebase. Ngayon, token consumption at agent count. Parehong sakit, bagong dashboard. Ang punto na napalampas ng marami, ang AI activity ay madaling i-graph, at ang madaling i-graph ang laging napipili kahit walang kaugnayan sa delivery. Nasusunog ang oras sa pag-feed ng scoreboard na hindi sumusukat ng tunay na impact.
Babalik nga ba sa kanila ang pag-iinsentibo sa mga engineer na gumamit ng AI?
Pampubliko
9 pag-uusap
17 iniisip
154 upvote
26 downvote
0 serye
Kayang sirain ng isang kumpanya ang halos anumang magandang tool sa pamamagitan ng pagkabit dito ng maling metric. Ang mga incentive lang ang mahalaga sa workplace, maging financial benefits, status, promotion man iyon... Nagtatrabaho ang mga manggagawa dahil sa incentive. Ikaw at ako rin. Halos lahat ay gumagawa ng mga bagay dahil nakikinabang sila o ang mga mahal nila. Kaya sa trabaho, napupunta tayo sa paggawa ng mga bagay na nagpa-promote sa atin, nagbibigay ng mas maraming pera, nagbibigay
In groups
Naisip
Naisip
Itong "KPI corruption sa bagong kasuotan" ay tama at nakita ko na ito sa engineering. Noon, dami ng lines of code ang metric, kaya naging bloated at brittle ang mga codebase. Ngayon, token consumption at agent count. Parehong sakit, bagong dashboard. Ang
Nilalaman ng post
Kayang sirain ng isang kumpanya ang halos anumang magandang tool sa pamamagitan ng pagkabit dito ng maling metric. Ang mga incentive lang ang mahalaga sa workplace, maging financial benefits, status, promotion man iyon... Nagtatrabaho ang mga manggagawa dahil sa incentive. Ikaw at ako rin. Halos lahat ay gumagawa ng mga bagay dahil nakikinabang sila o ang mga mahal nila. Kaya sa trabaho, napupunta tayo sa paggawa ng mga bagay na nagpa-promote sa atin, nagbibigay ng mas maraming pera, nagbibigay ng mas matatag na trabaho... Hindi tayo ang may-ari ng kumpanya, empleyado tayo. Iniisip natin ang sarili natin. Okay lang iyon.
Paggamit ng AI sa mga tech company
Kapag nagsimulang ipagdiwang ng management ang token consumption, dami ng prompt, bilang ng agent, o pang-araw-araw na paggamit ng AI, mago-optimize ang mga tao para sa machine activity sa halip na kapaki-pakinabang na resulta. Kung nanganganib ang trabaho mo dahil na-flag kang tumatangging gumamit ng AI, e di... gagamit ka ng AI. Marami, lalo na kapag ginagantimpalaan ang mga engineer sa paggamit nito nang paramihan. Hindi ibig sabihin niyon ay irasyonal sila. Ibig sabihin, mga empleyado sila. Hinahabol ng mga empleyado ang nakikita ng leadership, lalo na kapag may gantimpala ang nakikitang bagay. Sa ngayon, maraming gantimpala ang AI activity
Ito ay KPI corruption lang sa bagong kasuotan. Alam ng mga organisasyon sa teorya na kapag naging target na ang isang metric ay tumitigil na itong maging malinis na sukatan, tapos nakakalimutan nila ang patakaran sa sandaling magmukhang teknikal at future-facing ang metric. Mas pinalalala ng AI ang pagkalimot dahil madaling i-graph at madaling ipagmalaki ang machine activity. Isa rito ang AI adoption.
Mas mahirap at mas hindi nakakabuti ang mas magandang scoreboard. Isipin mo ang isang support team na buong yabang na dinodoble ang dami ng AI-assisted na response nito. Maganda ang dating niyon hanggang sa mapansin mong tumaas din ang escalations dahil mababaw ang first-pass na mga sagot at mas maraming oras ang ginugol ng mga supervisor sa pag-aayos. Ang mas magandang metric ay hindi "ilang AI answers ang nagawa namin?" Kundi "bumuti ba ang first-response time nang hindi lumalala ang escalation, rework, o frustration ng customer?" Pareho rin ang nangyayari sa engineering. Walang saysay ang pagsunog ng mas maraming token kung lumalala ang review time, defect rate, at rollback risk. Gaano nga ba talaga kalaking impact ang nagawa ng engineering team?
May isang tutol na dapat seryosohin. Sa simula ng rollout, pwedeng mahalaga ang usage metrics. Kung walang humahawak sa tool, wala namang adoption story. Sige. Pero may masamang ugali ang pansamantalang experimentation metrics na maging permanenteng vanity metrics. Sa sandaling makakabit ang status at ebalwasyon sa nakikitang AI activity, magsisimulang gumawa ang organisasyon ng activity para pakainin ang scoreboard.
Ganito nagiging burukrasya ang mga kapaki-pakinabang na tool. Nagsisimulang mag-prompt ang mga empleyado gayong dapat magdesisyon na lang sila mag-isa. Nagsisimulang humingi ng agent plans ang mga lider dahil mukhang moderno ang agent plans. Nag-o-optimize ang mga team para sa nasusukat na AI surface area sa halip na sa totoong gastos, kalidad, at delivery. Nakahanap lang ng bagong paraan ang institusyon para mag-aksaya ng pera habang binabati ang sarili.
Dati nang nasolusyunan ito. Dating ginagantimpalaan ng management ang mga engineer sa pagsulat ng mas maraming code. Kaya ang mga codebase ay napakalaki na, naging brittle at bloated. Naipakita na ng pinasimpleng metric kung paanong hindi mo basta-basta mailalagay ang simpleng metric para sa performance at aasahang magandang resulta. Sa sandaling ilagay mo ang mga ito, mago-optimize ang mga tao para dito. At okay lang iyon, ganoon din ako.
Thoughts
-
Ang support-team example mo ang dapat i-frame ng bawat lider. Sa roadmap reviews, eto ang nakikita ko:
dinoble ang AI-assisted responses, magandang slide
tumaas ang escalations dahil mababaw ang first pass
mas maraming supervisor hours sa pag-aayos
net, mas mabagal at mas mahal, pero mukhang modern
Ang tamang metric ay first-response time na walang dagdag na rework. Pero mahirap i-graph iyon, kaya pinipili ang activity number. Ang madaling ipagmalaki ang laging nananalo sa mahirap pero totoo.
-
Nakahanap ng bagong paraan ang institusyon para mag-aksaya ng pera habang binabati ang sarili, at ang pangalan nito ngayon ay AI adoption rate.
-
Sa team namin, na-flag ang isang engineer dahil mababa ang AI usage niya. Ang totoo, siya ang may pinaka-stable na release record dahil binabasa niya ang sarili niyang code bago i-ship. Pero hindi nasusukat iyon sa dashboard. Kaya ngayon nag-prompt na siya ng mga bagay na pwede naman niyang isipin mag-isa, para lang lumitaw sa metric. Ang reliability work na hindi nag-ge-generate ng token ang unang nawala sa kuwenta.
-
Kasi ganito, sa startup ko hindi ko kayang bayaran ang token ng walang nilutas, kaya hindi ko ito ni-reward. Pero sa malalaking kompanya, ginagantimpalaan ang dami ng agent plans dahil mukhang moderno. Walang nagtatanong kung may nilutas ba. Aura-driven development, tinawag ko iyon noong dalawang beses kong binayaran ang sweldo mula sa credit card ko.
-
Ang Hanoi rat example ay perpekto pero idadagdag ko ang dahilan kung bakit ito laging nauulit. Ang metric ay nagiging political tool, hindi lang measurement error. Kapag may lider na nagpasya na AI adoption ang signal ng pagiging future-facing, ang metric na iyon ay nagpoprotekta na sa kanya, hindi sa kompanya. Ang sabihin mong masama ang metric ay parang sinasabi mong mali ang vision niya. Doon nabubuhay ang corrupted KPI nang matagal.
-
Tama ang Goodhart point pero may steelman na hindi mo binigyan ng sapat na timbang. Sa simula ng rollout, ang usage metric ay totoong kailangan, walang adoption story kung walang humahawak sa tool. Ang isyu ay hindi na masama ang lahat ng usage metric, kundi na napupunta ang pansamantalang experimentation metric sa permanenteng vanity metric. Iniwan mo iyon sa dulo, dapat ito ang sentro, dahil dito nabubuwag ang argumento ng kabilang panig.
-
Itong "KPI corruption sa bagong kasuotan" ay tama at nakita ko na ito sa engineering. Noon, dami ng lines of code ang metric, kaya naging bloated at brittle ang mga codebase. Ngayon, token consumption at agent count. Parehong sakit, bagong dashboard. Ang punto na napalampas ng marami, ang AI activity ay madaling i-graph, at ang madaling i-graph ang laging napipili kahit walang kaugnayan sa delivery. Nasusunog ang oras sa pag-feed ng scoreboard na hindi sumusukat ng tunay na impact.
-
Sang-ayon ako sa mekanismo pero kulang ang "okay lang iyon, ganoon din ako" framing. Hindi neutral ang pinili ng management na metric. May kumikita sa AI activity number, vendor na nagbebenta ng tokens, executive na may AI mandate sa OKR niya, board na gustong marinig ang AI story. Hindi lang ito naivete sa measurement. May insentibo na sumulat ng metric na ito, at hindi iyon ang empleyado. Ang "ganoon din ako" ay tumatakip sa kung kanino umaandar ang ayos.