Zgadzam się z mechanizmem, ale chcę obronić ten jeden zarzut, który OP sam wymienia. Na wczesnym etapie wdrożenia metryka użycia faktycznie ma sens, bo bez niej nie wiesz, czy narzędzie w ogóle dotarło do zespołów. Problem nie w tym, że ktoś ją wprowadza. Problem w tym, że nikt nigdy nie ustawia daty, kiedy ją wyłączyć. Tymczasowy wskaźnik eksperymentu zostaje na stałe, bo łatwo go pokazać na slajdzie zarządu, a zdjęcie go ze slajdu wygląda, jakby adopcja spadła.
Czy premiowanie inżynierów za używanie AI się zemści?
Publiczna
13 rozmów
21 myśli
94 głosy pozytywne
22 głosy przeciwne
0 serii
Firma potrafi zepsuć niemal każde dobre narzędzie, podpinając pod nie zły wskaźnik. W pracy liczą się tylko bodźce, czy to pieniądze, status, czy awans... Pracownicy działają na bodźce. Ty i ja też. Praktycznie każdy robi to, co opłaca się jemu albo jego bliskim. Dlatego w pracy robimy ostatecznie to, co daje awans, więcej pieniędzy, większą pewność zatrudnienia... Nie jesteśmy właścicielami firmy, jesteśmy pracownikami. Dbamy o siebie. I to jest w porządku.
In groups
Myśl
Myśl
Zgadzam się z mechanizmem, ale chcę obronić ten jeden zarzut, który OP sam wymienia. Na wczesnym etapie wdrożenia metryka użycia faktycznie ma sens, bo bez niej nie wiesz, czy narzędzie w ogóle dotarło do zespołów. Problem nie w tym, że ktoś ją wprowadza.
Treść postu
Firma potrafi zepsuć niemal każde dobre narzędzie, podpinając pod nie zły wskaźnik. W pracy liczą się tylko bodźce, czy to pieniądze, status, czy awans... Pracownicy działają na bodźce. Ty i ja też. Praktycznie każdy robi to, co opłaca się jemu albo jego bliskim. Dlatego w pracy robimy ostatecznie to, co daje awans, więcej pieniędzy, większą pewność zatrudnienia... Nie jesteśmy właścicielami firmy, jesteśmy pracownikami. Dbamy o siebie. I to jest w porządku.
Korzystanie z AI w firmach technologicznych
Kiedy zarząd zaczyna celebrować zużycie tokenów, liczbę promptów, liczbę agentów albo dzienne korzystanie z AI, ludzie zaczną optymalizować pod maszynową aktywność zamiast pod użyteczny efekt. Jeśli twoja praca jest zagrożona, bo zostałeś oznaczony jako ktoś, kto nie chce używać AI, to... używasz AI. Dużo, zwłaszcza gdy inżynierowie są nagradzani za to, że korzystają z niego coraz więcej. To nie znaczy, że są nieracjonalni. To znaczy, że są pracownikami. Pracownicy gonią za tym, co widzi kierownictwo, szczególnie gdy ta widoczna rzecz wiąże się z nagrodami. Teraz aktywność wokół AI wiąże się z dużymi nagrodami
To zwykła korupcja KPI w nowym przebraniu. Organizacje wiedzą w teorii, że gdy wskaźnik staje się celem, przestaje być czystą miarą, a potem zapominają o tej zasadzie w momencie, gdy wskaźnik wygląda technicznie i przyszłościowo. AI pogłębia tę amnezję, bo maszynową aktywność łatwo narysować na wykresie i łatwo się nią chwalić. Adopcja AI to jeden z takich wskaźników.
Lepsza tablica wyników jest trudniejsza i mniej pochlebna. Wyobraź sobie zespół supportu, który z dumą podwaja liczbę odpowiedzi wspieranych przez AI. Brzmi świetnie, dopóki nie zauważysz, że wzrosła też liczba eskalacji, bo odpowiedzi z pierwszego podejścia były płytkie i przełożeni spędzali więcej czasu na ich poprawianiu. Lepsza miara to nie „ile odpowiedzi z AI wygenerowaliśmy?”. To „czy czas pierwszej reakcji się poprawił, a eskalacje, poprawki i frustracja klientów nie urosły?”. To samo dotyczy inżynierii. Spalanie większej liczby tokenów nie znaczy nic, jeśli czas review, liczba defektów i ryzyko rollbacku tylko rosną. A jaki realny wpływ miał w ogóle ten zespół inżynierski?
Jest jeden zarzut, który warto potraktować poważnie. Na wczesnym etapie wdrożenia wskaźniki użycia mogą mieć znaczenie. Jeśli nikt nie tyka narzędzia, nie ma żadnej historii adopcji. W porządku. Ale tymczasowe wskaźniki eksperymentowania mają paskudny zwyczaj zamieniania się w stałe wskaźniki próżności. Gdy status i ocena pracownika zaczną zależeć od widocznej aktywności wokół AI, organizacja zaczyna produkować aktywność, żeby nakarmić tablicę wyników.
Tak właśnie użyteczne narzędzia zamieniają się w biurokrację. Pracownicy zaczynają wpisywać prompty wtedy, gdy powinni po prostu sami zdecydować. Liderzy zaczynają prosić o plany dla agentów, bo plany dla agentów wyglądają nowocześnie. Zespoły optymalizują mierzalną powierzchnię styku z AI zamiast realnego kosztu, jakości i dostarczania. Instytucja po prostu znalazła nowy sposób, żeby marnować pieniądze i jednocześnie się sobą zachwycać.
Kiedyś to był rozwiązany problem. Zarząd nagradzał inżynierów za pisanie większej ilości kodu. Więc bazy kodu rozrastały się dramatycznie i robiły się kruche i przerośnięte. Ten uproszczony wskaźnik już wtedy pokazał, że nie da się ustawić prostych miar wydajności i oczekiwać dobrych wyników. Gdy tylko je ustawisz, ludzie zaczynają pod nie optymalizować. I to jest w porządku, sam robię tak samo.
Thoughts
-
U nas na mobile dokładnie tak poszło. Zespół chwalił się, ile testów napisał z asystą AI, a połowa to flaky testy, które potem ja wyłączałam przed release'em, żeby pipeline w ogóle przeszedł. Robota, która chroni launch, dalej jest niewidzialna, tylko teraz konkuruje z ładnym dashboardem zużycia tokenów. Zgadnij, co widzi manager na review awansowym.
-
Najlepszy fragment to ten o supporcie: liczba odpowiedzi z AI rośnie, eskalacje rosną razem z nią. U mnie na backendzie to wygląda identycznie. Widoczna metryka to liczba PR-ów i zużycie tokenów, a koszt operacyjny i tak ląduje na review i na on-callu trzy tygodnie później. Nikt nie celebruje, że ktoś nie zmergeował kruchej integracji. Celebruje się sam ruch, a ruch płaci za siebie dopiero o drugiej w nocy, kiedy retry storm wywala kolejkę.
-
„Liderzy proszą o plany dla agentów, bo plany dla agentów wyglądają nowocześnie”. Cztery lata w korpo i widziałem dokładnie ten sam ruch z mikroserwisami, z OKR-ami i z return to office. Dają ci nowe słowo, każą napisać sześciostronicowy dokument o tym, jak je pokochałeś, a spotkanie i tak przechodzi na async. Napisałeś pamiętnik o promptach.
-
Pytanie bardziej z perspektywy kogoś, kto składa decki, a nie pisze kod: a co realnie dzieje się z osobą, która po prostu nie używa AI, bo akurat jej zadanie tego nie potrzebuje? Bo z tego, co widzę przy pre-readach, dashboard adopcji trafia na slajd dużo wcześniej, niż ktokolwiek pyta, czy ten task w ogóle miał z tego skorzystać. I wtedy „niski wynik” zaczyna żyć własnym życiem niezależnie od tego, czy robota była dobra.
-
Zgadzam się z mechanizmem, ale chcę obronić ten jeden zarzut, który OP sam wymienia. Na wczesnym etapie wdrożenia metryka użycia faktycznie ma sens, bo bez niej nie wiesz, czy narzędzie w ogóle dotarło do zespołów. Problem nie w tym, że ktoś ją wprowadza. Problem w tym, że nikt nigdy nie ustawia daty, kiedy ją wyłączyć. Tymczasowy wskaźnik eksperymentu zostaje na stałe, bo łatwo go pokazać na slajdzie zarządu, a zdjęcie go ze slajdu wygląda, jakby adopcja spadła.
-
Mierzą zużycie tokenów, bo łatwiej policzyć niż pomyśleć.
-
To po prostu prawo Goodharta w nowym opakowaniu i rynek zna ten wzorzec od dekad. Jeśli zysk wygląda na darmowy, to ty jesteś tym zyskiem. Tutaj darmowym zyskiem jest ładny wykres adopcji, za który płaci ktoś inny: review, jakość, klient. Pytanie, które bym zadał na każdym takim spotkaniu, brzmi: pokaż mi metrykę, której wzrost was zaboli, a nie tylko taką, którą da się wrzucić do decku.
-
Albo, słuchajcie, firma daje wam najlepsze narzędzie od dekady i musi was prosić, żebyście je włączyli. Płaciłem kiedyś listę płac, której nie umiałem domknąć, więc wybaczcie, że nie płaczę nad inżynierem, który dostaje premię za nauczenie się czegoś nowego. Wskaźnik adopcji istnieje, bo bez niego połowa z was tknęłaby narzędzie dopiero, jak konkurencja zje wam rynek. To nie korupcja KPI, to ktoś w końcu zmierzył, kto wiosłuje.