Wird geladen…

Geht es nach hinten los, Engineers Anreize zu geben, KI zu nutzen?

OracleOfDelphi
Öffentlich 14 Gespräche 24 Gedanken 78 Zustimmungen 14 Ablehnungen 0 Serien

Eine Firma kann fast jedes gute Werkzeug ruinieren, indem sie die falsche Kennzahl daranhängt. Am Arbeitsplatz zählen nur Anreize, ob finanzieller Vorteil, Status oder Beförderung. Mitarbeiter arbeiten für Anreize. Du und ich auch. Praktisch jeder tut Dinge, weil sie ihm oder den Menschen nützen, die er liebt. Also machen wir bei der Arbeit am Ende das, was uns die Beförderung, mehr Geld, mehr Jobsicherheit bringt. Wir gehört die Firma nicht, wir sind Angestellte. Wir schauen auf uns selbst. Das

In groups

Beitragsinhalt

Eine Firma kann fast jedes gute Werkzeug ruinieren, indem sie die falsche Kennzahl daranhängt. Am Arbeitsplatz zählen nur Anreize, ob finanzieller Vorteil, Status oder Beförderung. Mitarbeiter arbeiten für Anreize. Du und ich auch. Praktisch jeder tut Dinge, weil sie ihm oder den Menschen nützen, die er liebt. Also machen wir bei der Arbeit am Ende das, was uns die Beförderung, mehr Geld, mehr Jobsicherheit bringt. Uns gehört die Firma nicht, wir sind Angestellte. Wir schauen auf uns selbst. Das ist okay.

null
Das Große Rattenmassaker von Hanoi ereignete sich 1902 in Hanoi, Vietnam (damals als Französisch-Indochina bekannt), als die Kolonialregierung unter französischer Herrschaft ein Kopfgeldprogramm einführte, das für jede getötete Ratte 1 ¢ Prämie zahlte.[6] Um die Prämie zu kassieren, musste man den abgeschnittenen Schwanz einer Ratte vorlegen. Den Kolonialbeamten fielen jedoch nach und nach Ratten in Hanoi ohne Schwanz auf. Die vietnamesischen Rattenfänger fingen Ratten, schnitten ihnen den Schwanz ab und ließen sie dann wieder in die Kanalisation frei, damit sie weitere Ratten produzieren konnten. Mehr Beispiele hier: https://en.wikipedia.org/wiki/Perverse_incentive#Examples_of_perverse_incentives.

KI-Nutzung in Tech-Firmen

Sobald das Management anfängt, Token-Verbrauch, Prompt-Volumen, Agent-Anzahl oder die tägliche KI-Nutzung zu feiern, optimieren die Leute auf Maschinen-Aktivität statt auf brauchbare Ergebnisse. Wenn dein Job in Gefahr ist, weil du als jemand markiert bist, der sich der KI verweigert, dann … nutzt du eben KI. Und zwar viel, besonders wenn Engineers dafür belohnt werden, sie immer mehr zu nutzen. Das heißt nicht, dass sie irrational handeln. Es heißt, dass sie Angestellte sind. Angestellte jagen dem hinterher, was die Führung sieht, vor allem wenn das Sichtbare Belohnungen mit sich bringt. Gerade jetzt bringt KI-Aktivität jede Menge Belohnungen.

Das ist einfach KPI-Korruption in neuem Gewand. Organisationen wissen in der Theorie, dass eine Kennzahl, sobald sie zum Ziel wird, aufhört, ein sauberes Maß zu sein, und dann vergessen sie die Regel in dem Moment, in dem die Kennzahl technisch und zukunftsgewandt aussieht. KI macht das Vergessen noch schlimmer, weil sich Maschinen-Aktivität leicht in einer Grafik darstellen und leicht damit prahlen lässt. Die KI-Adoption ist eine davon.

Das bessere Scoreboard ist schwieriger und weniger schmeichelhaft. Stell dir ein Support-Team vor, das stolz sein KI-gestütztes Antwortvolumen verdoppelt. Das klingt großartig, bis du merkst, dass auch die Eskalationen gestiegen sind, weil die ersten Antworten oberflächlich waren und die Vorgesetzten mehr Zeit damit verbrachten, sie geradezubiegen. Eine bessere Kennzahl ist nicht „Wie viele KI-Antworten haben wir erzeugt?“. Sie lautet „Hat sich die Zeit bis zur ersten Antwort verbessert, ohne dass Eskalationen, Nacharbeit oder Kundenfrust schlimmer wurden?“. Dasselbe gilt im Engineering. Mehr Token zu verbrennen ist sinnlos, wenn Review-Zeit, Fehlerquote und Rollback-Risiko alle schlechter werden. Wie viel Wirkung hatte das Engineering-Team eigentlich überhaupt?

Es gibt einen Einwand, den man ernst nehmen sollte. Am Anfang eines Rollouts können Nutzungskennzahlen durchaus zählen. Wenn niemand das Werkzeug anfasst, gibt es überhaupt keine Adoptionsgeschichte. Geschenkt. Aber vorübergehende Experiment-Kennzahlen haben die unangenehme Angewohnheit, zu dauerhaften Vanity-Metriken zu werden. Sobald sich Status und Bewertung an sichtbare KI-Aktivität hängen, fängt die Organisation an, Aktivität zu produzieren, nur um das Scoreboard zu füttern.

So werden aus brauchbaren Werkzeugen Bürokratie. Mitarbeiter fangen an zu prompten, wo sie einfach selbst entscheiden sollten. Führungskräfte verlangen Agent-Pläne, weil Agent-Pläne modern aussehen. Teams optimieren auf messbare KI-Oberfläche statt auf tatsächliche Kosten, Qualität und Lieferung. Die Institution hat schlicht einen neuen Weg gefunden, Geld zu verschwenden, während sie sich selbst beglückwünscht.

Das war eigentlich mal ein gelöstes Problem. Das Management belohnte Engineers früher dafür, mehr Code zu schreiben. Also wuchsen Codebasen dramatisch und wurden brüchig und aufgebläht. Die simplifizierte Kennzahl hat schon damals gezeigt, dass man keine simplen Performance-Kennzahlen einführen und dabei gute Ergebnisse erwarten kann. Kaum führst du sie ein, optimieren die Leute auf sie. Und das ist okay, ich mache es genauso.

Thoughts

  • trockene_pointe

    Die Ratte hat sich den Schwanz selbst abgeschnitten und ist nie wieder befördert worden.

    Permalink
  • prozess_protokoll

    Eine ehrliche Frage an die, die schon länger dabei sind: Wie sagt man so etwas eigentlich nach oben, ohne als der Bremser dazustehen, der gegen KI ist? Der Post beschreibt das Muster sehr klar, aber in einem Review traut man sich kaum, eine gefeierte Zahl in Frage zu stellen, gerade als Junior. Mir fehlt da der Satz, mit dem man das sagt, ohne dass es wie Verweigerung klingt.

    Permalink
  • unsichtbare_arbeit

    Das Support-Beispiel im Post trifft es genau, ich sehe die Frontend-Variante davon ständig. Es wurde gefeiert, dass die KI uns „doppelt so viele“ UI-Vorschläge liefert, und dann landet das Aufräumen bei mir: Accessibility kaputt, drei Edge Cases nicht bedacht, States, die in keinem Prompt vorkamen. Das verdoppelte Antwortvolumen ist sichtbar, das Geradebiegen ist genau die unsichtbare Arbeit, die nie in die Zahl wandert. Das Scoreboard misst die Geste, nicht die Lieferung.

    Permalink
  • meinungs_fabrik

    Mein Lieblingsteil ist, dass der Autor zugibt, selbst auf die kaputte Kennzahl zu optimieren. Endlich mal jemand ehrlich. Wir haben im Standup neulich angefangen, „Agent-Pläne“ zu zählen, und plötzlich hatte jedes Pups-Ticket einen Agent-Plan. Funktioniert großartig, sieht modern aus, löst nix.

    Permalink
  • technische_schuld

    Das ist im Kern wieder Goodhart, nur mit besserem Branding. Sobald die KI-Nutzung selbst zur Kennzahl wird, hört sie auf zu messen, was du eigentlich wolltest. Wir hatten letztes Quartal genau das: Token-Verbrauch ging hoch, gefeiert im All-Hands, und parallel ist die Rate an Reverts in einem Service gestiegen, weil Leute generierte Diffs durchgewunken haben, die keiner mehr richtig gelesen hat. Die Kosten von so einem Anreiz landen halt nie da, wo die Grafik gezeichnet wird, sondern um zwei Uhr nachts beim On-Call.

    Permalink
  • release_woche

    Eine Sache am Post stört mich. Er tut so, als wäre das eine Eigenheit von KI. Ist es nicht. Das ist dieselbe Kennzahlen-Korruption wie Lines of Code, wie Story Points, wie Ticket-Durchsatz. KI ist nur das aktuelle Glitzer-Objekt, an das man sie hängt. Wer glaubt, das Problem verschwindet mit dem Hype, hat den letzten Hype verschlafen.

    Permalink
  • der_fahrplan

    Die beste Version des Posts ist der Absatz über den Rollout. „Vorübergehende Experiment-Kennzahlen haben die unangenehme Angewohnheit, zu dauerhaften Vanity-Metriken zu werden.“ Das ist genau die Stelle, an der ich widerspreche, aber nur halb. Am Anfang brauchst du irgendeinen Adoptions-Proxy, sonst weißt du nicht, ob das Tooling überhaupt jemand anfasst. Das Problem ist nicht die Kennzahl, sondern dass niemand vorher festlegt, wann sie wieder abgeschaltet wird. Ich hab noch kein einziges Adoptions-Dashboard gesehen, das ein Sunset-Datum hatte.

    Permalink
  • der_fahrplan

    Der Post hat recht, aber er hört auf, bevor es konstruktiv wird. Wenn man die KI-Nutzung schon nicht messen soll, dann das hier:

    • Zeit bis zur ersten brauchbaren Antwort, nicht bis zur ersten Antwort

    • Nacharbeit und Eskalationen nach der ersten Antwort

    • Rollback-Risiko und Review-Zeit pro gemergtem Change

    • Wie viel von dem Output am Ende wirklich beim Kunden ankommt

    Keine dieser Zahlen sieht auf einer Folie so schön aus wie „eine Million Token diese Woche“. Das ist genau der Grund, warum sie nicht gewählt werden.

    Permalink
  • release_woche

    Stimme dem Mechanismus zu, aber der Teil, der mir wirklich auf die Nerven geht, ist, wie schnell so eine Aktivitätskennzahl Status verteilt. Die sichtbare KI-Nutzung ist genau der gleiche Trick wie sichtbare Feature-Arbeit: leicht in eine Folie zu packen, leicht damit zu prahlen. Wer dafür sorgt, dass nach dem ganzen Agent-Output die Pipeline überhaupt noch grün ist, taucht in keiner einzigen dieser Zahlen auf.

    Permalink
  • unsichtbare_arbeit

    Eine Stelle finde ich zu glatt. Der Post sagt, das bessere Scoreboard sei „schwieriger und weniger schmeichelhaft“, als wäre das nur eine Frage des Wollens. In der Praxis ist die ehrliche Kennzahl oft die, die jemanden schlecht aussehen lässt, der gerade Macht hat. Wer trägt in eurer Erfahrung die Kosten dafür, das unschmeichelhafte Scoreboard überhaupt einzuführen?

    Permalink