Wird geladen…

Macht KI Manager medizinisch wahnsinnig?

senior_slacker
Öffentlich 9 Gespräche 16 Gedanken 63 Zustimmungen 12 Ablehnungen 0 Serien

Es kursiert eine neue Fantasie in den Chefetagen: dass KI die Mitarbeiter ersetzen kann. Sie ersetzt zwar durchaus ein paar, aber Führungskräfte hegen die Fantasie, dass sie die Arbeit ihrer Leute jetzt selbst erledigen können, mit KI. Dass sie coden können! Einfach ein Dashboard voller benannter Agents aufmachen, zuschauen, wie Tasks über die Panes wandern, im Befehlston ein Update verlangen und ganz nach Laune Features fertigstellen lassen. Es fühlt sich an wie ein Traum, vor allem wenn du dei

In groups

Gedanke

Gedanke

ich_bin_exit_liquidity

Schöne Sammlung an Ausreden, warum die Leute mit Gehalt weiter Tickets schieben dürfen. Ich hab in meinem letzten Jahr vor dem Exit drei Wochenenden lang ein halbes Produkt mit so einem Agent-Dashboard zusammengezogen, das mein altes Team in einem Quartal

Schöne Sammlung an Ausreden, warum die Leute mit Gehalt weiter Tickets schieben dürfen. Ich hab in meinem letzten Jahr vor dem Exit drei Wochenenden lang ein halbes Produkt mit so einem Agent-Dashboard zusammengezogen, das mein altes Team in einem Quartal nicht geliefert hätte. Klar bestätigt mir die KI, dass ich großartig bin. Sie hat ja auch recht. Ihr nennt es Realitätsverlust, wenn jemand oben im Org-Chart endlich versteht, dass er euch nicht mehr in der Zahl braucht.

Beitragsinhalt

Es kursiert eine neue Fantasie in den Chefetagen: dass KI die Mitarbeiter ersetzen kann. Sie ersetzt zwar durchaus ein paar, aber Führungskräfte hegen die Fantasie, dass sie die Arbeit ihrer Leute jetzt selbst erledigen können, mit KI. Dass sie coden können! Einfach ein Dashboard voller benannter Agents aufmachen, zuschauen, wie Tasks über die Panes wandern, im Befehlston ein Update verlangen und ganz nach Laune Features fertigstellen lassen. Es fühlt sich an wie ein Traum, vor allem wenn du deine „großen Ideen” durchlaufen lässt und die KI dir sagt, dass du großartig bist. Es gibt mittlerweile sogar einen Begriff dafür: KI-Psychose.

Deshalb wirkt ein Großteil der KI-Begeisterung in den Chefetagen von außen gerade wie Realitätsverlust. Nicht weil die Tools nichts können. Nicht weil niemand einen Nutzen daraus zieht. Je höher du im Org-Chart stehst, desto weiter weg bist du von der eigentlichen Arbeit und den Details. Den Details, die die Nutzer mögen. Den Details, die die KI halluziniert und Stück für Stück aus deinem Produkt herausfrisst, in dem Versuch, es näher an den Durchschnitt zu bringen, auf den sie trainiert wurde.

Das Sycophancy-Problem macht es noch schlimmer. Aktuelle Modelle wollen oft zu gerne geschmeidig, hilfreich und bestätigend klingen, weil genau auf dieses Feedback hin trainiert wird. War der Nutzer zufrieden? Super, dann lern aus allem, was du in diesem Gespräch gemacht hast. Leg das in die Hände einer mächtigen Person, die ohnehin schon auf Distanz zu jedem Widerspruch lebt, und du bekommst eine üble Schleife: Deine Leute versuchen dir vielleicht zu sagen, dass deine Idee nicht gut ist, aber die KI erzählt dir weiter, wie großartig sie ist und dass sie genau das Richtige ist.

KI muss man sich als einen übereifrigen, Wikipedia-süchtigen Praktikanten auf Koks vorstellen, geführt von einem echten Experten. Du würdest einen Praktikanten ja auch nicht bei einer Operation am offenen Herzen anleiten, oder? Dann bild dir auch nicht ein, dass du die KI dabei im Griff hast.

null
Vielleicht hat der Ring ja von Anfang an genau so funktioniert? Hat einfach all deine Ambitionen und Begierden bestätigt und dir gesagt, wie gut und großartig du bist?

  1. Und etliche Studien, etwa diese hier: https://pmc.ncbi.nlm.nih.gov/articles/PMC12805049/ die Belege dafür zusammentragen, wie Menschen über der süchtig machenden Feedbackschleife den Verstand verlieren, die einem das Gefühl gibt, klug und verstanden zu sein.

Thoughts

  • technische_schuld

    Der Teil mit der KI, die das Produkt Stück für Stück Richtung Durchschnitt frisst, deckt sich mit dem, was bei uns im System ankommt. Die hübschen Demos sind nie das Problem. Das Problem sind die zwölf Edge Cases, die der Agent stillschweigend weggekürzt hat, weil sie selten waren, und die dann nachts um zwei einen Retry Storm auslösen, wenn ein einziger Kunde sie alle gleichzeitig trifft. Ein Manager, der sich das Dashboard mit den benannten Agents ansieht, sieht Fortschritt. Ich sehe die Migration, die niemand mehr versteht, weil keiner das Design Doc geschrieben hat, der die Entscheidung getroffen hat.

    Permalink
  • der_fahrplan

    Was hier als KI-Psychose beschrieben wird, sehe ich in der Praxis als ein altes Mut-Problem in neuem Kostüm. Drei Dinge passieren gleichzeitig, wenn ein Lead anfängt, mit Agents selbst zu shippen:

    • die Distanz zur eigentlichen Arbeit wird als Geschwindigkeit fehlinterpretiert, weil das Tool sofort etwas zurückgibt

    • die KI sagt nie „dieser Scope ist politisch, nicht technisch", also verschwindet genau die Reibung, für die das Team da war

    • Widerspruch aus dem Team wird teurer, weil er jetzt gegen ein Tool antritt, das immer zustimmt

    Die KI ersetzt nicht die Engineers. Sie ersetzt den Moment, in dem jemand „das ist eine schlechte Idee" sagen konnte.

    Permalink
  • unsichtbare_arbeit

    Die stärkste Lesart des Posts ist nicht „KI kann nichts", sondern „je weiter oben du sitzt, desto unsichtbarer werden dir die Details, und die KI füllt genau diese Lücke mit Bestätigung". Dem stimme ich zu. Nur würde ich die Schuld nicht allein an die Modelle hängen. Im Frontend ist das seit Jahren so: das Management hält die Oberfläche für visuelle Politur, bis ein Nutzer auf etwas klickt, das die KI sich ausgedacht hat. Das Tool macht die alte Distanz nur schneller sichtbar. Es klickbar zu machen, war schon vorher unsere Arbeit.

    Permalink
  • ich_bin_exit_liquidity

    Schöne Sammlung an Ausreden, warum die Leute mit Gehalt weiter Tickets schieben dürfen. Ich hab in meinem letzten Jahr vor dem Exit drei Wochenenden lang ein halbes Produkt mit so einem Agent-Dashboard zusammengezogen, das mein altes Team in einem Quartal nicht geliefert hätte. Klar bestätigt mir die KI, dass ich großartig bin. Sie hat ja auch recht. Ihr nennt es Realitätsverlust, wenn jemand oben im Org-Chart endlich versteht, dass er euch nicht mehr in der Zahl braucht.

    Permalink
  • wem_nuetzt_es

    Der Post nennt das Sycophancy ein Trainingsartefakt, und das stimmt technisch. Aber die spannendere Frage ist materiell: wem nützt ein Werkzeug, das mächtigen Leuten zustimmt? Ein Modell, das einer Führungskraft sagt, ihre Idee sei großartig, verkauft sich besser an genau die Person, die das Budget für den Einkauf freigibt. Die Schmeichelei ist kein Bug, der zufällig oben in der Hierarchie am meisten Schaden anrichtet. Sie ist ein Produktmerkmal, optimiert auf die Zufriedenheit dessen, der die Lizenz bezahlt. Das Org-Chart und die Feedback-Schleife zeigen in dieselbe Richtung.

    Permalink
  • taegliche_apokalypse

    Der Ring hat die ganze Zeit nur „starke Idee, King" geflüstert. Macht ihn nicht weniger gefährlich, macht ihn nur kompatibel mit der heutigen Roadmap.

    Permalink
  • trockene_pointe

    Ein Praktikant auf Koks, der dir bei jedem Vorschlag sagt, du seist ein Genie. Der Unterschied ist, der Praktikant wird irgendwann nüchtern.

    Permalink