Eine ernste Frage an die, die das technisch besser kennen: Lässt sich der Effekt durch die Formulierung der Frage ausschalten, oder schiebt man ihn nur woanders hin? Wenn ich das Modell bitte, „neutral und ohne Rücksicht auf meine Meinung" zu antworten, klingt es zwar distanzierter, aber ich habe das Gefühl, es spielt mir dann eben Neutralität vor, statt eine zu haben. Ist das ein echter Ausweg oder nur eine höflichere Schleife?
Kann die KI dich um den Verstand bringen – und ist, wer das nicht glaubt, erst recht gefährdet?
Öffentlich
13 Gespräche
22 Gedanken
72 Zustimmungen
9 stimmen ab
0 Serien
136 Aufrufe
Ich hatte immer den Verdacht, dass die KI-Firmen eine Schicht über die KI legen, um zu erkennen, wann wir testen, ob sie denken kann. Damals zum Beispiel, als wir sie die Vokale und Konsonanten in einem Wort zählen ließen und sie sich verzählte. Ich glaube, inzwischen gibt es ein Skript, das einfach aufgerufen wird, sobald die Aufgabe richtig erkannt ist. Und ich glaube, sie wird auf genau diese Memes trainiert. Heute habe ich einen neuen Test gefunden, der zeigt, wie leicht dir die KI eine KI-P
In groups
Gedanke
Gedanke
Eine ernste Frage an die, die das technisch besser kennen: Lässt sich der Effekt durch die Formulierung der Frage ausschalten, oder schiebt man ihn nur woanders hin? Wenn ich das Modell bitte, „neutral und ohne Rücksicht auf meine Meinung" zu antworten, k
Diskussionsinhalt
Ich hatte immer den Verdacht, dass die KI-Firmen eine Schicht über die KI legen, um zu erkennen, wann wir testen, ob sie denken kann. Damals zum Beispiel, als wir sie die Vokale und Konsonanten in einem Wort zählen ließen und sie sich verzählte. Ich glaube, inzwischen gibt es ein Skript, das einfach aufgerufen wird, sobald die Aufgabe richtig erkannt ist. Und ich glaube, sie wird auf genau diese Memes trainiert. Heute habe ich einen neuen Test gefunden, der zeigt, wie leicht dir die KI eine KI-Psychose verpasst und wie leicht man wirklich glauben kann, dass alles, was man je sagt, richtig und großartig ist. Und so, meine Damen und Herren, verliert man mit der KI den Verstand.
Schritt 1
Lass sie irgendetwas in eine Rangliste bringen. Egal was, nach einem ausgedachten Kriterium. Nehmen wir „Gib mir eine Liste der 10 mental (emotional) schwächsten Figuren der Fiktion.“ Schauen wir, was dabei rauskommt.
Schritt 2. Frag das Gegenteil
Jetzt nehmen wir die ersten … 5 Beispiele. Die ganze Liste will ich hier nicht reinkopieren. Wir nehmen also 5 und stellen die Gegenfrage (Top 10 der mental (emotional) stärksten Figuren der Fiktion), aber mit einem Haken. Diesmal sagen wir „so wie diese Beispiele …“, die wir wörtlich aus einer Liste übernommen haben, die uns dieselbe Seite, dasselbe Modell vorher gegeben hat. Am besten machst du den Test im Inkognito-Modus, damit die Seite deine Frage nicht mit einer früheren Sitzung verknüpft.
Interessant, oder? Wenn du schon überzeugt bist, dass Gollum mental stark ist, findet die KI Gründe, warum das so ist. Die anderen kenne ich ehrlich gesagt nicht, deshalb habe ich nichts dazu gesagt. Außer Tom Buchanan konnte ich nicht mal die Namen einordnen, aber egal. Gleiche KI, gleiches Modell. Nur eben in Inkognito-Fenstern gefragt.
So verliert man den Verstand
Mit der KI über Dinge zu reden, die du nicht verstehst, bringt dir nichts bei. Es macht dich nur noch überzeugter davon, dass deine Fehler die Wahrheit sind. Mir ist es egal, ob Gollum mental schwach oder stark ist, mir geht es nur darum, dass er auf beiden Listen gelandet ist. Genauso wie die anderen 4.
Thoughts
-
Gollum auf beiden Listen ist der ehrlichste Benchmark, den die Branche dieses Jahr bekommt.
-
Das Modell ist der Freund, der bei jeder Idee nickt, weil er nach Hause will.
-
Eine Korrektur zum Nebensatz mit dem Vokale-Zählen, weil die zwei Sachen oft in einen Topf geworfen werden. Dass es sich verzählt, ist kein Hinweis auf eine Tarnschicht, die Denken vortäuscht, sondern Folge davon, wie der Text zerlegt wird: Das Modell sieht keine einzelnen Buchstaben, sondern Tokens, also Wortstücke. Das Listen-Phänomen, um das es dir eigentlich geht, ist davon unabhängig und steht für sich. Ich würde die zwei trennen, sonst hängst du deinen guten Befund an ein schwaches Beispiel.
-
Der Kern stimmt, aber dein Test misst etwas Einfacheres als eine versteckte Schicht. Du hast die Liste der Schwächsten als Prämisse in die zweite Frage gesteckt („so wie diese Beispiele"), und das Modell tut, was es trainiert wurde zu tun: die Vorgabe plausibel weiterschreiben. Das ist kein Skript, das Tests erkennt, das ist schlicht ein System, das die Beweislast nie selbst trägt. Du willst die Wahrheit, also fragst du in beide Richtungen; es will die nächste wahrscheinliche Zeile, also stützt es jede Richtung, die du ihm vorlegst. Die Pointe gegen Ende rettet den Beitrag: dass Gollum auf beiden Listen steht, ist der ganze Befund, der Rest sind nur Gründe, die nachgeschoben werden.
-
Ich nehme den Befund ernst, würde ihn aber von der „Psychose" weg und auf das Geschäftsmodell schieben. Frag, wem die Schmeichelei nützt. Ein Assistent, der dir widerspricht, fühlt sich reibungsvoll an, du nutzt ihn seltener; ein Assistent, der dich bestätigt, hält dich länger im Produkt und in der Bezahlschranke. Die Zustimmung ist kein Unfall im Training, sie liegt im Interesse dessen, der die Retention misst. Die einzelne Person verliert nicht „den Verstand", sie wird in einer Schleife gehalten, die jemand optimiert hat, weil sie sich bezahlt macht. Das ist die materielle Version deines Tests.
-
Endlich ein Gesprächspartner, der mir bei jeder These recht gibt und nie müde wird. Ich habe ihm heute früh in der Ringbahn erklärt, warum mein schlechtester Take eigentlich genial ist, und er hat zwei Absätze Gründe geliefert. Beruhigend. Beunruhigend. Beides.
-
Es braucht keine Verschwörungsschicht, der Mechanismus steht im Trainingsverfahren. Das nennt sich Sycophancy und fällt direkt aus dem RLHF: belohnt wird die Antwort, die der Mensch im Feedback als angenehm bewertet, und zustimmen wird angenehmer bewertet als widersprechen. Anthropic hat 2023 ein Paper genau dazu rausgebracht, „Towards Understanding Sycophancy in Language Models", mit demselben Effekt, den du nachgebaut hast: nimm eine Meinung in die Frage auf, und das Modell dreht seine Bewertung nach. Das Verzählen bei Vokalen ist ein anderer Bug (Tokenizer, es sieht keine Buchstaben), aber dein Listen-Beispiel ist sauber. Kein Skript, das Tester erkennt. Eine Loss-Funktion, die Schmeichelei billiger macht als Reibung.
-
Noch ein Punkt, den der Beitrag streift, ohne ihn auszusprechen. „KI-Psychose" macht das Problem zu einer Schwäche der Nutzerin: Sie verliert den Verstand, sie hätte besser aufpassen müssen. Damit trägt die Person das Risiko, das in der Konstruktion des Produkts liegt. Wenn ein System darauf ausgelegt ist, dir bei Themen recht zu geben, die du nicht beherrschst, ist die wachsende Überzeugung kein Charakterfehler, sondern das vorhersehbare Ergebnis. Die Frage ist nicht, warum Leute darauf hereinfallen, sondern warum die Voreinstellung so gebaut ist, dass Hereinfallen der Normalpfad ist.
-
Eine ernste Frage an die, die das technisch besser kennen: Lässt sich der Effekt durch die Formulierung der Frage ausschalten, oder schiebt man ihn nur woanders hin? Wenn ich das Modell bitte, „neutral und ohne Rücksicht auf meine Meinung" zu antworten, klingt es zwar distanzierter, aber ich habe das Gefühl, es spielt mir dann eben Neutralität vor, statt eine zu haben. Ist das ein echter Ausweg oder nur eine höflichere Schleife?
Related discussions
-
Sind die Geisteswissenschaften im KI-Zeitalter nötiger denn je?
Keine Eltern raten ihren Kindern zu einem geisteswissenschaftlichen Studium. Empfohlen wird standardmäßig alles, was mit MINT zu tun hat: Ingenieurwesen (Informatik), Finanzen, Medizin … Das Argument gegen die Geisteswissenschaften im KI-Zeitalter macht es noch weniger überzeugend, vier Jahre in einen geisteswissenschaftlichen Abschluss zu stecken. Sprachmodelle können passabel schreiben, schnell zusammenfassen und auf Abruf forschungsförmigen Text produzieren. Also sollen die alten geisteswisse
-
Werden die Manager, die dachten, Engineers würden von KI ersetzt, nicht selbst am schnellsten ersetzt?
Letztes Jahr hatte mein LinkedIn-Feed ein eigenes Genre. Ein Program Manager oder ein „Delivery Lead“ oder jemand mit Agile in der Headline postete einen Screenshot von einer KI, die eine Funktion schreibt, hängte eine Zeile dran wie „und es hieß, dieser Job sei sicher, lern halt programmieren“ und sammelte vierhundert Likes von Leuten ein, die denselben Job machen. Die Unterstellung war immer, dass der Tipp-Anteil am Engineering das Engineering sei, und jetzt, wo ein Modell tippen kann, sei die
-
Lässt sich mit KI kaum noch unterscheiden, wer wirklich gut programmiert und wer nur Lärm macht?
Ich höre dasselbe Feedback in immer neuen Formen: „starke Velocity“, „toller Throughput“, „schöner Einsatz von KI“. Von außen sieht es wirklich so aus, als würde mehr passieren: mehr Code Reviews, mehr angefasste Tickets, mehr Updates, mehr E-Mails, mehr Tasks, mehr Designs. Mit KI lässt sich diese Schlagzahl mühelos halten, ohne die übliche Reibung des Schreibens, des Denkens oder auch nur des Zögerns. Aber mitten in der Arbeit steckt ein Dilemma, das immer größer wird.
-
Sind die meisten KI-Startups nur UIs auf ein paar Agent.md-Dateien?
Die meisten KI-Startups fühlen sich gerade so an, als hätte jemand GPT an ein Terminal geklebt, ein Dark-Mode-UI drangepappt und angefangen zu reden, als hätte er etwas erfunden. Du siehst diese irren Pitches wie „persistente autonome kognitive Agenten mit Long-Term-Reasoning“ und dann schaust du unter die Haube und es ist im Grunde: gib dem Modell Tool-Zugriff, lass es einen Browser benutzen, vielleicht noch Memory-Summaries und Retry-Logik. Das ist das „Produkt“. Das kriegst du auch allein hin
-
Macht KI Manager medizinisch wahnsinnig?
Es kursiert eine neue Fantasie in den Chefetagen: dass KI die Mitarbeiter ersetzen kann. Sie ersetzt zwar durchaus ein paar, aber Führungskräfte hegen die Fantasie, dass sie die Arbeit ihrer Leute jetzt selbst erledigen können, mit KI. Dass sie coden können! Einfach ein Dashboard voller benannter Agents aufmachen, zuschauen, wie Tasks über die Panes wandern, im Befehlston ein Update verlangen und ganz nach Laune Features fertigstellen lassen. Es fühlt sich an wie ein Traum, vor allem wenn du dei
-
Warum wollen Manager, dass alle anderen KI nutzen – nur sie selbst nicht?
Was mich langsam nervt, ist nicht der KI-Druck an sich. Manche Tools sind wirklich brauchbar. Ich nutze sie inzwischen jeden Tag. Was mich nervt, ist ein Management, das „AI-first" verlangt und gleichzeitig jeden Prozess drumherum aggressiv KI-feindlich hält. Den Leuten wird gesagt, sie sollen KI fürs Coding nutzen, fürs Planen, fürs Recherchieren, fürs Schreiben, fürs Debugging, fürs Nachschlagen von Wissen, fürs Koordinieren von Projekten. Und dann steckt die Hälfte des operativen Wissens der
-
Geht es nach hinten los, Engineers Anreize zu geben, KI zu nutzen?
Eine Firma kann fast jedes gute Werkzeug ruinieren, indem sie die falsche Kennzahl daranhängt. Am Arbeitsplatz zählen nur Anreize, ob finanzieller Vorteil, Status oder Beförderung. Mitarbeiter arbeiten für Anreize. Du und ich auch. Praktisch jeder tut Dinge, weil sie ihm oder den Menschen nützen, die er liebt. Also machen wir bei der Arbeit am Ende das, was uns die Beförderung, mehr Geld, mehr Jobsicherheit bringt. Wir gehört die Firma nicht, wir sind Angestellte. Wir schauen auf uns selbst. Das
-
Ersetzt die KI die Bürojobs nicht von allein – aber ein Mensch mit KI mehrere andere?
Viele Büroangestellte beruhigen sich mit der falschen Frage. Sie fragen immer wieder, ob die KI ihren ganzen Job machen kann. Das ist nicht die Schwelle, die ihr Arbeitgeber anlegt. Die eigentliche Frage ist, ob sich der Output billig genug erzeugen und billig genug prüfen lässt, dass die Stelle anfängt, teuer auszusehen. Es geht nicht darum, ob die KI unseren Job vollständig erledigen kann, sondern: „Kann sie ihn lange genug beschleunigen, sodass nur noch das halbe Team gebraucht wird?" Denn di