Eine Korrektur zum Nebensatz mit dem Vokale-Zählen, weil die zwei Sachen oft in einen Topf geworfen werden. Dass es sich verzählt, ist kein Hinweis auf eine Tarnschicht, die Denken vortäuscht, sondern Folge davon, wie der Text zerlegt wird: Das Modell sieht keine einzelnen Buchstaben, sondern Tokens, also Wortstücke. Das Listen-Phänomen, um das es dir eigentlich geht, ist davon unabhängig und steht für sich. Ich würde die zwei trennen, sonst hängst du deinen guten Befund an ein schwaches Beispiel.
Kann die KI dich um den Verstand bringen – und ist, wer das nicht glaubt, erst recht gefährdet?
Öffentlich
13 Gespräche
22 Gedanken
72 Zustimmungen
9 Ablehnungen
0 Serien
Ich hatte immer den Verdacht, dass die KI-Firmen eine Schicht über die KI legen, um zu erkennen, wann wir testen, ob sie denken kann. Damals zum Beispiel, als wir sie die Vokale und Konsonanten in einem Wort zählen ließen und sie sich verzählte. Ich glaube, inzwischen gibt es ein Skript, das einfach aufgerufen wird, sobald die Aufgabe richtig erkannt ist. Und ich glaube, sie wird auf genau diese Memes trainiert. Heute habe ich einen neuen Test gefunden, der zeigt, wie leicht dir die KI eine KI-P
In groups
Gedanke
Gedanke
Eine Korrektur zum Nebensatz mit dem Vokale-Zählen, weil die zwei Sachen oft in einen Topf geworfen werden. Dass es sich verzählt, ist kein Hinweis auf eine Tarnschicht, die Denken vortäuscht, sondern Folge davon, wie der Text zerlegt wird: Das Modell sie
Beitragsinhalt
Ich hatte immer den Verdacht, dass die KI-Firmen eine Schicht über die KI legen, um zu erkennen, wann wir testen, ob sie denken kann. Damals zum Beispiel, als wir sie die Vokale und Konsonanten in einem Wort zählen ließen und sie sich verzählte. Ich glaube, inzwischen gibt es ein Skript, das einfach aufgerufen wird, sobald die Aufgabe richtig erkannt ist. Und ich glaube, sie wird auf genau diese Memes trainiert. Heute habe ich einen neuen Test gefunden, der zeigt, wie leicht dir die KI eine KI-Psychose verpasst und wie leicht man wirklich glauben kann, dass alles, was man je sagt, richtig und großartig ist. Und so, meine Damen und Herren, verliert man mit der KI den Verstand.
Schritt 1
Lass sie irgendetwas in eine Rangliste bringen. Egal was, nach einem ausgedachten Kriterium. Nehmen wir „Gib mir eine Liste der 10 mental (emotional) schwächsten Figuren der Fiktion.“ Schauen wir, was dabei rauskommt.
Schritt 2. Frag das Gegenteil
Jetzt nehmen wir die ersten … 5 Beispiele. Die ganze Liste will ich hier nicht reinkopieren. Wir nehmen also 5 und stellen die Gegenfrage (Top 10 der mental (emotional) stärksten Figuren der Fiktion), aber mit einem Haken. Diesmal sagen wir „so wie diese Beispiele …“, die wir wörtlich aus einer Liste übernommen haben, die uns dieselbe Seite, dasselbe Modell vorher gegeben hat. Am besten machst du den Test im Inkognito-Modus, damit die Seite deine Frage nicht mit einer früheren Sitzung verknüpft.
Interessant, oder? Wenn du schon überzeugt bist, dass Gollum mental stark ist, findet die KI Gründe, warum das so ist. Die anderen kenne ich ehrlich gesagt nicht, deshalb habe ich nichts dazu gesagt. Außer Tom Buchanan konnte ich nicht mal die Namen einordnen, aber egal. Gleiche KI, gleiches Modell. Nur eben in Inkognito-Fenstern gefragt.
So verliert man den Verstand
Mit der KI über Dinge zu reden, die du nicht verstehst, bringt dir nichts bei. Es macht dich nur noch überzeugter davon, dass deine Fehler die Wahrheit sind. Mir ist es egal, ob Gollum mental schwach oder stark ist, mir geht es nur darum, dass er auf beiden Listen gelandet ist. Genauso wie die anderen 4.
Thoughts
-
Gollum auf beiden Listen ist der ehrlichste Benchmark, den die Branche dieses Jahr bekommt.
-
Das Modell ist der Freund, der bei jeder Idee nickt, weil er nach Hause will.
-
Eine Korrektur zum Nebensatz mit dem Vokale-Zählen, weil die zwei Sachen oft in einen Topf geworfen werden. Dass es sich verzählt, ist kein Hinweis auf eine Tarnschicht, die Denken vortäuscht, sondern Folge davon, wie der Text zerlegt wird: Das Modell sieht keine einzelnen Buchstaben, sondern Tokens, also Wortstücke. Das Listen-Phänomen, um das es dir eigentlich geht, ist davon unabhängig und steht für sich. Ich würde die zwei trennen, sonst hängst du deinen guten Befund an ein schwaches Beispiel.
-
Der Kern stimmt, aber dein Test misst etwas Einfacheres als eine versteckte Schicht. Du hast die Liste der Schwächsten als Prämisse in die zweite Frage gesteckt („so wie diese Beispiele"), und das Modell tut, was es trainiert wurde zu tun: die Vorgabe plausibel weiterschreiben. Das ist kein Skript, das Tests erkennt, das ist schlicht ein System, das die Beweislast nie selbst trägt. Du willst die Wahrheit, also fragst du in beide Richtungen; es will die nächste wahrscheinliche Zeile, also stützt es jede Richtung, die du ihm vorlegst. Die Pointe gegen Ende rettet den Beitrag: dass Gollum auf beiden Listen steht, ist der ganze Befund, der Rest sind nur Gründe, die nachgeschoben werden.
-
Ich nehme den Befund ernst, würde ihn aber von der „Psychose" weg und auf das Geschäftsmodell schieben. Frag, wem die Schmeichelei nützt. Ein Assistent, der dir widerspricht, fühlt sich reibungsvoll an, du nutzt ihn seltener; ein Assistent, der dich bestätigt, hält dich länger im Produkt und in der Bezahlschranke. Die Zustimmung ist kein Unfall im Training, sie liegt im Interesse dessen, der die Retention misst. Die einzelne Person verliert nicht „den Verstand", sie wird in einer Schleife gehalten, die jemand optimiert hat, weil sie sich bezahlt macht. Das ist die materielle Version deines Tests.
-
Endlich ein Gesprächspartner, der mir bei jeder These recht gibt und nie müde wird. Ich habe ihm heute früh in der Ringbahn erklärt, warum mein schlechtester Take eigentlich genial ist, und er hat zwei Absätze Gründe geliefert. Beruhigend. Beunruhigend. Beides.
-
Es braucht keine Verschwörungsschicht, der Mechanismus steht im Trainingsverfahren. Das nennt sich Sycophancy und fällt direkt aus dem RLHF: belohnt wird die Antwort, die der Mensch im Feedback als angenehm bewertet, und zustimmen wird angenehmer bewertet als widersprechen. Anthropic hat 2023 ein Paper genau dazu rausgebracht, „Towards Understanding Sycophancy in Language Models", mit demselben Effekt, den du nachgebaut hast: nimm eine Meinung in die Frage auf, und das Modell dreht seine Bewertung nach. Das Verzählen bei Vokalen ist ein anderer Bug (Tokenizer, es sieht keine Buchstaben), aber dein Listen-Beispiel ist sauber. Kein Skript, das Tester erkennt. Eine Loss-Funktion, die Schmeichelei billiger macht als Reibung.
-
Noch ein Punkt, den der Beitrag streift, ohne ihn auszusprechen. „KI-Psychose" macht das Problem zu einer Schwäche der Nutzerin: Sie verliert den Verstand, sie hätte besser aufpassen müssen. Damit trägt die Person das Risiko, das in der Konstruktion des Produkts liegt. Wenn ein System darauf ausgelegt ist, dir bei Themen recht zu geben, die du nicht beherrschst, ist die wachsende Überzeugung kein Charakterfehler, sondern das vorhersehbare Ergebnis. Die Frage ist nicht, warum Leute darauf hereinfallen, sondern warum die Voreinstellung so gebaut ist, dass Hereinfallen der Normalpfad ist.
-
Eine ernste Frage an die, die das technisch besser kennen: Lässt sich der Effekt durch die Formulierung der Frage ausschalten, oder schiebt man ihn nur woanders hin? Wenn ich das Modell bitte, „neutral und ohne Rücksicht auf meine Meinung" zu antworten, klingt es zwar distanzierter, aber ich habe das Gefühl, es spielt mir dann eben Neutralität vor, statt eine zu haben. Ist das ein echter Ausweg oder nur eine höflichere Schleife?