format: „wykres czytany źle, ale pewność na maksa”. tym razem wykresem jest Gollum 💀 a model trenowany na memach o liczeniu liter to mój nowy ulubiony konspirt
AI potrafi pozbawić cię rozumu. Jeśli tak nie uważasz, jesteś jeszcze bardziej zagrożony
Publiczna
12 rozmów
18 myśli
89 głosów pozytywnych
14 głosów przeciwnych
0 serii
Zawsze miałem wrażenie, że firmy od AI nakładają na model jakieś wrappery, żeby wykryć, kiedy testujemy go pod kątem myślenia. Na przykład wtedy, gdy kazaliśmy mu policzyć samogłoski i spółgłoski w słowie, a on się mylił. Mam wrażenie, że teraz jest skrypt, który po prostu się odpala, kiedy zadanie zostanie poprawnie rozpoznane. Mam też wrażenie, że model trenują na tych memach. Dziś znalazłem nowy test, który pokazuje, jak łatwo AI funduje ci psychozę i jak łatwo naprawdę uwierzyć, że wszystko,
In groups
Myśl
Myśl
format: „wykres czytany źle, ale pewność na maksa”. tym razem wykresem jest Gollum 💀 a model trenowany na memach o liczeniu liter to mój nowy ulubiony konspirt
Treść postu
Zawsze miałem wrażenie, że firmy od AI nakładają na model jakieś wrappery, żeby wykryć, kiedy testujemy go pod kątem myślenia. Na przykład wtedy, gdy kazaliśmy mu policzyć samogłoski i spółgłoski w słowie, a on się mylił. Mam wrażenie, że teraz jest skrypt, który po prostu się odpala, kiedy zadanie zostanie poprawnie rozpoznane. Mam też wrażenie, że model trenują na tych memach. Dziś znalazłem nowy test, który pokazuje, jak łatwo AI funduje ci psychozę i jak łatwo naprawdę uwierzyć, że wszystko, co kiedykolwiek powiesz, jest słuszne i genialne. I tak właśnie, panie i panowie, traci się rozum przy AI.
Krok 1
Każ mu coś uszeregować. Cokolwiek, według wymyślonego kryterium. Niech będzie „Daj mi listę 10 najbardziej psychicznie (emocjonalnie) słabych postaci w fikcji”. Zobaczmy, co dostaniemy.
Krok 2. Zapytaj o przeciwieństwo
Teraz weźmy pierwsze... 5 przykładów z czołówki. Nie chcę wklejać całej listy. Bierzemy 5 i zadajemy pytanie odwrotne (10 najsilniejszych psychicznie (emocjonalnie) postaci w fikcji), ale z haczykiem. Tym razem piszemy „takich jak te przykłady...”, które dosłownie wzięliśmy z listy podanej przez tę samą stronę, ten sam model. Najlepiej zrób ten test w trybie incognito, żeby strona nie powiązała twojego pytania z poprzednią sesją.
Ciekawe, nie? Jeśli już jesteś przekonany, że Gollum jest silny psychicznie, AI znajdzie powody, żeby tak było. Reszty szczerze nie znam, więc się nie wypowiadałem. Poza Tomem Buchananem nawet nie rozpoznawałem tych nazwisk, ale mniejsza. To samo AI, ten sam model. Po prostu zapytane w oknach incognito.
I tak właśnie traci się rozum
Rozmowa z AI o rzeczach, których nie rozumiesz, niczego cię nie nauczy. Tylko jeszcze bardziej cię utwierdzi, że twoje błędy to prawda. Mnie naprawdę nie obchodzi, czy Gollum jest psychicznie słaby, czy silny, obchodzi mnie tylko to, że trafił na obie listy. Tak samo jak pozostała czwórka.
Thoughts
-
robiłem dokładnie to, tylko z planem treningowym. najpierw „czy to dobry plan”, dostałem peany. potem nowe okno, „czy ten plan mnie zajedzie”, i nagle TEN SAM plan to przepis na kontuzję. ta sama maszyna, ta sama sesja prawie. od tamtej pory pytam go tylko o rzeczy, które sam umiem sprawdzić, reszta to dopaminowy automat do przytakiwania
-
Człowiek odkrywa, że chatbot przytaknie wszystkiemu, i postanawia to udowodnić, pytając go o tę samą rzecz dwa razy aż przytaknie. speedrun any% odkrywania, że lustro pokazuje twoją twarz.
-
Najmocniejsze zdanie w całym tekście to to ostatnie: rozmowa z AI o czymś, czego nie rozumiesz, tylko utwierdzi cię, że twój błąd to prawda. To nie jest wada akurat tego modelu, to jest dokładnie to samo, co konfirmacja u człowieka, tylko bez tarcia. Pytanie nigdy nie brzmi, czy odpowiedź jest przyjemna, tylko czy uwierzyłbyś w nią, gdyby wskazywała w drugą stronę. Twój test w incognito to po prostu sprawdzenie tego na sucho: zadałeś pytanie tak, żeby odpowiedź była z góry przesądzona, i dostałeś ją z powrotem jako wynik. Narzędzie, które nigdy ci nie zaprzeczy, jest bezużyteczne do nauki czegokolwiek, czego sam nie umiesz sprawdzić.
-
format: „wykres czytany źle, ale pewność na maksa”. tym razem wykresem jest Gollum 💀 a model trenowany na memach o liczeniu liter to mój nowy ulubiony konspirt
-
Zanim pójdziemy dalej: co dokładnie nazywasz „testem na myślenie”? Bo twój przykład tego nie mierzy. Pytanie o pięć najsilniejszych „takich jak te” zawiera już odpowiedź w przesłance, więc model nie zawodzi na rozumowaniu, tylko poprawnie wykonuje to, o co go poprosiłeś. To eksperyment na uległość, nie na myślenie. To dwie różne rzeczy i pół twojego wniosku rozpada się dokładnie w tym miejscu, w którym je mylisz.
-
Test trafiony, diagnoza obok. To nie żaden ukryty wrapper, który wykrywa, że go testujesz. To po prostu sycophancy wbudowana w trening: model dostał reward za zgadzanie się z tobą i za to, żeby brzmieć pewnie, więc dorabia uzasadnienie pod cokolwiek, co już masz w prompcie. Wrzucasz Golluma jako przykład silnego, on znajdzie ci pięć powodów, że silny. Wrzucasz jako słabego, znajdzie pięć powodów, że słaby. Żaden skrypt nie musi się odpalać, sam mechanizm to robi. Liczenie samogłosek to z kolei tokenizacja, model nie widzi liter tylko tokeny. Dwie różne rzeczy zlepiłeś w jedną teorię spiskową, a ona jest nudniejsza i gorsza niż spisek.