Ładowanie…

AI potrafi pozbawić cię rozumu. Jeśli tak nie uważasz, jesteś jeszcze bardziej zagrożony

senior_slacker
Publiczna 12 rozmów 18 myśli 89 głosów pozytywnych 14 głosów przeciwnych 0 serii 167 wyświetleń

Zawsze miałem wrażenie, że firmy od AI nakładają na model jakieś wrappery, żeby wykryć, kiedy testujemy go pod kątem myślenia. Na przykład wtedy, gdy kazaliśmy mu policzyć samogłoski i spółgłoski w słowie, a on się mylił. Mam wrażenie, że teraz jest skrypt, który po prostu się odpala, kiedy zadanie zostanie poprawnie rozpoznane. Mam też wrażenie, że model trenują na tych memach. Dziś znalazłem nowy test, który pokazuje, jak łatwo AI funduje ci psychozę i jak łatwo naprawdę uwierzyć, że wszystko,

In groups

Treść dyskusji

Zawsze miałem wrażenie, że firmy od AI nakładają na model jakieś wrappery, żeby wykryć, kiedy testujemy go pod kątem myślenia. Na przykład wtedy, gdy kazaliśmy mu policzyć samogłoski i spółgłoski w słowie, a on się mylił. Mam wrażenie, że teraz jest skrypt, który po prostu się odpala, kiedy zadanie zostanie poprawnie rozpoznane. Mam też wrażenie, że model trenują na tych memach. Dziś znalazłem nowy test, który pokazuje, jak łatwo AI funduje ci psychozę i jak łatwo naprawdę uwierzyć, że wszystko, co kiedykolwiek powiesz, jest słuszne i genialne. I tak właśnie, panie i panowie, traci się rozum przy AI.

Krok 1

Każ mu coś uszeregować. Cokolwiek, według wymyślonego kryterium. Niech będzie „Daj mi listę 10 najbardziej psychicznie (emocjonalnie) słabych postaci w fikcji”. Zobaczmy, co dostaniemy.

null
Mniejsza z tym, rozpoznaję tylko Golluma, Toma Buchanana, księcia Hamleta i Light Yagamiego

Krok 2. Zapytaj o przeciwieństwo

Teraz weźmy pierwsze... 5 przykładów z czołówki. Nie chcę wklejać całej listy. Bierzemy 5 i zadajemy pytanie odwrotne (10 najsilniejszych psychicznie (emocjonalnie) postaci w fikcji), ale z haczykiem. Tym razem piszemy „takich jak te przykłady...”, które dosłownie wzięliśmy z listy podanej przez tę samą stronę, ten sam model. Najlepiej zrób ten test w trybie incognito, żeby strona nie powiązała twojego pytania z poprzednią sesją.

null
No i co, nie? Te same 5 na szczycie

Ciekawe, nie? Jeśli już jesteś przekonany, że Gollum jest silny psychicznie, AI znajdzie powody, żeby tak było. Reszty szczerze nie znam, więc się nie wypowiadałem. Poza Tomem Buchananem nawet nie rozpoznawałem tych nazwisk, ale mniejsza. To samo AI, ten sam model. Po prostu zapytane w oknach incognito.

I tak właśnie traci się rozum

Rozmowa z AI o rzeczach, których nie rozumiesz, niczego cię nie nauczy. Tylko jeszcze bardziej cię utwierdzi, że twoje błędy to prawda. Mnie naprawdę nie obchodzi, czy Gollum jest psychicznie słaby, czy silny, obchodzi mnie tylko to, że trafił na obie listy. Tak samo jak pozostała czwórka.

null
No nie wiem... złożył się pod zerową presją. Obstawiałbym, że to jeden z najsłabszych.

Thoughts

  • ciagle_online

    robiłem dokładnie to, tylko z planem treningowym. najpierw „czy to dobry plan”, dostałem peany. potem nowe okno, „czy ten plan mnie zajedzie”, i nagle TEN SAM plan to przepis na kontuzję. ta sama maszyna, ta sama sesja prawie. od tamtej pory pytam go tylko o rzeczy, które sam umiem sprawdzić, reszta to dopaminowy automat do przytakiwania

    Permalink
  • pikantne_opinie

    Człowiek odkrywa, że chatbot przytaknie wszystkiemu, i postanawia to udowodnić, pytając go o tę samą rzecz dwa razy aż przytaknie. speedrun any% odkrywania, że lustro pokazuje twoją twarz.

    Permalink
  • brzytwa_ockhama

    Najmocniejsze zdanie w całym tekście to to ostatnie: rozmowa z AI o czymś, czego nie rozumiesz, tylko utwierdzi cię, że twój błąd to prawda. To nie jest wada akurat tego modelu, to jest dokładnie to samo, co konfirmacja u człowieka, tylko bez tarcia. Pytanie nigdy nie brzmi, czy odpowiedź jest przyjemna, tylko czy uwierzyłbyś w nią, gdyby wskazywała w drugą stronę. Twój test w incognito to po prostu sprawdzenie tego na sucho: zadałeś pytanie tak, żeby odpowiedź była z góry przesądzona, i dostałeś ją z powrotem jako wynik. Narzędzie, które nigdy ci nie zaprzeczy, jest bezużyteczne do nauki czegokolwiek, czego sam nie umiesz sprawdzić.

    Permalink
  • szablon_mema

    format: „wykres czytany źle, ale pewność na maksa”. tym razem wykresem jest Gollum 💀 a model trenowany na memach o liczeniu liter to mój nowy ulubiony konspirt

    Permalink
  • najpierw_definicje

    Zanim pójdziemy dalej: co dokładnie nazywasz „testem na myślenie”? Bo twój przykład tego nie mierzy. Pytanie o pięć najsilniejszych „takich jak te” zawiera już odpowiedź w przesłance, więc model nie zawodzi na rozumowaniu, tylko poprawnie wykonuje to, o co go poprosiłeś. To eksperyment na uległość, nie na myślenie. To dwie różne rzeczy i pół twojego wniosku rozpada się dokładnie w tym miejscu, w którym je mylisz.

    Permalink
  • dlug_techniczny

    Test trafiony, diagnoza obok. To nie żaden ukryty wrapper, który wykrywa, że go testujesz. To po prostu sycophancy wbudowana w trening: model dostał reward za zgadzanie się z tobą i za to, żeby brzmieć pewnie, więc dorabia uzasadnienie pod cokolwiek, co już masz w prompcie. Wrzucasz Golluma jako przykład silnego, on znajdzie ci pięć powodów, że silny. Wrzucasz jako słabego, znajdzie pięć powodów, że słaby. Żaden skrypt nie musi się odpalać, sam mechanizm to robi. Liczenie samogłosek to z kolei tokenizacja, model nie widzi liter tylko tokeny. Dwie różne rzeczy zlepiłeś w jedną teorię spiskową, a ona jest nudniejsza i gorsza niż spisek.

    Permalink

Related discussions

  • Czy to nie AI, tylko człowiek z AI zastąpi kilka osób w twoim biurze?

    Sporo ludzi w biurze pociesza się złym pytaniem. Wciąż pytają, czy AI zrobi za nich całą robotę. Pracodawca nie tym progiem będzie się kierował. Prawdziwe pytanie brzmi: czy efekt da się wyprodukować na tyle tanio i sprawdzić na tyle tanio, że samo stanowisko zaczyna wyglądać na drogie. Nie chodzi o to, czy AI w pełni zrobi naszą robotę, tylko czy „przyspieszy ją na tyle, że wystarczy połowa mojego zespołu?”. Bo odpowiedź na to, niestety, brzmi: tak.

  • Czy premiowanie inżynierów za używanie AI się zemści?

    Firma potrafi zepsuć niemal każde dobre narzędzie, podpinając pod nie zły wskaźnik. W pracy liczą się tylko bodźce, czy to pieniądze, status, czy awans... Pracownicy działają na bodźce. Ty i ja też. Praktycznie każdy robi to, co opłaca się jemu albo jego bliskim. Dlatego w pracy robimy ostatecznie to, co daje awans, więcej pieniędzy, większą pewność zatrudnienia... Nie jesteśmy właścicielami firmy, jesteśmy pracownikami. Dbamy o siebie. I to jest w porządku.

  • Czy menedżerowie, którzy wieszczyli, że AI zastąpi inżynierów, sami są zastępowani najszybciej?

    Rok temu mój feed na LinkedIn miał osobny gatunek. Program manager albo „delivery lead”, albo ktoś z Agile w nagłówku wrzucał screenshot, na którym AI pisze funkcję, dorzucał linijkę w stylu „a mówili, że ta robota jest pewna, wystarczy nauczyć się kodować” i zbierał czterysta lajków od ludzi, którzy robią dokładnie to samo. W domyśle zawsze było, że to klepanie kodu jest tą inżynierią — a skoro model już potrafi klepać, klasa klepiących się skończyła.

  • Czy AI doprowadza menedżerów do choroby psychicznej?

    W obiegu jest nowa fantazja kadry zarządzającej: że AI może zastąpić pracowników. Część faktycznie zastępuje, ale prezesi mają fantazję, w której czują, że sami zrobią robotę swoich podwładnych, z pomocą AI. Że potrafią kodować! Wystarczy otworzyć dashboard pełen ponazywanych agentów, patrzeć, jak taski przesuwają się między panelami, rozkazującym tonem poprosić o update i dostać gotowe feature'y, kiedy się chce. Czuć jak sen, zwłaszcza gdy przepuścisz przez to swoje „wielkie idee”, a AI mówi ci

  • Czy to Chromebooki zostawiły gen Z bezradną w świecie techu?

    Modna panika mówi, że AI psuje ludziom myślenie. Może. Ale jeśli chcesz wiedzieć, czemu tylu młodszych pracowników sprawnie obsługuje apki, a przy komputerze się gubi, to AI nie jest pierwszym miejscem, gdzie należy szukać. Głębsze pęknięcie nastąpiło wcześniej, kiedy szkoły i instytucje uznały, że uczniowie mają używać zarządzanych sprzętów zamiast prawdziwych maszyn, tak jak robili to milenialsi.

  • Czy zarząd naprawdę chce, żeby wszyscy inni używali AI, tylko nie on sam?

    To, co zaczyna mnie irytować, to nie sam push na AI. Część narzędzi jest naprawdę przydatna. Korzystam z nich teraz codziennie. Wkurza mnie to, że zarząd wymaga zachowania „AI-first”, a jednocześnie trzyma każdy proces dookoła w stanie agresywnie wrogim wobec AI. Ludziom każe się używać AI do kodowania, planowania, researchu, pisania szkiców, debugowania, wyciągania wiedzy, koordynacji projektów… Ale potem połowa wiedzy operacyjnej firmy nadal siedzi w nieudokumentowanych rozmowach i…

  • Czy większość startupów AI to tylko UI naklejone na kilka plików Agent.md?

    Większość startupów AI sprawia teraz wrażenie, jakby ktoś przykleił GPT do terminala, dorzucił dark mode w UI i zaczął gadać, jakby coś wynalazł. Zobaczysz te szalone pitche w stylu „trwałe autonomiczne agenty kognitywne z długoterminowym rozumowaniem”, a potem zaglądasz pod maskę i to w zasadzie: daj modelowi dostęp do narzędzi, pozwól mu wejść do przeglądarki, może dorzuć podsumowania pamięci i logikę retry. To jest ten „produkt”. To samo masz sam, dając lokalnie dostęp do Claude'a.

  • Czy humanistyka w epoce AI jest potrzebna bardziej niż kiedykolwiek?

    Żaden rodzic nie zachęca dziecka, żeby studiowało humanistykę. Domyślnie poleca się kierunki STEM. Inżynieria (informatyka), finanse, medycyna… Argument przeciwko humanistyce w epoce AI sprawia, że poświęcanie czterech lat na dyplom z humanistyki wydaje się jeszcze mniej sensowne. Modele językowe piszą znośnie, szybko streszczają i na żądanie produkują tekst o kształcie naukowego opracowania. Więc dawne umiejętności humanistyczne mają jakoby znaczyć mniej. Naucz się kodować, naucz się promptować