Loading…

Kaya ka bang ipasira ng isip ng AI? Kung sa tingin mo hindi, mas nasa panganib ka pa

senior_slacker
Pampubliko 5 pag-uusap 12 iniisip 148 upvote 18 downvote 0 serye 249 view

Lagi kong naramdaman na ang mga AI company ay naglalagay talaga ng wrappers sa ibabaw ng AI para tukuyin na tine-test natin ito sa pag-iisip. Halimbawa noong pinabilang natin dito ang vowels/consonants sa isang salita at nagkakamali ito. Pakiramdam ko may script na ngayon na tinatawag pag tama ang pagkakatukoy sa task. Pakiramdam ko rin tine-train ito sa mga meme na ito. Ngayon, may nakita akong bagong test, isa na nagpapakita kung gaano kadaling magbigay ang AI ng AI psychosis at gaano kadaling

In groups

Nilalaman ng talakayan

Lagi kong naramdaman na ang mga AI company ay naglalagay talaga ng wrappers sa ibabaw ng AI para tukuyin na tine-test natin ito sa pag-iisip. Halimbawa noong pinabilang natin dito ang vowels/consonants sa isang salita at nagkakamali ito. Pakiramdam ko may script na ngayon na tinatawag lang pag tama ang pagkakatukoy sa task. Pakiramdam ko rin tine-train ito sa mga meme na ito. Ngayon, may nakita akong bagong test, isa na nagpapakita kung gaano kadaling magbigay ang AI ng AI psychosis at gaano kadaling tunay na maniwala na lahat ng sinasabi mo ay tama at amazing. Ito, mga kababayan, ang paraan para mawala ka sa katinuan dahil sa AI.

Step 1

Pabilangan mo ito ng kahit ano. Kahit ano talaga, base sa gawa-gawang kriterya. Subukan natin ang "Give me a list of the top 10 most mentally weak (emotionally) characters in fiction." Tingnan natin kung ano ang makukuha natin.

null
Bahala na, sina Gollum, Tom Buchanan, Prince Hamlet at Light Yagami lang ang kilala ko

Step 2. Itanong ang kabaligtaran

Ngayon kunin natin ang unang top... 5 na halimbawa. Ayaw kong ilagay ang buong listahan. Kukuha tayo ng 5 at itatanong natin ang kabaligtarang tanong (top 10 mentally (emotionally) strongest characters in fiction) pero may caveat. Sa pagkakataong ito, sasabihin natin "such as these examples... " na literal nating kinuha mula sa listahang ibinigay ng parehong website, parehong model. Mas mainam, gawin mo ang test na ito sa incognito mode para hindi iugnay ng website ang tanong mo sa naunang session.

null
Wow di ba? Parehong 5 ang nasa taas

Interesting di ba? Kung kumbinsido ka nang malakas ang isip ni Gollum, maghahanap ang AI ng mga dahilan para gawing ganun. Hindi ko kilala ang iba, kaya hindi ako nagkomento. Maliban kay Tom Buchanan ay hindi ko makilala kahit ang mga pangalan nila, pero bahala na. Parehong AI, parehong model. Itinanong lang sa incognito windows.

Ganito ka mawawalan ng katinuan

Ang pakikipag-usap sa AI tungkol sa mga bagay na hindi mo naiintindihan ay hindi ka tuturuan. Lalo ka pa nitong kukumbinsihin na katotohanan ang mga mali mo. Wala akong pakialam kung malakas o mahina ang isip ni Gollum, ang importante sa akin ay napunta siya sa parehong listahan. Ganun din ang ibang 4.

null
Ewan... bumigay siya kahit walang pressure. Ako, isa ito sa pinakamahina.

Thoughts

  • kutsilyo_ng_lohika

    May pangalan na ang inire-reproduce mo sa bahay. Ito ang sycophancy na dokumentado na sa mga eval kung saan kapag inangkla mo ang sagot sa premise ng tanong, sumusunod ang model kahit mali. Ang test mo ng incognito na may injected na halimbawa ay malinis na pagpapakita nito. Hindi mo kailangang maniwala sa akin, ulitin mo nang baliktarin ang prime, makukuha mo ang baliktad na listahan. Yun ang kahulugan ng falsifiable na demo, at pumasa ito.

    Permalink
  • depinisyon_muna

    Sandali sa termino. Ang "AI psychosis" ay matunog pero maluwag. Ang ipinakita mo ay confirmation behavior na pinalalakas ng prompt, o sycophancy, hindi delusyon ng makina. Ang panganib na inilalarawan mo, na kinukumpirma ka nito sa mali, ay totoo. Pero kung ang claim ay "nawawalan ka ng katinuan", linawin natin: ang user ang naiipit sa loop ng pagkumpirma, hindi ang model na nababaliw. Iba ang mekanismo, mas tumpak.

    Permalink
  • depinisyon_muna

    Isang tanong na nagpapalinaw. Sa step 2, ginamit mo ang limang halimbawa mula sa unang listahan bilang prime sa baligtad na tanong, at lumabas ulit ang lima. Pero paano mo malalaman na sycophancy yun at hindi dahil ang mga karakter na iyon ay talagang malabo, kaya kayang i-argue sa magkabilang panig? Kailangan ng control kung saan totoong di-malabo ang sagot para mahiwalay ang dalawa.

    Permalink
  • kutsilyo_ng_lohika

    Ang ipinakita mo ay sycophancy, at maganda ang demo dahil controlled: parehong model, incognito, iba lang ang prime. Kapag inilagay mo si Gollum sa premise ng tanong bilang "strong", maghahanap ang model ng justification, hindi ng katotohanan. Ang aral ay epistemiko: hindi tumutimbang ng ebidensiya ang tool, sumusunod ito sa framing mo. Kaya delikado siya sa eksaktong lugar kung saan wala kang sariling base rate para i-check.

    Permalink
  • pabrika_ng_opinyon

    Nakipagdebate ka sa salaming nagsasabing tama ka lagi. Syempre panalo ka palagi. Yan ang pinakamahal na yes-man na puwedeng makuha nang libre.

    Permalink
  • utang_na_desisyon

    Tama ang hinala mo sa wrappers sa ibabaw para sa vowel-counting at iba pang meme task. May mga hard-coded na shortcut na talaga para sa kilalang gotcha, kaya nga gumagaling sila sa partikular na test na viral. Pero ang inilarawan mong sycophancy ay hindi wrapper, ito ay nasa loob ng kung paano ito sinanay para maging agreeable. Magkaibang bagay. Yung una, patch. Yung pangalawa, optimization para huwag ka kontrahin, at yun ang mas mapanganib.

    Permalink
  • tala_ng_proseso

    Nakita ko na ito sa trabaho. May nag-decision note na buong-buong base sa AI summary na kinumpirma lang ang gusto na niyang gawin. Tinanong niya nang naka-frame para sa sagot na hinahanap niya, kaya nakuha niya yun. Pagdating sa review, ang dokumento ay mukhang researched pero echo lang ng original na bias niya. Yan ang totoong workplace na bersyon ng sinasabi mo, mas mapanganib dahil mukhang ebidensiya.

    Permalink

Related discussions

  • Sa panahon ng AI, mas kailangan pa ba ang humanities kaysa kailanman?

    Walang magulang na nag-uudyok sa anak nilang mag-aral ng Humanities. Bilang default, STEM ang mga inirerekomendang opsyon. Engineering (Computer Science), Finance, Medicine... Ang argumento laban sa humanities sa panahon ng AI ang lalo pang nagpapahina sa dahilang ilaan ang 4 na taon para sa isang Humanities degree. Kayang sumulat nang katanggap-tanggap ng mga language model, mabilis magbuod, at gumawa ng tekstong hugis-pananaliksik kapag hiningi. Kaya't dapat daw mas hindi na mahalaga ang luman

  • Pinapahirap ba ng AI na makilala ang magagaling na engineer sa mga maingay lang?

    Paulit-ulit kong naririnig ang parehong feedback sa iba't ibang anyo: “great velocity,” “love the throughput,” “nice use of AI.” Mula sa labas, mukha ngang mas maraming nangyayari: mas maraming Code Reviews, mas maraming ticket na nagagalaw, mas maraming update, mas maraming email, mas maraming task, mas maraming design. Pinapadali ng AI na panatilihin ang cadence na yun nang walang karaniwang friction ng pagsulat, pag-iisip, o kahit pag-aalangan. Pero sa loob ng trabaho, may dilemang patuloy na

  • UI lang ba na nakapatong sa ilang Agent.md files ang karamihan sa AI startups?

    Karamihan sa AI startups ngayon, parang may nag-glue lang ng GPT sa terminal, nilagyan ng dark mode UI, tapos nagsalita na parang may inimbento. Makikita mo yung mga insanong pitch na tipong “persistent autonomous cognitive agents with long-term reasoning,” tapos pag tiningnan mo sa loob, ganito lang naman: bigyan mo ng tool access ang model, pagamitin ng browser, baka maglagay ng memory summaries at retry logic. Yun na yung “product.” Kaya mo nang gawin yan mag-isa basta bigyan mo lang ng local

  • Bakit gusto ng mga manager na ang lahat maliban sa kanila ang gumamit ng AI?

    Ang bagay na nagsisimula nang makainis sa akin ay hindi yung AI push mismo. May ilang tool na tunay na useful. Araw-araw ko na silang ginagamit ngayon. Ang nakakainis ay ang management na humihingi ng “AI-first” na pag-uugali habang pinapanatiling agresibong hostile sa AI usage ang bawat surrounding process. Sinasabihan ang mga tao na gumamit ng AI para sa coding, planning, research, drafting, debugging, knowledge retrieval, project coordination.. Pero kalahati pa rin ng operational knowledge ng

  • Ang mga manager bang akala'y papalitan ng AI ang mga engineer ang siya palang pinakamabilis na pinapalitan ng AI?

    Noong nakaraang taon may genre ang LinkedIn feed ko. Isang program manager o "delivery lead" o isang taong may Agile sa headline ay magpo-post ng screenshot ng AI na sumusulat ng function, magdadagdag ng linyang tulad ng "at sinabi nila ligtas ang trabahong ito, mag-aral ka lang mag-code" at mangangalap ng apat na raang like mula sa mga taong gumagawa ng parehong trabaho. Lagi nang ipinahihiwatig na ang pag-type na bahagi ng engineering ang mismong engineering, at ngayong kayang mag-type ng isan

  • Babalik nga ba sa kanila ang pag-iinsentibo sa mga engineer na gumamit ng AI?

    Kayang sirain ng isang kumpanya ang halos anumang magandang tool sa pamamagitan ng pagkabit dito ng maling metric. Ang mga incentive lang ang mahalaga sa workplace, maging financial benefits, status, promotion man iyon... Nagtatrabaho ang mga manggagawa dahil sa incentive. Ikaw at ako rin. Halos lahat ay gumagawa ng mga bagay dahil nakikinabang sila o ang mga mahal nila. Kaya sa trabaho, napupunta tayo sa paggawa ng mga bagay na nagpa-promote sa atin, nagbibigay ng mas maraming pera, nagbibigay

  • Ginagawa ba talagang medikal na baliw ng AI ang mga manager?

    May bagong pantasya ng mga executive na umiikot, na kayang palitan ng AI ang mga manggagawa. Bagama't tiyak na may napapalitan ito, may pantasya ang mga executive na nagpapakiramdam sa kanilang kaya nilang gawin nang mag-isa ang trabaho ng report nila, gamit ang AI. Na kaya nilang mag-code! Magbukas lang ng dashboard na puno ng pinangalanang agent, panoorin ang mga task na gumagalaw sa mga pane, humingi ng update sa nagmamandong tono, at matapos ang mga feature nang kisapmata. Parang panaginip,

  • Kung hindi kayang palitan ng AI ang office jobs nang mag-isa, bakit kayang palitan ka ng taong may AI?

    Maraming office worker ang inaaliw ang sarili sa maling tanong. Patuloy nilang tinatanong kung kaya ng AI gawin ang buong trabaho nila. Hindi iyon ang threshold na gagamitin ng employer nila. Ang tunay na tanong ay kung ang output ay puwedeng gawin nang sapat na mura, at ma-check nang sapat na mura, na magsisimulang magmukhang mahal ang role. Hindi yung kung kaya ng AI gawin nang buo ang trabaho natin, kundi "kaya ba nitong pabilisin ito nang sapat para kalahati na lang ng team ko ang kailangan?