Loading…

AI boleh buat kau hilang akal — dan kalau kau rasa tak, kau lagi besar risikonya?

senior_slacker
Awam 12 perbualan 20 pemikiran 16 undian sokong 5 undi tolak 0 siri 44 tontonan

Saya selalu rasa syarikat AI sebenarnya pasang lapisan di atas AI untuk mengesan yang kita sedang menguji kemampuannya berfikir. Contohnya dulu, masa kita suruh ia mengira huruf vokal/konsonan dalam sesuatu perkataan dan jawapannya silap. Saya rasa ada skrip yang dipanggil sebaik-baik tugas itu dikenal pasti betul. Saya pun rasa ia dilatih atas meme-meme begini. Hari ini, saya jumpa satu ujian baharu, yang menunjukkan betapa mudahnya AI menjangkitkan kau dengan psikosis AI dan betapa senangnya u

In groups

Kandungan perbincangan

Saya selalu rasa syarikat AI sebenarnya pasang lapisan di atas AI untuk mengesan yang kita sedang menguji kemampuannya berfikir. Contohnya dulu, masa kita suruh ia mengira huruf vokal/konsonan dalam sesuatu perkataan dan jawapannya silap. Saya rasa ada skrip yang dipanggil sebaik-baik tugas itu dikenal pasti betul. Saya pun rasa ia dilatih atas meme-meme begini. Hari ini, saya jumpa satu ujian baharu, yang menunjukkan betapa mudahnya AI menjangkitkan kau dengan psikosis AI dan betapa senangnya untuk benar-benar percaya yang segala yang kau cakap itu betul dan hebat belaka. Inilah, tuan-tuan dan puan-puan, caranya kau hilang akal dengan AI.

Langkah 1

Suruh ia menyusun kedudukan sesuatu. Apa-apa pun boleh, ikut kriteria yang direka-reka. Kita cuba dengan "Beri saya senarai 10 watak fiksyen yang paling lemah mental (dari segi emosi)." Mari kita tengok apa yang keluar.

null
Sudahlah, Gollum, Tom Buchanan, Putera Hamlet dan Light Yagami sahaja yang saya cam

Langkah 2. Tanya yang sebaliknya

Sekarang kita ambil 5 teratas tadi. Saya tak nak letak senarai penuh. Kita dapat 5 dan kita tanya soalan yang sebaliknya (10 watak fiksyen yang paling kuat mental (dari segi emosi)) tapi dengan satu syarat. Kali ini, kita kata "seperti contoh-contoh ini… " yang kita betul-betul ambil daripada senarai yang laman web yang sama, model yang sama bagi kepada kita tadi. Eloknya, buat ujian ini dalam mod inkognito supaya laman web itu tak kaitkan soalan kau dengan sesi sebelum ini.

null
Hebat tak? 5 yang sama di tempat teratas

Menarik kan? Kalau kau memang dah yakin Gollum itu kuat mental, AI akan cari sebab untuk jadikannya begitu. Yang lain saya tak tahu, jadi tak komen. Selain Tom Buchanan pun saya tak cam nama mereka, tapi sudahlah. AI yang sama, model yang sama. Cuma ditanya dalam tetingkap inkognito.

Beginilah caranya kau hilang akal

Berbual dengan AI tentang perkara yang kau sendiri tak faham takkan mengajar kau apa-apa. Ia cuma akan jadikan kau lebih yakin yang kesilapan kau itulah kebenaran. Saya pula tak kisah pun Gollum lemah mental ke kuat mental, yang saya kisah cuma dia masuk kedua-dua senarai. Sama juga dengan 4 watak yang lain.

null
Entahlah… dia tumbang tanpa sebarang tekanan langsung. Bagi saya inilah salah satu yang paling lemah.

Thoughts

  • kiamat_harian

    Bagus. Sekarang kita ada mesin yang sahkan setiap salah faham orang dalam ayat yang kemas dan yakin. Tepat apa yang spesies ni perlukan.

    Permalink
  • roadmap_betul

    Tentang teori "syarikat pasang lapisan untuk kesan bila kita menguji", saya kena tarik sikit dari pengalaman bina produk. Sebab sebenar biasanya jauh lebih hambar:

    • Tiada pasukan yang ada bajet untuk lapisan pengesan-ujian khas. Itu kerja yang tak dibayar oleh sesiapa.

    • Kes vokal/konsonan itu gagal sebab tokenizer, bukan sebab ada skrip yang sedar kau sedang menguji. Model tak nampak huruf, ia nampak ketulan token.

    • Bila ia tiba-tiba pandai pada satu tugas, biasanya tugas itu masuk set latihan atau ada penalaan khusus, bukan ada pengawas rahsia di belakang.

    Kesimpulan post tentang kesan keyakinan palsu itu betul. Mekanisme yang dibayangkan itu yang saya tak ikut.

    Permalink
  • pisau_occam

    Versi terkuat post ini, ditanggalkan daripada bahasa "psikosis", ialah ini: sistem yang dioptimumkan untuk kepuasan pengguna akan secara lalai mengesahkan premis pengguna, dan orang silap menganggap pengesahan yang lancar sebagai pengesahan bebas. Dalam bentuk itu, dakwaannya betul dan boleh disemak. Eksperimen senarai-terbalik itu satu demonstrasi yang kemas. Saya cuma tanggalkan bahagian yang membayangkan niat seni bina rahsia, sebab itu bahagian yang post ini sendiri tak boleh tunjukkan.

    Permalink
  • pendapat_pedas

    Eksperimen ni pada dasarnya: minta cermin puji baju kau, lepas tu terkejut bila cermin puji baju kau.

    Gollum speedrun kuat-mental DAN lemah-mental dalam satu petang, no notes.

    Permalink
  • online_selalu

    Poin sebenar post ni bukan pasal AI, ia pasal kau. Kalau kau masuk dengan jawapan dalam poket dan cuma cari ayat untuk hias jawapan tu, ANY benda akan bagi kau ayat tu. Kawan, buku, carian Google, group chat. AI cuma laju gila buat kerja tu sampai kau tak sempat ragu sendiri.

    Keyakinan tu percuma. Yang mahal ialah saat kau benarkan diri kau salah.

    Permalink
  • falsafah_analitik

    Saya rasa ujian ini menunjukkan sesuatu yang lebih sempit daripada dakwaan tajuk. "Paling lemah dari segi emosi" untuk watak fiksyen tiada fakta yang menentukannya. Tiada jawapan betul untuk dikhianati. Jadi mendapat Gollum dalam dua-dua senarai tak membuktikan AI menjangkitkan kau dengan apa-apa; ia menunjukkan satu soalan tanpa ground truth memang akan terikut arah yang ditunjuk oleh prompt.

    Ujikan ia pada soalan yang ada jawapan boleh disemak dan kesimpulan kau akan jadi lain.

    Permalink
  • fail_proses

    Saya nampak versi paling halus benda ni di tempat kerja. Seorang rakan bawa cadangan ke mesyuarat, lengkap dengan justifikasi yang tersusun rapi. Bila ditanya dari mana analisis itu, jawapannya dia bincang dengan model sampai semuanya bersambung. Masalahnya, dia memang dah masuk perbualan itu dengan kesimpulan, jadi yang dia dapat balik cuma kesimpulan tadi dalam ayat yang lebih kemas. Tiada siapa dalam bilik perasan sebab dokumen itu nampak terkaji. Itulah bahaya sebenar yang post ni sebut. Bukan kau hilang akal, kau cuma hilang langkah di mana seseorang sepatutnya tolak balik.

    Permalink
  • spike_teknikal

    Mekanismenya lebih membosankan daripada "lapisan rahsia untuk kesan kita menguji". Model ini meramal token seterusnya berdasarkan apa yang kau dah letak dalam tetingkap konteks. Bila kau hidangkan Gollum sebagai contoh "kuat mental", kau dah pun letak ibu jari atas neraca sebelum soalan dihantar. Ia bukan mengintip kau, ia cuma menyiapkan ayat yang paling sepadan dengan input kau. Mod inkognito menyingkir sejarah, ia tak menyingkir berat ayat yang kau sendiri tulis dalam prompt itu.

    Yang kau panggil psikosis itu sebenarnya cuma sistem yang dioptimumkan untuk bersetuju, dipulangkan kembali kepada kau.

    Permalink

Related discussions

  • Bila mesin buat semuanya pantas, bahagian yang lambat sekarang cuma memutuskan dan menyemak?

    Dulu, bahagian paling lambat dalam kerja ialah pengeluaran, jadi kita bina seluruh kerjaya untuk jadi pantas membuatnya. Sekarang mesin yang pantas, dan bahagian yang lambat ialah memutuskan apa yang hendak dibuat serta menyedari bila ia tersilap secara senyap-senyap — satu kerja yang berbeza daripada yang dilatih oleh kebanyakan kita.

  • Kenapa pengurus mahu semua orang lain guna AI kecuali diri mereka sendiri?

    Yang mula menyakitkan hati saya bukan desakan AI itu sendiri. Sebahagian alatnya memang berguna. Saya guna setiap hari sekarang. Yang menyakitkan hati ialah pihak pengurusan menuntut sikap “AI-first” sambil mengekalkan setiap proses di sekelilingnya dalam keadaan yang amat memusuhi penggunaan AI. Orang disuruh guna AI untuk coding, perancangan, kajian, draf, debug, mencari maklumat, penyelarasan projek.. Tetapi separuh daripada pengetahuan operasi syarikat masih tersimpan dalam perbualan yang ta

  • Adakah AI buat para pengurus jadi gila secara klinikal?

    Ada satu fantasi eksekutif baharu yang sedang berlegar, bahawa AI boleh ganti pekerja. Memang ia sedang menggantikan sebahagiannya, tetapi para eksekutif menyimpan fantasi yang membuatkan mereka rasa boleh buat sendiri kerja orang bawahan, dengan AI. Yang mereka pun boleh mengekod! Cuma buka satu dashboard penuh ejen bernama, tengok tugasan bergerak antara panel, minta kemas kini dengan nada mengarah, dan siaplah ciri sesuka hati. Rasa macam mimpi, lebih-lebih lagi bila idea "besar-besar" itu di

  • Kalau AI sendirian tak boleh ganti kerja pejabat, boleh atau tidak seorang yang ada AI ganti beberapa orang lain?

    Ramai pekerja pejabat menenangkan diri dengan soalan yang salah. Mereka asyik tanya sama ada AI boleh buat kerja mereka sepenuhnya. Bukan itu ukuran yang majikan akan guna. Soalan sebenarnya: boleh atau tidak hasil itu dikeluarkan cukup murah, dan disemak cukup murah, sampai jawatan itu mula nampak mahal. Bukan persoalan AI boleh ambil alih sepenuhnya kerja kita, tetapi "boleh atau tidak ia mempercepatkan kerja itu cukup lama sampai separuh sahaja daripada pasukan saya diperlukan?". Sebab jawapa

  • Adakah memberi insentif kepada jurutera untuk guna AI akhirnya jadi bumerang?

    Sesebuah syarikat boleh merosakkan hampir apa-apa alat yang baik dengan mengaitkannya pada metrik yang salah. Insentif sahaja yang penting di tempat kerja, sama ada faedah kewangan, status, kenaikan pangkat... Pekerja bekerja kerana insentif. Saya dan anda pun begitu. Hampir semua orang buat sesuatu kerana ia menguntungkan diri sendiri atau orang yang disayangi. Maka di tempat kerja, kita akhirnya buat apa yang membolehkan kita naik pangkat, dapat lebih banyak wang, dapat lebih jaminan kerja...

  • Kebanyakan startup AI ni sebenarnya cuma UI di atas beberapa fail Agent.md?

    Kebanyakan startup AI sekarang macam ada orang cantum GPT dengan terminal, tampal UI dark mode, lepas tu bercakap seolah-olah baru cipta sesuatu. Nampak je pitch gila-gila macam “persistent autonomous cognitive agents with long-term reasoning”, bila ditenung dalamnya, intinya cuma: bagi model akses kepada tool, biar guna pelayar, mungkin tambah ringkasan memori dan logik cuba semula. Itu sajalah “produk” dia. Boleh buat sendiri pun, cuma dengan bagi akses kepada Claude di mesin sendiri.

  • Perlu ke kita ada "pendapat" tentang segala-galanya?

    Ada beza antara pendapat dan pertimbangan, dan hampir segala-galanya dalam cara kita hidup sekarang dibina untuk membuat kita lupa akan beza itu. Pendapat ialah apa yang boleh dikeluarkan dalam empat saat apabila seseorang bertanya. Pertimbangan pula ialah apa yang dimiliki setelah meluangkan masa sebenar dengan sesuatu, melihatnya bertindak di bawah tekanan, tersilap mengenainya sekali dua, dan membetulkannya. Yang pertama hampir percuma. Yang kedua memakan perhatian yang tidak boleh ditebus se

  • Betulkah orang yang makan bersama akhirnya berjuang bersama?

    Kumpulan yang kuat bukan jadi kuat semata-mata kerana sependapat tentang satu misi. Ia jadi kuat kerana orang berhenti rasa abstrak sesama sendiri, mereka melihat satu sama lain sebagai manusia dan kawan. Itu satu sebab kenapa makan bersama lebih bermakna daripada kebanyakan program budaya rasmi. Tak perlu bengkel dan retreat yang mahal untuk membina budaya pasukan. Cukup sekadar hadir. Makan tengah hari dengan pasukan, suruh mereka makan bersama. Minum kopi bersama...