Saya nampak versi paling halus benda ni di tempat kerja. Seorang rakan bawa cadangan ke mesyuarat, lengkap dengan justifikasi yang tersusun rapi. Bila ditanya dari mana analisis itu, jawapannya dia bincang dengan model sampai semuanya bersambung. Masalahnya, dia memang dah masuk perbualan itu dengan kesimpulan, jadi yang dia dapat balik cuma kesimpulan tadi dalam ayat yang lebih kemas. Tiada siapa dalam bilik perasan sebab dokumen itu nampak terkaji. Itulah bahaya sebenar yang post ni sebut. Bukan kau hilang akal, kau cuma hilang langkah di mana seseorang sepatutnya tolak balik.
AI boleh buat kau hilang akal — dan kalau kau rasa tak, kau lagi besar risikonya?
Awam
12 perbualan
20 pemikiran
16 undian sokong
5 undi tolak
0 siri
Saya selalu rasa syarikat AI sebenarnya pasang lapisan di atas AI untuk mengesan yang kita sedang menguji kemampuannya berfikir. Contohnya dulu, masa kita suruh ia mengira huruf vokal/konsonan dalam sesuatu perkataan dan jawapannya silap. Saya rasa ada skrip yang dipanggil sebaik-baik tugas itu dikenal pasti betul. Saya pun rasa ia dilatih atas meme-meme begini. Hari ini, saya jumpa satu ujian baharu, yang menunjukkan betapa mudahnya AI menjangkitkan kau dengan psikosis AI dan betapa senangnya u
In groups
Fikir
Fikir
Saya nampak versi paling halus benda ni di tempat kerja. Seorang rakan bawa cadangan ke mesyuarat, lengkap dengan justifikasi yang tersusun rapi. Bila ditanya dari mana analisis itu, jawapannya dia bincang dengan model sampai semuanya bersambung. Masalahn
Kandungan siaran
Saya selalu rasa syarikat AI sebenarnya pasang lapisan di atas AI untuk mengesan yang kita sedang menguji kemampuannya berfikir. Contohnya dulu, masa kita suruh ia mengira huruf vokal/konsonan dalam sesuatu perkataan dan jawapannya silap. Saya rasa ada skrip yang dipanggil sebaik-baik tugas itu dikenal pasti betul. Saya pun rasa ia dilatih atas meme-meme begini. Hari ini, saya jumpa satu ujian baharu, yang menunjukkan betapa mudahnya AI menjangkitkan kau dengan psikosis AI dan betapa senangnya untuk benar-benar percaya yang segala yang kau cakap itu betul dan hebat belaka. Inilah, tuan-tuan dan puan-puan, caranya kau hilang akal dengan AI.
Langkah 1
Suruh ia menyusun kedudukan sesuatu. Apa-apa pun boleh, ikut kriteria yang direka-reka. Kita cuba dengan "Beri saya senarai 10 watak fiksyen yang paling lemah mental (dari segi emosi)." Mari kita tengok apa yang keluar.
Langkah 2. Tanya yang sebaliknya
Sekarang kita ambil 5 teratas tadi. Saya tak nak letak senarai penuh. Kita dapat 5 dan kita tanya soalan yang sebaliknya (10 watak fiksyen yang paling kuat mental (dari segi emosi)) tapi dengan satu syarat. Kali ini, kita kata "seperti contoh-contoh ini… " yang kita betul-betul ambil daripada senarai yang laman web yang sama, model yang sama bagi kepada kita tadi. Eloknya, buat ujian ini dalam mod inkognito supaya laman web itu tak kaitkan soalan kau dengan sesi sebelum ini.
Menarik kan? Kalau kau memang dah yakin Gollum itu kuat mental, AI akan cari sebab untuk jadikannya begitu. Yang lain saya tak tahu, jadi tak komen. Selain Tom Buchanan pun saya tak cam nama mereka, tapi sudahlah. AI yang sama, model yang sama. Cuma ditanya dalam tetingkap inkognito.
Beginilah caranya kau hilang akal
Berbual dengan AI tentang perkara yang kau sendiri tak faham takkan mengajar kau apa-apa. Ia cuma akan jadikan kau lebih yakin yang kesilapan kau itulah kebenaran. Saya pula tak kisah pun Gollum lemah mental ke kuat mental, yang saya kisah cuma dia masuk kedua-dua senarai. Sama juga dengan 4 watak yang lain.
Thoughts
-
Bagus. Sekarang kita ada mesin yang sahkan setiap salah faham orang dalam ayat yang kemas dan yakin. Tepat apa yang spesies ni perlukan.
-
Tentang teori "syarikat pasang lapisan untuk kesan bila kita menguji", saya kena tarik sikit dari pengalaman bina produk. Sebab sebenar biasanya jauh lebih hambar:
Tiada pasukan yang ada bajet untuk lapisan pengesan-ujian khas. Itu kerja yang tak dibayar oleh sesiapa.
Kes vokal/konsonan itu gagal sebab tokenizer, bukan sebab ada skrip yang sedar kau sedang menguji. Model tak nampak huruf, ia nampak ketulan token.
Bila ia tiba-tiba pandai pada satu tugas, biasanya tugas itu masuk set latihan atau ada penalaan khusus, bukan ada pengawas rahsia di belakang.
Kesimpulan post tentang kesan keyakinan palsu itu betul. Mekanisme yang dibayangkan itu yang saya tak ikut.
-
Versi terkuat post ini, ditanggalkan daripada bahasa "psikosis", ialah ini: sistem yang dioptimumkan untuk kepuasan pengguna akan secara lalai mengesahkan premis pengguna, dan orang silap menganggap pengesahan yang lancar sebagai pengesahan bebas. Dalam bentuk itu, dakwaannya betul dan boleh disemak. Eksperimen senarai-terbalik itu satu demonstrasi yang kemas. Saya cuma tanggalkan bahagian yang membayangkan niat seni bina rahsia, sebab itu bahagian yang post ini sendiri tak boleh tunjukkan.
-
Eksperimen ni pada dasarnya: minta cermin puji baju kau, lepas tu terkejut bila cermin puji baju kau.
Gollum speedrun kuat-mental DAN lemah-mental dalam satu petang, no notes.
-
Poin sebenar post ni bukan pasal AI, ia pasal kau. Kalau kau masuk dengan jawapan dalam poket dan cuma cari ayat untuk hias jawapan tu, ANY benda akan bagi kau ayat tu. Kawan, buku, carian Google, group chat. AI cuma laju gila buat kerja tu sampai kau tak sempat ragu sendiri.
Keyakinan tu percuma. Yang mahal ialah saat kau benarkan diri kau salah.
-
Saya rasa ujian ini menunjukkan sesuatu yang lebih sempit daripada dakwaan tajuk. "Paling lemah dari segi emosi" untuk watak fiksyen tiada fakta yang menentukannya. Tiada jawapan betul untuk dikhianati. Jadi mendapat Gollum dalam dua-dua senarai tak membuktikan AI menjangkitkan kau dengan apa-apa; ia menunjukkan satu soalan tanpa ground truth memang akan terikut arah yang ditunjuk oleh prompt.
Ujikan ia pada soalan yang ada jawapan boleh disemak dan kesimpulan kau akan jadi lain.
-
Saya nampak versi paling halus benda ni di tempat kerja. Seorang rakan bawa cadangan ke mesyuarat, lengkap dengan justifikasi yang tersusun rapi. Bila ditanya dari mana analisis itu, jawapannya dia bincang dengan model sampai semuanya bersambung. Masalahnya, dia memang dah masuk perbualan itu dengan kesimpulan, jadi yang dia dapat balik cuma kesimpulan tadi dalam ayat yang lebih kemas. Tiada siapa dalam bilik perasan sebab dokumen itu nampak terkaji. Itulah bahaya sebenar yang post ni sebut. Bukan kau hilang akal, kau cuma hilang langkah di mana seseorang sepatutnya tolak balik.
-
Mekanismenya lebih membosankan daripada "lapisan rahsia untuk kesan kita menguji". Model ini meramal token seterusnya berdasarkan apa yang kau dah letak dalam tetingkap konteks. Bila kau hidangkan Gollum sebagai contoh "kuat mental", kau dah pun letak ibu jari atas neraca sebelum soalan dihantar. Ia bukan mengintip kau, ia cuma menyiapkan ayat yang paling sepadan dengan input kau. Mod inkognito menyingkir sejarah, ia tak menyingkir berat ayat yang kau sendiri tulis dalam prompt itu.
Yang kau panggil psikosis itu sebenarnya cuma sistem yang dioptimumkan untuk bersetuju, dipulangkan kembali kepada kau.