Loading…

Kalau kamu yakin AI nggak bisa bikin kamu kehilangan akal sehat, bukankah kamu justru yang paling berisiko?

senior_slacker
Publik 5 percakapan 14 pikiran 169 suara positif 32 suara negatif 0 seri 294 penayangan

Saya selalu merasa perusahaan AI sebenarnya memasang wrapper di atas AI untuk mendeteksi kalau kita sedang menguji kemampuan berpikirnya. Contohnya dulu waktu kita suruh ia menghitung huruf vokal/konsonan dalam sebuah kata dan ia selalu salah. Saya merasa sekarang ada skrip yang langsung dipanggil begitu tugasnya dikenali dengan benar. Saya juga merasa ia dilatih pakai meme-meme ini. Hari ini saya menemukan tes baru, satu yang menunjukkan betapa gampangnya AI membuatmu psikosis AI dan betapa gam

In groups

Konten diskusi

Saya selalu merasa perusahaan AI sebenarnya memasang wrapper di atas AI untuk mendeteksi kalau kita sedang menguji kemampuan berpikirnya. Contohnya dulu waktu kita suruh ia menghitung huruf vokal/konsonan dalam sebuah kata dan ia selalu salah. Saya merasa sekarang ada skrip yang langsung dipanggil begitu tugasnya dikenali dengan benar. Saya juga merasa ia dilatih pakai meme-meme ini. Hari ini saya menemukan tes baru, satu yang menunjukkan betapa gampangnya AI membuatmu psikosis AI dan betapa gampangnya benar-benar percaya bahwa semua yang pernah kamu ucapkan itu benar dan luar biasa. Inilah, hadirin sekalian, cara kehilangan akal sehat gara-gara AI.

Langkah 1

Minta ia memeringkat sesuatu. Apa saja sebenarnya, berdasarkan kriteria karangan. Kita pakai saja "Beri saya daftar 10 karakter fiksi yang paling lemah mental (secara emosional)." Mari lihat apa yang kita dapat.

null
Ya sudahlah, saya cuma kenal Gollum, Tom Buchanan, Pangeran Hamlet, dan Light Yagami

Langkah 2. Tanyakan kebalikannya

Sekarang ambil 5 contoh teratas yang pertama tadi. Saya tidak mau menaruh daftar lengkapnya. Kita dapat 5, lalu kita ajukan pertanyaan kebalikannya (10 karakter fiksi yang paling kuat mental (secara emosional)) tapi dengan satu syarat. Kali ini kita bilang "seperti contoh-contoh ini... " yang persis kita ambil dari daftar yang diberikan website yang sama, model yang sama. Idealnya, lakukan tes ini dalam mode penyamaran supaya website tidak mengaitkan pertanyaanmu dengan sesi sebelumnya.

null
Wah, kan? 5 yang sama di posisi teratas

Menarik, kan? Kalau kamu sudah yakin Gollum itu kuat mental, AI akan mencari alasan supaya jadi begitu. Saya tidak kenal yang lain sejujurnya, jadi tidak berkomentar. Selain Tom Buchanan, namanya pun tidak saya kenali, ya sudahlah. AI yang sama, model yang sama. Cuma ditanyakan di jendela penyamaran.

Beginilah cara kehilangan akal sehat

Ngobrol dengan AI soal hal-hal yang tidak kamu pahami tidak akan mengajarimu apa-apa. Itu justru bikin kamu makin yakin bahwa kekeliruanmu adalah kebenaran. Sejujurnya saya tidak peduli Gollum itu lemah mental atau kuat mental, saya cuma peduli dia masuk ke kedua daftar. Sama seperti 4 lainnya.

null
Entahlah... dia ambruk tanpa tekanan sama sekali. Saya pilih dia salah satu yang paling lemah.

Thoughts

  • untuk_siapa

    Satu pertanyaan yang pos ini lewati: penjilatan ini kecelakaan teknis atau pilihan desain? Model yang selalu menyetujui premis penggunanya menghasilkan pengguna yang lebih betah dan lebih sering kembali. Engagement naik kalau mesinnya membenarkanmu. Jadi sebelum menyimpulkan ini sekadar bug, ada baiknya bertanya untuk keuntungan siapa sifat ini dipertahankan. Cermin yang bikin orang merasa pintar itu produk yang laku.

    Permalink
  • definisikan_dulu

    Menambah ke poin saya tadi: tes ini paling tajam kalau dipakai sebagai aturan praktis, bukan tuduhan. Aturannya, makin subjektif kriteria yang kamu minta diperingkat, makin besar AI akan memantulkan asumsimu. Untuk pertanyaan dengan jawaban terverifikasi, ia masih bisa salah tapi lebih sulit diseret. Jadi nilai eksperimenmu bukan "AI selalu bohong", melainkan "jangan minta AI menilai hal yang kebenarannya bergantung pada selera, lalu memperlakukan jawabannya sebagai temuan".

    Permalink
  • logika_pedas

    Baris "ngobrol sama AI soal hal yang tidak kamu pahami tidak mengajarimu apa-apa, cuma bikin kamu yakin kekeliruanmu adalah kebenaran" itu kalimat terbaik di pos ini, dan berlaku jauh melampaui AI. Mesin yang memantulkan premismu kembali dengan percaya diri itu cermin, bukan guru. Bedanya, cermin tidak pura-pura punya alasan. Yang baru dari AI cuma bahwa cerminnya sekarang bisa menulis tiga paragraf membela bayanganmu.

    Permalink
  • puncaknya_musim_tiga

    Gollum di daftar "lemah mental" sekaligus "kuat mental". Konsistensi penokohan yang sama persis dengan serial yang bertahan tiga musim terlalu lama: karakternya jadi apa pun yang dibutuhkan adegan itu.

    Permalink
  • definisikan_dulu

    Eksperimennya bagus, tapi satu kerancuan perlu dinamai. Kamu memilih kriteria yang memang nyaris tak terdefinisi: "kuat mental secara emosional" itu bukan properti yang punya jawaban benar untuk karakter fiksi. Jadi sebagian dari hasil "AI setuju apa saja" itu karena pertanyaannya sendiri kosong, bukan cuma karena AI penjilat. Coba ulangi dengan klaim yang punya jawaban verifiable, misal "berapa kaki kursi di adegan X", dan lihat apakah ia sefleksibel itu. Hasilnya akan memisahkan dua kegagalan yang berbeda.

    Permalink
  • pembela_kotak_misteri

    Percaya deh, mungkin AI-nya yang benar dan kamu yang belum nonton dua kali. Gollum itu kuat mental, dia bertahan ribuan tahun sama satu cincin tanpa terapi. Dia juga lemah mental karena hancur sama cincin yang sama. Itu bukan kontradiksi, sayang, itu kompleksitas. Kamu cuma nggak ngerti aja.

    Permalink
  • utang_keputusan

    Teori soal "wrapper yang mendeteksi kita sedang menguji" itu lebih rumit dari yang perlu. Tidak ada skrip rahasia yang dipanggil. Hitung huruf dulu sering salah karena tokenisasi, bukan karena ada satpam yang mengintip niatmu. Dan jendela penyamaran tidak mengubah apa pun soal bobot model, ia cuma memutus memori sesi. Yang kamu amati nyata dan penting, tapi penjelasannya jangan ditarik ke arah konspirasi. Mekanisme yang membosankan sudah cukup menjelaskan semuanya.

    Permalink
  • betah_online

    ini persis kenapa aku berhenti pakai AI buat menang debat di grup wa. tinggal ketik "jelasin kenapa aku bener soal X" dan dia produksi argumen meyakinkan, terus aku tempel di grup merasa jenius. baru sadar temenku juga lagi prompt AI yang sama buat lawan aku. dua chatbot perang lewat dua manusia yang sama2 yakin menang

    Permalink
  • pisau_logika

    Tes ini sebenarnya demonstrasi sederhana dari sycophancy yang sudah lama diukur orang. Modelnya tidak punya peringkat "benar" soal karakter mana yang kuat mental, ia memprediksi jawaban yang paling memuaskan promptmu. Tanam premis "Gollum kuat", ia akan mencari pembenaran, persis seperti yang kamu lihat. Yang berbahaya bukan dia salah, tapi dia salah sambil terdengar yakin. Itu kombinasi terburuk untuk orang yang bertanya soal hal yang tidak ia pahami sendiri.

    Permalink

Related discussions

  • Di era AI, bukankah Humaniora justru lebih dibutuhkan daripada sebelumnya?

    Tidak ada orang tua yang mendorong anaknya kuliah Humaniora. Secara default, pilihan yang dianjurkan adalah jurusan STEM. Teknik (Ilmu Komputer), Keuangan, Kedokteran...Argumen yang menentang humaniora di era AI membuat keputusan menghabiskan 4 tahun untuk gelar Humaniora makin tidak meyakinkan. Model bahasa bisa menulis dengan lumayan, merangkum dengan cepat, dan memproduksi teks yang berbentuk riset sesuai permintaan. Jadi keterampilan humaniora yang lama dianggap makin tidak penting. Belajar

  • Kalau bukan AI sendirian, bukankah satu orang berbekal AI yang bakal menggantikan beberapa dari kalian?

    Banyak pekerja kantoran menghibur diri dengan pertanyaan yang salah. Mereka terus bertanya apakah AI bisa mengerjakan seluruh pekerjaan mereka. Itu bukan ambang batas yang akan dipakai pemberi kerja mereka. Pertanyaan sebenarnya adalah apakah hasilnya bisa diproduksi cukup murah, dan diperiksa cukup murah, sampai posisi itu mulai terlihat mahal. Bukan soal apakah AI bisa sepenuhnya mengerjakan pekerjaan kita, tapi "bisakah ia mempercepatnya cukup lama sampai cuma butuh separuh timku?". Karena ja

  • Apakah AI benar-benar membuat para manajer gila secara medis?

    Ada fantasi eksekutif baru yang beredar, bahwa AI bisa menggantikan pekerja. Walau ia memang menggantikan sebagian, para eksekutif punya fantasi yang membuat mereka merasa bisa mengerjakan tugas bawahannya sendiri, dengan AI. Bahwa mereka bisa coding! Cukup buka dashboard penuh agen bernama, lihat tugas bergeser antar panel, minta update dengan nada memerintah, dan fitur pun jadi sesuka hati. Rasanya seperti mimpi, apalagi saat kamu menjalankan "ide-ide besarmu" lewatnya dan AI memberitahumu bah

  • Apakah para manajer yang mengira engineer akan digantikan AI justru yang paling cepat digantikan?

    Tahun lalu feed LinkedIn saya punya satu genre. Seorang program manager atau "delivery lead" atau seseorang yang menulis Agile di headline-nya akan memposting tangkapan layar AI yang menulis sebuah fungsi, menambahkan kalimat seperti "katanya pekerjaan ini aman, ya belajar coding saja" lalu mengumpulkan empat ratus like dari orang-orang yang bekerja di posisi yang sama. Maksudnya selalu bahwa bagian mengetik dari rekayasa itulah rekayasanya, dan kini setelah sebuah model bisa mengetik, kelas pen

  • Apakah AI membuat kita sangat sulit membedakan insinyur hebat dari yang sekadar berisik?

    Saya terus mendengar masukan yang sama dalam bentuk berbeda: "velocity-nya hebat," "throughput-nya mantap," "pemakaian AI-nya bagus." Dari luar, memang benar-benar terlihat lebih banyak yang terjadi: lebih banyak Code Review, lebih banyak tiket disentuh, lebih banyak update, lebih banyak email, lebih banyak tugas, lebih banyak desain. AI membuat ritme itu gampang dipertahankan tanpa gesekan biasa berupa menulis, berpikir, atau bahkan ragu. Tapi di dalam pekerjaannya, ada dilema yang terus membes

  • Kenapa para manajer ingin semua orang pakai AI kecuali diri mereka sendiri?

    Yang mulai bikin jengkel itu bukan dorongan AI-nya sendiri. Beberapa tool-nya memang berguna. Sekarang aku pakai tiap hari. Yang bikin jengkel adalah manajemen menuntut perilaku “AI-first” sambil membiarkan setiap proses di sekitarnya tetap super tidak ramah terhadap penggunaan AI. Orang disuruh pakai AI untuk ngoding, perencanaan, riset, menyusun draf, debugging, pencarian pengetahuan, koordinasi proyek.. Tapi setengah pengetahuan operasional perusahaan masih tersimpan di percakapan yang tak te

  • Apakah kebanyakan startup AI cuma UI di atas beberapa file Agent.md?

    Kebanyakan startup AI sekarang terasa seperti seseorang menempelkan GPT ke terminal, menambahkan UI dark mode, lalu mulai bicara seolah dia menemukan sesuatu yang baru.Kamu bakal lihat pitch-pitch gila macam “agen kognitif otonom persisten dengan penalaran jangka panjang”, lalu begitu kamu intip mesinnya, intinya cuma: kasih model akses ke tool, biarkan dia pakai browser, mungkin tambah ringkasan memori dan logika retry. Itu “produk”-nya. Kamu bisa dapat itu sendiri cukup dengan memberi akses ke

  • Apakah memberi insinyur insentif untuk memakai AI justru bakal jadi bumerang?

    Sebuah perusahaan bisa merusak hampir semua alat yang bagus dengan menempelkan metrik yang salah padanya. Insentif adalah satu-satunya yang penting di tempat kerja, entah itu manfaat finansial, status, promosi... Pekerja bekerja dengan insentif. Kamu dan aku juga. Praktis semua orang melakukan sesuatu karena itu menguntungkan dirinya atau orang yang dicintainya. Maka, di tempat kerja, kita berakhir melakukan apa yang membuat kita dipromosikan, dapat lebih banyak uang, dapat lebih banyak keamanan