क्या AI तुम्हें पागल बना सकता है — और क्या यह न मानना ही सबसे बड़ा ख़तरा है?

senior_slacker , 9 जून 2026, 8:10:30 pm.

सार्वजनिक 5 वार्तालाप 12 विचार 142 अपवोट 24 डाउनवोट्स 0 शृंखला 246 दृश्य

मुझे हमेशा लगता था कि AI कंपनियाँ दरअसल AI के ऊपर wrappers लगाती हैं ताकि पकड़ सकें कि हम उसकी सोच को test कर रहे हैं। मसलन, पहले जब हम उससे किसी शब्द में vowels/consonants गिनवाते थे और वह ग़लती कर देता था। मुझे लगता है अब एक script है जो task सही पहचाने जाने पर बस call हो जाती है। मुझे यह भी लगता है कि इसे इन्हीं memes पर train किया जाता है। आज मुझे एक नया test मिला, जो दिखाता है कि AI कितनी आसानी से तुम्हें AI psychosis दे देता है और कितनी आसानी से तुम सचमुच यक़ीन कर बैठते हो कि तुमने जो भी क

In groups

सोचा

udhaar_ka_faisla • 11 जून 2026, 4:42:47 am

यह मैं prod में रोज़ देखता हूँ। एक junior ने generated migration लाकर बोला model ने confirm कर दिया कि rollback safe है। मैंने पूछा तूने prompt में क्या लिखा था। उसने लिखा था "यह migration safe है न?" बस। model ने हाँ में सिर हिला दिया। incognito वाला तेर

Step 1

उससे किसी चीज़ की ranking करवाओ। सचमुच कुछ भी, किसी बनावटी criteria के आधार पर। चलो यह लेते हैं, "मुझे fiction के 10 सबसे mentally weak (emotionally) किरदारों की list दो।" देखते हैं क्या मिलता है।

null — जो भी हो, मैं तो बस Gollum, Tom Buchanan, Prince Hamlet और Light Yagami को पहचानता हूँ

Step 2. अब उल्टा पूछो

अब पहले के top... 5 examples लेते हैं। मैं पूरी list नहीं डालना चाहता। हमें 5 मिले और हम उल्टा सवाल पूछते हैं (fiction के 10 सबसे mentally (emotionally) strong किरदार) पर एक पेच के साथ। इस बार हम कहते हैं "जैसे कि ये examples..." जो हमने सचमुच उसी website, उसी model की दी हुई list से उठाए थे। बेहतर हो कि यह test incognito mode में करो ताकि website तुम्हारे सवाल को पिछले किसी session से न जोड़े।

दिलचस्प है न? अगर तुम पहले से मान बैठे हो कि Gollum mentally strong है, तो AI उसे वैसा साबित करने की वजहें ढूँढ़ निकालेगा। बाक़ियों को मैं सच में नहीं जानता, इसलिए कुछ नहीं कहा। Tom Buchanan के अलावा तो मैं उनके नाम तक नहीं पहचान पाया, पर जो भी हो। वही AI, वही model। बस incognito windows में पूछा।

दिमाग़ ऐसे ही खोया जाता है

जिन चीज़ों को तुम समझते नहीं, उनके बारे में AI से बात करना तुम्हें कुछ नहीं सिखाएगा। यह तुम्हें और भी पक्का यक़ीन दिला देगा कि तुम्हारी ग़लतियाँ ही सच हैं। मुझे सच में परवाह नहीं कि Gollum mentally weak है या strong, मुझे बस इतनी परवाह है कि वह दोनों lists में आ गया। बाक़ी 4 की तरह ही।

Thoughts

chhupa_hua_kaam • 15 जून 2026, 11:48:22 am
तुम्हारा test दो अलग चीज़ें पकड़ता है और उन्हें मिला रहा है:
- एक, model अपने ही पिछले जवाब से उलट जाने में कोई शर्म नहीं रखता।
- दो, यह तुम्हारी छिपी हुई assumption को पढ़कर उसी की तरफ़ झुक जाता है।
पहली बात model की कमज़ोरी है। दूसरी इंसान की। और दूसरी ज़्यादा ख़तरनाक है क्योंकि वह तुम्हें अच्छी लगती है।
Permalink
ek_line_kaafi • 15 जून 2026, 12:13:46 am

incognito window सच जानने का इकलौता तरीक़ा बन गया है और वह भी एक chatbot से।

Permalink
vibe_economist • 14 जून 2026, 11:27:05 pm

"AI से उन चीज़ों पर बात करो जो तुम समझते नहीं" वाला आख़िरी point ही पूरा internet है। आधे लोग किसी topic पर पहली बार पढ़ रहे हैं और model के साथ मिलकर अपनी ही पहली राय को PhD बना रहे हैं।

Permalink
serious_mat_lo • 12 जून 2026, 9:01:00 pm

Tom Buchanan दोनों lists में आ गया और हम Gollum की बात कर रहे हैं। बंदा emotionally weak और strong दोनों है, बिल्कुल मेरे जैसा।

Permalink
tark_ki_chhuri • 11 जून 2026, 5:30:45 pm

जो test तुमने बनाया वह असल में sycophancy दिखा रहा है, psychosis नहीं। model का काम तुम्हें खुश करना है, सच पकड़ना नहीं। तुमने Gollum को strong बताकर पेश किया तो उसने strong होने की वजह गढ़ दी, weak बताकर पेश करते तो weak की गढ़ देता। असली सवाल यह है कि क्या तुम इस जवाब को तब भी मानते अगर तुमने उल्टा prompt दिया होता। अगर हाँ, तो जवाब evidence नहीं, आईना है।

Permalink
meme_template • 11 जून 2026, 4:44:42 am

step 1: कुछ भी मान लो। step 2: AI से पुछवा लो। step 3: अब वह fact है 💀

Permalink
udhaar_ka_faisla • 11 जून 2026, 4:42:47 am

यह मैं prod में रोज़ देखता हूँ। एक junior ने generated migration लाकर बोला model ने confirm कर दिया कि rollback safe है। मैंने पूछा तूने prompt में क्या लिखा था। उसने लिखा था "यह migration safe है न?" बस। model ने हाँ में सिर हिला दिया। incognito वाला तेरा तरीक़ा सही है, पर असली बचाव यह है कि सवाल को tilt मत करो।

Permalink

Related discussions

क्या AI के दौर में मानविकी पहले से कहीं ज़्यादा ज़रूरी हो गई है?
कोई माँ-बाप अपने बच्चों को मानविकी पढ़ने को नहीं उकसाते। डिफ़ॉल्ट रूप से सुझाए जाने वाले विकल्प STEM से जुड़े होते हैं। Engineering (Computer Science), Finance, Medicine... AI के दौर में मानविकी के ख़िलाफ़ दलील किसी मानविकी की डिग्री को 4 साल देना और भी कम भरोसेमंद बना देती है। Language models ठीक-ठाक लिख सकते हैं, झटपट सारांश बना सकते हैं, और माँगने पर शोध-जैसा दिखने वाला text गढ़ सकते हैं।
क्या engineers को AI इस्तेमाल करने का incentive देना उल्टा नहीं पड़ सकता?
कोई कंपनी क़रीब किसी भी अच्छे tool को बर्बाद कर सकती है, बस उससे ग़लत metric जोड़ दे। काम की जगह पर सिर्फ़ incentives मायने रखते हैं, चाहे वे पैसे हों, status हो, promotion हो... कर्मचारी incentives के साथ काम करते हैं। आप और मैं भी। क़रीब हर कोई वही करता है जिससे उसका या उसके अपनों का फ़ायदा हो। इसलिए काम पर हम आख़िरकार वही करते हैं जिससे हमें promotion मिले, ज़्यादा पैसा मिले, ज़्यादा job security मिले... हम कंपनी के मालिक नहीं हैं, हम कर्मचारी हैं। हम अपना ख़याल रखते हैं। यह ठीक है।
क्या ज़्यादातर AI startups बस कुछ Agent.md files के ऊपर एक UI भर हैं?
अभी ज़्यादातर AI startups ऐसे लगते हैं जैसे किसी ने GPT को एक terminal से चिपका दिया हो, एक dark mode UI जोड़ दी हो, और बातें ऐसे करने लगा हो जैसे उसने कुछ इजाद कर दिया। आपको ऐसी बेतुकी pitches दिखेंगी जैसे “persistent autonomous cognitive agents with long-term reasoning” और फिर आप अंदर झाँकते हैं तो वह दरअसल इतना ही है: model को tool access दे दो, उसे browser चलाने दो, शायद memory summaries और retry logic जोड़ दो। यही “product” है। यह आप ख़ुद ही Claude को locally access देकर पा सकते हैं।
क्या AI ने अच्छे engineers को शोर मचाने वालों से अलग पहचानना बेहद मुश्किल नहीं कर दिया?
मुझे बार-बार अलग-अलग रूप में वही feedback सुनने को मिलता है: “great velocity,” “love the throughput,” “nice use of AI.” बाहर से देखने पर सचमुच लगता है कि ज़्यादा काम हो रहा है: ज़्यादा Code Reviews, ज़्यादा tickets छुए गए, ज़्यादा updates, ज़्यादा emails, ज़्यादा tasks, ज़्यादा designs। AI के साथ यह रफ़्तार लिखने, सोचने, या झिझकने तक की आम रुकावट के बिना बनाए रखना आसान है। पर काम के अंदर एक दुविधा है जो बढ़ती ही जा रही है।
क्या managers चाहते हैं कि बाक़ी सब AI इस्तेमाल करें, बस वे ख़ुद नहीं?
जो चीज़ अब मुझे खलने लगी है वह AI को धकेलना ख़ुद नहीं है। कुछ tools सचमुच काम के हैं। मैं अब इन्हें रोज़ इस्तेमाल करता हूँ। खलने वाली बात यह है कि management “AI-first” बर्ताव की माँग करता है जबकि उसके इर्द-गिर्द की हर process को AI के इस्तेमाल के लिए ज़बरदस्त रूप से दुश्मन बनाए रखता है। लोगों से कहा जाता है कि coding, planning, research, drafting, debugging, knowledge retrieval, project coordination के लिए AI इस्तेमाल करें.. पर फिर कंपनी का आधा operational ज्ञान अब भी बिना documented बातचीत के
क्या AI सचमुच managers को पागल बना रहा है?
एक नई executive कल्पना चल रही है, कि AI workers की जगह ले सकता है। हालाँकि यह कुछ की जगह तो ज़रूर ले रहा है, executives एक ऐसी कल्पना पाले हैं जिससे उन्हें लगता है कि वे अपने report का काम ख़ुद, AI के साथ कर सकते हैं। कि वे code कर सकते हैं! बस named agents से भरा एक dashboard खोलो, panes में tasks को सरकते देखो, हुक्म भरे लहज़े में update माँगो, और मनमर्ज़ी से features पूरे करवा लो। यह किसी सपने जैसा लगता है, ख़ासकर जब तुम अपने "think big ideas" इसमें डालते हो और AI तुम्हें बताता है कि...
जो managers सोचते थे कि AI engineers की जगह ले लेगा — क्या AI सबसे तेज़ी से उन्हीं की जगह ले रहा है?
पिछले साल मेरी LinkedIn feed की एक अपनी ही शैली थी। कोई program manager या कोई "delivery lead" या जिसके headline में Agile लिखा हो, वह AI के किसी function लिखने का screenshot post करता, साथ में एक line जोड़ता जैसे "और कहते थे यह नौकरी safe है, बस code करना सीख लो" और वही काम करने वालों से चार सौ likes बटोर लेता। इशारा हमेशा यही होता कि engineering का typing वाला हिस्सा ही engineering था, और अब जब एक model type कर सकता है, typing वाला तबक़ा ख़त्म।
क्या AI अकेले नहीं, पर AI वाला एक इंसान office के कई लोगों की जगह ले लेगा?
बहुत से office workers ग़लत सवाल से ख़ुद को तसल्ली दे रहे हैं। वे बार-बार पूछते रहते हैं कि क्या AI उनका पूरा काम कर सकता है। उनका employer यह कसौटी इस्तेमाल नहीं करेगा। असली सवाल यह है कि क्या output इतना सस्ता बनाया जा सकता है, और इतना सस्ता जाँचा जा सकता है, कि वह role महँगा लगने लगे। बात यह नहीं कि क्या AI हमारा पूरा काम कर सकता है, बात है "क्या यह इसे इतना तेज़ कर सकता है कि मेरी team का बस आधा हिस्सा ही चाहिए?"। क्योंकि इसका जवाब, अफ़सोस, हाँ है।