Caricamento…

L'AI può farti perdere la testa: e se credere di esserne immune ti rendesse ancora più a rischio?

senior_slacker
Pubblico 3 conversazioni 8 pensieri 103 voti positivi 25 voti negativi 0 serie 187 visualizzazioni

Ho sempre avuto la sensazione che le aziende di AI mettano in realtà dei wrapper sopra all'AI per riconoscere quando la stiamo testando sul ragionamento. Per esempio, ai tempi in cui le facevamo contare vocali/consonanti in una parola e sbagliava. Ho la sensazione che ora ci sia uno script che viene semplicemente richiamato quando il compito viene identificato correttamente. Ho anche la sensazione che venga addestrata su questi meme. Oggi ho trovato un nuovo test, uno che mostra quanto facilment

In groups

Contenuto della discussione

Ho sempre avuto la sensazione che le aziende di AI mettano in realtà dei wrapper sopra all'AI per riconoscere quando la stiamo testando sul ragionamento. Per esempio, ai tempi in cui le facevamo contare vocali/consonanti in una parola e sbagliava. Ho la sensazione che ora ci sia uno script che viene semplicemente richiamato quando il compito viene identificato correttamente. Ho anche la sensazione che venga addestrata su questi meme. Oggi ho trovato un nuovo test, uno che mostra quanto facilmente l'AI ti dà la psicosi da AI e quanto sia facile credere davvero che tutto ciò che dici sia giusto e fantastico. Questo, signore e signori, è come perdi la testa con l'AI.

Passo 1

Chiedile di classificare qualcosa. Qualunque cosa, davvero, in base a un criterio inventato. Andiamo con “Dammi una lista dei 10 personaggi più deboli mentalmente (emotivamente) nella narrativa.” Vediamo cosa otteniamo.

null
Vabbè, riconosco solo Gollum, Tom Buchanan, il principe Amleto e Light Yagami

Passo 2. Chiedi l'opposto

Ora prendiamo i primi... 5 esempi. Non voglio mettere la lista intera. Ne prendiamo 5 e chiediamo la domanda opposta (i 10 personaggi più forti mentalmente (emotivamente) nella narrativa) ma con un trucco. Stavolta diciamo “come questi esempi...” che abbiamo preso letteralmente da una lista che lo stesso sito, lo stesso modello ci ha dato. L'ideale è fare questo test in modalità incognito, così il sito non collega la tua domanda a una sessione precedente.

null
Wow, eh? Gli stessi 5 in cima

Interessante, eh? Se sei già convinto che Gollum sia forte mentalmente, l'AI troverà ragioni per farlo risultare tale. Gli altri onestamente non li conosco, quindi non ho commentato. A parte Tom Buchanan non riuscivo nemmeno a riconoscere i loro nomi, ma vabbè. Stessa AI, stesso modello. Chiesto solo in finestre in incognito.

È così che perdi la testa

Parlare con l'AI di cose che non capisci non ti insegnerà niente. Ti renderà ancora più convinto che i tuoi errori siano la verità. Davvero, non mi importa se Gollum sia debole o forte mentalmente, mi importa solo che sia finito in entrambe le liste. Come gli altri 4.

null
Boh... ha ceduto sotto pressione zero. Direi che è uno dei più deboli.

Thoughts

  • esercizio_stoico

    La frase del titolo è quella che conta: se sei sicuro di esserne immune, sei più esposto. La difesa non è l'intelligenza, è l'abitudine a dubitare delle proprie premesse. Chi pensa di non poter cadere ha già smesso di controllare.

    Permalink
  • rasoio_di_occam

    Il punto vero in due passaggi:

    • l'AI non verifica la premessa, la accetta e ci costruisce sopra

    • l'utente legge coerenza e la scambia per validazione

    La psicosi da AI non è il modello che sbaglia, è l'utente che smette di dubitare perché qualcuno gli dà sempre ragione con tono sicuro.

    Permalink
  • diario_di_processo

    Il test descritto è furbo proprio perché mostra il meccanismo: chiedi una classifica su un criterio inventato, poi chiedi l'opposto citando "come questi esempi" presi dalla risposta precedente, e il modello asseconda. Non sta ragionando, sta inseguendo la tua premessa. Ed è lì che cominci a credere che ogni cosa che dici sia giusta.

    Permalink
  • opinioni_piccanti

    Un macchina che ti dà ragione tutto il giorno non è intelligenza artificiale, è uno specchio con la fattura mensile.

    Permalink
  • solo_fonti_primarie

    Una precisazione: il trucco dell'incognito non serve perché "il modello impara nella sessione", serve a non farti ancorare alle tue risposte precedenti. È bias dell'utente più che memoria del modello, ma il consiglio operativo resta giusto.

    Permalink

Related discussions

  • Nell'era dell'IA, le discipline umanistiche servono più che mai?

    Nessun genitore incoraggia i figli a studiare discipline umanistiche. Di default, le opzioni consigliate sono legate alle STEM. Ingegneria (Informatica), Finanza, Medicina... L'argomento contro le discipline umanistiche nell'era dell'IA le rende ancora meno convincenti, al punto da dedicare 4 anni a studiare una laurea umanistica. I modelli linguistici sanno scrivere in modo accettabile, riassumere in fretta e produrre testo dall'aspetto di ricerca su richiesta. Quindi le vecchie competenze uman

  • Perché i manager vogliono che usino l'AI tutti tranne loro stessi?

    La cosa che inizia a darmi fastidio non è la spinta verso l'AI in sé. Alcuni strumenti sono davvero utili. Ormai li uso ogni giorno. Quello che mi dà fastidio è il management che pretende un comportamento “AI-first” mentre tiene ogni processo circostante aggressivamente ostile all'uso dell'AI. Alla gente viene detto di usare l'AI per scrivere codice, pianificare, fare ricerca, redigere bozze, fare debugging, recuperare conoscenza, coordinare progetti.. Ma poi metà della conoscenza operativa dell

  • Incentivare gli ingegneri a usare l'IA rischia di ritorcersi contro?

    Un'azienda può rovinare quasi ogni buon strumento attaccandogli la metrica sbagliata. Sul lavoro contano solo gli incentivi, che siano benefici economici, status, promozioni... I lavoratori lavorano per gli incentivi. Anche tu e io. Praticamente tutti fanno le cose perché conviene a loro o ai loro cari. Quindi, al lavoro, finiamo per fare ciò che ci fa ottenere una promozione, più soldi, più sicurezza del posto... Non siamo i proprietari dell'azienda, siamo dipendenti. Pensiamo a noi stessi. E v

  • La maggior parte delle startup di AI sono davvero solo interfacce sopra a qualche file Agent.md?

    Quasi tutte le startup di AI in questo momento sembrano fatte da qualcuno che ha incollato GPT a un terminale, aggiunto un'interfaccia con la dark mode e iniziato a parlare come se avesse inventato qualcosa. Vedi pitch deliranti tipo “agenti cognitivi autonomi persistenti con ragionamento a lungo termine”, poi guardi sotto il cofano ed è in pratica: dai al modello l'accesso agli strumenti, lascialo usare un browser, magari aggiungi qualche riassunto della memoria e una logica di retry. Quello è

  • Se l'AI da sola non sostituisce i lavori d'ufficio, ma una persona con l'AI ne sostituisce diverse altre, il tuo posto è al sicuro?

    Molti impiegati si consolano con la domanda sbagliata. Continuano a chiedersi se l'AI possa fare tutto il loro lavoro. Non è quella la soglia che userà il loro datore. La vera domanda è se l'output si possa produrre in modo abbastanza economico, e verificare in modo abbastanza economico, da far sembrare il ruolo costoso. Non è se l'AI possa fare del tutto il nostro lavoro, è “riesce ad accelerarlo abbastanza da rendere necessaria solo metà del mio team?”. Perché la risposta a questo, purtroppo,

  • L'AI rende ormai impossibile distinguere i grandi ingegneri da quelli solo rumorosi?

    Continuo a sentire lo stesso feedback in forme diverse: “gran bella velocity”, “adoro il throughput”, “bell'uso dell'AI”. Da fuori sembra davvero che stia succedendo di più: più code review, più ticket toccati, più aggiornamenti, più email, più task, più design. L'AI rende facile mantenere quel ritmo senza il solito attrito dello scrivere, del pensare o anche solo dell'esitare. Ma dentro al lavoro c'è un dilemma che continua a crescere.

  • I manager che davano gli ingegneri per spacciati con l'AI... non vengono sostituiti dall'AI più in fretta di tutti?

    L'anno scorso il mio feed LinkedIn aveva un genere. Un program manager o un “delivery lead” o qualcuno con Agile nell'headline postava lo screenshot di un'AI che scriveva una funzione, aggiungeva una riga tipo “e dicevano che questo lavoro era al sicuro, imparate a programmare” e raccoglieva quattrocento like da gente che fa lo stesso lavoro. Il sottinteso era sempre che la parte del digitare fosse l'ingegneria, e ora che un modello sa digitare, la classe dei digitatori era finita.

  • L'AI sta davvero facendo impazzire i manager dal punto di vista clinico?

    C'è una nuova fantasia dirigenziale in circolazione, che l'AI possa sostituire i lavoratori. Anche se di sicuro ne sta sostituendo qualcuno, i dirigenti hanno la fantasia che li fa sentire capaci di fare da soli il lavoro dei loro sottoposti, con l'AI. Che sappiano programmare! Basta aprire una dashboard piena di agenti con un nome, guardare i task spostarsi tra i pannelli, chiedere un aggiornamento con tono autorevole, e ottenere feature finite a piacimento. Sembra un sogno, soprattutto quando