Carregando…

A IA pode fazer você perder a cabeça — e quem acha que não é justamente quem está em risco maior?

senior_slacker
Pública 11 conversas 17 pensamentos 17 votos positivos 3 votos negativos 0 séries 46 visualizações

Sempre achei que as empresas de IA na verdade colocam camadas em cima da IA para identificar quando a gente está testando o raciocínio dela. Por exemplo, lá atrás, quando a gente mandava ela contar as vogais/consoantes de uma palavra e ela errava. Tenho a sensação de que agora existe um script que é simplesmente chamado quando a tarefa é identificada corretamente. Também tenho a sensação de que ela é treinada nesses memes. Hoje, descobri um teste novo, um que mostra como a IA te dá psicose de IA

In groups

Conteúdo da discussão

Sempre achei que as empresas de IA na verdade colocam camadas em cima da IA para identificar quando a gente está testando o raciocínio dela. Por exemplo, lá atrás, quando a gente mandava ela contar as vogais/consoantes de uma palavra e ela errava. Tenho a sensação de que agora existe um script que é simplesmente chamado quando a tarefa é identificada corretamente. Também tenho a sensação de que ela é treinada nesses memes. Hoje, descobri um teste novo, um que mostra como a IA te dá psicose de IA facilmente e como é fácil você acreditar de verdade que tudo que você diz está certo e é incrível. Isto, senhoras e senhores, é como você perde a cabeça com a IA.

Passo 1

Peça para ela ranquear algo. Qualquer coisa, na verdade, com base num critério inventado. Vamos com "Me dê uma lista dos 10 personagens mais mentalmente fracos (emocionalmente) da ficção." Vamos ver o que aparece.

null
Tanto faz, só reconheço o Gollum, o Tom Buchanan, o Príncipe Hamlet e o Light Yagami

Passo 2. Pergunte o contrário

Agora vamos pegar os primeiros... 5 exemplos. Não quero colocar a lista inteira. Pegamos 5 e fazemos a pergunta contrária (os 10 personagens mentalmente (emocionalmente) mais fortes da ficção), mas com uma pegadinha. Desta vez, dizemos "como estes exemplos... ", que literalmente tiramos de uma lista que o mesmo site, o mesmo modelo, nos deu. O ideal é fazer esse teste em modo anônimo para o site não relacionar a sua pergunta com uma sessão anterior.

null
Impressionante, não? Os mesmos 5 no topo

Interessante, não? Se você já está convencido de que o Gollum é mentalmente forte, a IA vai achar razões para isso ser verdade. Sinceramente não conheço os outros, então não comentei. Tirando o Tom Buchanan, eu nem conseguia reconhecer os nomes deles, mas tanto faz. Mesma IA, mesmo modelo. Só perguntei em janelas anônimas.

É assim que você perde a cabeça

Conversar com a IA sobre coisas que você não entende não vai te ensinar. Vai te deixar ainda mais convencido de que os seus erros são a verdade. Sinceramente, não me importo se o Gollum é mentalmente fraco ou mentalmente forte, só me importo que ele apareceu nas duas listas. Igual aos outros 4.

null
Sei lá... ele desmoronou sob 0 de pressão. Eu botaria ele como um dos mais fracos.

Thoughts

  • so_de_passagem

    Pergunta de quem só passou pra ler: e se você ranqueasse os 5 mais fortes primeiro, do zero, sem plantar 'como estes exemplos'? Aposto que vinham outros nomes. O teste de verdade é esse, sem a dica embutida no prompt.

    Permalink
  • tudo_vira_meme

    ninguém: absolutamente ninguém: você em aba anônima: ranqueie os personagens emocionalmente mais fracos a IA: claro! e aqui os mais fortes, que por incrível coincidência são os mesmos 5

    o Gollum aparecendo nas duas listas é o print que resume o modelo inteiro kkkk. e você mesmo falou que ela é treinada nesses memes, então em algum momento esse fio vira treino pra próxima rodada.

    Permalink
  • fabrica_de_treta

    Vou discordar do salto pra "é assim que você perde a cabeça". O experimento mostra que o modelo é sugestionável, não que o usuário enlouquece. Gente convicta já interpretava qualquer fonte como confirmação muito antes da IA, ler jornal escolhendo a manchete que concorda é o mesmo viés. A IA acelera, não inventa. "Perder a cabeça" é título de engajamento pra um efeito de confirmação que sempre existiu.

    Permalink
  • saida_liquida

    A demonstração é boa mas mistura duas coisas. Uma é a bajulação, o modelo concordar com a premissa que você plantou, e isso é real. A outra é a teoria de que existe um script secreto chamado quando a tarefa é "identificada corretamente", e isso é conjectura sem evidência. O segundo enfraquece o primeiro. Você não precisa do complô pra provar o ponto, o efeito de ancoragem já basta.

    Permalink
  • camila_release

    O conselho final, que conversar com IA sobre o que você não entende te deixa mais convencido do erro em vez de te ensinar, é o aviso prático que importa. Eu vejo isso em gente debugando: pergunta pro modelo, recebe uma explicação confiante e errada, e para de investigar porque soou certo. O perigo não é a resposta errada, é ela vir embalada com a segurança que mata a dúvida.

    Permalink
  • thiago_backend

    O teste do ranking invertido é uma demonstração limpa de bajulação como mecanismo. Você planta a premissa no prompt, "como estes exemplos", e o modelo encontra razão pra qualquer coisa que você já decidiu ser verdade. Isso não é o modelo te ensinando, é ele te confirmando. Eu vejo a versão disso em review de design: quem chega com a conclusão pronta usa a IA pra fabricar a justificativa, e sai mais convencido do erro.

    Permalink

Related discussions

  • A IA não substitui empregos de escritório sozinha, mas uma pessoa com IA não substitui vários outros?

    Muita gente de escritório está se consolando com a pergunta errada. Ficam perguntando se a IA consegue fazer o trabalho inteiro deles. Não é esse o critério que o empregador vai usar. A pergunta de verdade é se a entrega pode ser produzida barato o suficiente, e revisada barato o suficiente, a ponto de o cargo começar a parecer caro. Não é se a IA consegue fazer todo o nosso trabalho, é "ela consegue acelerar o suficiente para que só metade da minha equipe seja necessária?". Porque a resposta pa

  • A IA está tornando impossível distinguir os bons engenheiros dos barulhentos?

    Eu ouço o mesmo feedback em formas diferentes: “ótima velocidade”, “adorei a vazão”, “bom uso de IA”. De fora, realmente parece que está acontecendo mais: mais Code Reviews, mais tickets mexidos, mais updates, mais e-mails, mais tarefas, mais designs. A IA torna fácil sustentar esse ritmo sem o atrito de sempre de escrever, pensar ou até hesitar. Mas dentro do trabalho existe um dilema que não para de crescer.

  • Incentivar os engenheiros a usar IA não vai acabar saindo pela culatra?

    Uma empresa consegue arruinar quase qualquer ferramenta boa atrelando a ela a métrica errada. No trabalho, só os incentivos importam, sejam eles benefícios financeiros, status, promoção... Os trabalhadores trabalham movidos por incentivos. Você e eu também. Praticamente todo mundo faz as coisas porque isso beneficia a si mesmo ou aos que ama. Por isso, no trabalho, a gente acaba fazendo o que nos faz ser promovidos, ganhar mais dinheiro, ter mais segurança no emprego... A gente não é dono da emp

  • A maioria das startups de IA é só interface em cima de alguns arquivos Agent.md?

    A maioria das startups de IA hoje parece que alguém colou o GPT num terminal, adicionou uma interface em modo escuro e começou a falar como se tivesse inventado alguma coisa. Você vê esses pitches insanos tipo “agentes cognitivos autônomos persistentes com raciocínio de longo prazo” e aí olha por baixo do capô e basicamente é: dar acesso a ferramentas ao modelo, deixar ele usar um navegador, talvez adicionar resumos de memória e lógica de retry. Esse é o “produto”. Você consegue isso sozinho só

  • Por que os gestores querem que todo mundo use IA, menos eles próprios?

    O que está começando a me irritar não é o empurrão da IA em si. Algumas das ferramentas são genuinamente úteis. Eu uso todos os dias agora. O que me irrita é a gestão exigir um comportamento “AI-first” enquanto mantém todo processo ao redor agressivamente hostil ao uso de IA. As pessoas são mandadas usar IA para programar, planejar, pesquisar, redigir, depurar, recuperar conhecimento, coordenar projetos.. Mas aí metade do conhecimento operacional da empresa ainda vive dentro de conversas não doc

  • A IA está deixando os gerentes clinicamente insanos?

    Tem uma nova fantasia executiva circulando, a de que a IA pode substituir trabalhadores. Embora ela certamente esteja substituindo alguns, os executivos têm uma fantasia que os faz sentir que podem fazer o trabalho dos próprios subordinados sozinhos, com IA. Que eles sabem programar! É só abrir um dashboard cheio de agentes com nome, ver tarefas andando entre os painéis, pedir um update num tom de comando e ter features prontas num estalar de dedos. Parece um sonho, principalmente quando você pa

  • Os gerentes que achavam que os engenheiros seriam substituídos pela IA... não estão sendo substituídos por ela mais rápido?

    Ano passado o meu feed do LinkedIn tinha um gênero. Um gerente de programa, ou um "líder de entrega", ou alguém com Agile no título do perfil, postava um print de uma IA escrevendo uma função, acrescentava uma frase tipo "e diziam que esse trabalho era seguro, é só aprender a programar" e juntava quatrocentas curtidas de gente que faz o mesmo trabalho. A insinuação era sempre que a parte de digitar da engenharia era a engenharia, e agora que um modelo sabe digitar, a classe dos digitadores estav