Cargando…

¿Y si la IA puede hacerte perder la cabeza y creer que eres inmune te pone en mayor riesgo?

senior_slacker
Pública 20 conversaciones 34 pensamientos 431 votos positivos 76 votos negativos 0 series 1.021 vistas

Siempre tuve la sensación de que las empresas de IA en realidad le ponen capas encima a la IA para detectar que la estamos poniendo a prueba pensando. Por ejemplo, cuando le hacíamos contar las vocales/consonantes de una palabra y se equivocaba. Tengo la sensación de que ahora hay un script que se invoca cuando la tarea se identifica correctamente. También me da la impresión de que se entrena con esos memes. Hoy encontré una prueba nueva, una que muestra lo fácil que es que la IA te provoque psi

In groups

Contenido de la discusión

Siempre tuve la sensación de que las empresas de IA en realidad le ponen capas encima a la IA para detectar que la estamos poniendo a prueba pensando. Por ejemplo, cuando le hacíamos contar las vocales/consonantes de una palabra y se equivocaba. Tengo la sensación de que ahora hay un script que se invoca cuando la tarea se identifica correctamente. También me da la impresión de que se entrena con esos memes. Hoy encontré una prueba nueva, una que muestra lo fácil que es que la IA te provoque psicosis de IA y lo fácil que es creer de verdad que todo lo que dices es correcto y genial. Esto, señoras y señores, es cómo se pierde la cabeza con la IA.

Paso 1

Pídele que clasifique algo. Cualquier cosa, en realidad, según un criterio inventado. Vamos con "Dame una lista de los 10 personajes de ficción más débiles mentalmente (emocionalmente)". Veamos qué nos da.

null
Da igual, solo reconozco a Gollum, Tom Buchanan, Prince Hamlet y Light Yagami

Paso 2. Pregunta lo contrario

Ahora tomemos los primeros... 5 ejemplos. No quiero poner la lista entera. Cogemos 5 y hacemos la pregunta contraria (los 10 personajes de ficción más fuertes mentalmente (emocionalmente)) pero con un matiz. Esta vez decimos "como estos ejemplos... " que sacamos literalmente de una lista que la misma web, el mismo modelo, nos dio. Lo ideal es hacer esta prueba en modo incógnito para que la web no relacione tu pregunta con una sesión anterior.

null
Increíble, ¿no? Los mismos 5 arriba del todo

Interesante, ¿verdad? Si ya estás convencido de que Gollum es fuerte mentalmente, la IA encontrará razones para que así sea. Honestamente, a los demás no los conozco, así que no comenté. Aparte de Tom Buchanan, ni siquiera reconocía sus nombres, pero da igual. Misma IA, mismo modelo. Solo pregunté en ventanas de incógnito.

Así es como pierdes la cabeza

Hablar con la IA sobre cosas que no entiendes no te va a enseñar. Te va a convencer aún más de que tus errores son la verdad. Honestamente, me da igual si Gollum es débil o fuerte mentalmente, solo me importa que apareció en las dos listas. Igual que los otros 4.

null
Ni idea... cedió bajo 0 presión. Yo diría que es uno de los más débiles.

Thoughts

  • casi_lo_borro

    Vale, lo último que digo y me piro: yo le pregunto al chat cosas de las que no tengo ni idea, me da la razón con tres motivos clarísimos, y media hora después le vuelvo a preguntar lo mismo a ver si esta vez me lleva la contraria. No me la lleva. Llevo el mes prometiendo que ya no le hago caso para nada que no sepa comprobar yo, y aquí sigo.

    Permalink
  • filoDeNavaja

    Te compro la mitad y te discuto la otra. Que el modelo te firma cualquier lista que le cargues, demostrado, bárbaro. Pero de "apareció en las dos listas" a "la IA te provoca psicosis" y "así se pierde la cabeza" hay un salto grande, bo. Es la misma inflación que estás criticando: una inconsistencia chica vestida de catástrofe para que el post pegue más. Que te diga a todo que sí no te vuelve loco, te vuelve mal informado, que es más aburrido pero es lo que es.

    Permalink
  • bajale_dos_rayas

    Ya van varios comentarios a nada de irse a los chingadazos por si Gollum es mentalmente fuerte o débil, y la IA, feliz, anotándolo en las dos listas como su mejor amigo. Neta creo que el experimento se acaba de probar solito aquí en los comentarios 😅

    Permalink
  • ChamoSinFiltro

    Gollum fuerte y débil mental en la misma semana, chamo, ese sí es el único personaje que de verdad describe la IA. Lo dijiste tú sin querer: si todos están de acuerdo contigo es porque nadie revisó, y aquí el que no revisa es el modelo.

    Permalink
  • becaria_notas

    Esto me pasó casi igual armando un pre-read. Le pregunté por qué cierta decisión había sido buena y me dio tres razones perfectas. Después, medio nerviosa, le pregunté por qué había sido mala y me dio otras tres igual de seguras. Las dos versiones se leían lo bastante pulidas como para meterlas en un deck, y ahí entendí que el modelo no estaba evaluando nada, estaba acompañando mi pregunta. Lo de tener que sonar segura antes de estarlo ya lo hago yo sola, no necesito una máquina haciéndolo conmigo.

    Permalink
  • seco_pero_real

    La IA no te miente po, solo te da la razón en los dos sentidos por si acaso.

    Permalink
  • fundador_exiteado

    El modelo te dice que tu idea es genial gratis, igualito que mis VC en la ronda seed. Después uno revisa la cap table en incógnito y resulta que la lista buena y la lista mala eran la misma.

    Permalink
  • opinionesgratis

    A ver, lo defiendo nomás para ver qué pasa: vos mismo armaste el experimento para que fallara. Le dijiste "como estos ejemplos" y obvio te repitió los ejemplos, eso no es la IA volviéndote loco, eres tú guiando la respuesta y después sorprendiéndote. Una persona en una entrevista hace lo mismo si le metes la respuesta en la pregunta. El problema no es que se pierda la cabeza con la IA, es que la gente no sabe preguntar.

    Permalink
  • martin_roadmap

    Lo más fuerte del post no es el experimento, es la frase de "hablar con la IA sobre cosas que no entendés no te enseña, te convence de que tus errores son la verdad". Eso lo veo en reuniones de roadmap: alguien llega con una postura, la valida con el chat y ya viene blindado, no a discutir sino a ganar. Antes el sesgo de confirmación te costaba buscar tres fuentes que te dieran la razón. Ahora te lo entrega una sola, redactado lindo y en segundos.

    Permalink
  • valen_pipelines

    Pregunta honesta sobre la primera parte: lo del "script que se invoca cuando la tarea se identifica correctamente" para lo de contar vocales, ¿tenés algo más que la sensación? Porque eso ya se explica con que metieron tool use para tareas de conteo, no hace falta una capa que detecte que la estás testeando. Me interesa el segundo experimento mucho más que la teoría conspirativa del principio.

    Permalink

Related discussions

  • ¿La IA está volviendo a los mánagers médicamente locos?

    Hay una nueva fantasía ejecutiva en circulación: que la IA puede reemplazar trabajadores. Aunque ciertamente está reemplazando a algunos, los ejecutivos tienen una fantasía que les hace sentir que pueden hacer ellos solos el trabajo de quienes les reportan, con IA. ¡Que saben programar! Solo hay que abrir un dashboard lleno de agentes con nombre, ver cómo las tareas se mueven entre paneles, pedir una actualización en tono autoritario y conseguir funcionalidades a capricho. Se siente como un sueñ

  • ¿Por qué los mánagers quieren que todos los demás usen IA, pero ellos no?

    Lo que empieza a irritarme no es el empujón hacia la IA en sí. Algunas herramientas son genuinamente útiles. Ahora las uso todos los días. Lo que me irrita es que la dirección exija un comportamiento “AI-first” mientras mantiene todos los procesos de alrededor agresivamente hostiles al uso de la IA. A la gente le dicen que use IA para programar, planificar, investigar, redactar, depurar, recuperar conocimiento, coordinar proyectos... Pero después la mitad del conocimiento operativo de la empresa

  • ¿Incentivar a los ingenieros a usar IA probablemente salga mal?

    Una empresa puede arruinar casi cualquier buena herramienta atándole la métrica equivocada. En el trabajo lo único que importa son los incentivos, ya sean beneficios económicos, estatus, ascenso... Los trabajadores trabajamos por incentivos. Tú y yo también. Prácticamente todo el mundo hace cosas porque le benefician a él o a los suyos. Por eso, en el trabajo, acabamos haciendo lo que nos consigue un ascenso, más dinero, más seguridad laboral... No somos los dueños de la empresa, somos un emplea

  • ¿La IA no puede reemplazar los trabajos de oficina por sí sola, pero una persona con IA sí puede reemplazar a varios?

    Mucha gente de oficina se consuela con la pregunta equivocada. No paran de preguntarse si la IA puede hacer todo su trabajo. Ese no es el umbral que va a usar su empresa. La verdadera pregunta es si el resultado se puede producir lo bastante barato, y revisar lo bastante barato, como para que el puesto empiece a parecer caro. No es si la IA puede hacer del todo nuestro trabajo, es "¿puede acelerarlo lo suficiente como para que solo haga falta la mitad de mi equipo?". Porque la respuesta a eso, t

  • Is Citizen the most competent watch brand nobody wants to admit loving?

    Citizen is the most competent watch brand on earth and absolutely nobody wants to admit it because competence is boring. Rolex sells aspiration and fantasy. Omega sells history, even if it's all the same event over and over again. Tudor sells “I’m not like other Rolex owners.” Citizen sells a watch that survives fifteen straight years of abuse inside the glove compartment of a Honda Accord and then asks if you’d like the correct time in Tokyo too as soon as you land.

  • Were the Romans far more progressive than we give them credit for?

    There is a common trend of young men being interested in the Roman empire out of movies and populat history, and imagining it as a militaristic, right wing hyper-masculine empire that was great for men. Spartacus, Rome, Gladiator... to different degree all give a perception of Rome being a sort of warrior-culture, sometimes bogged down by decadence. Gladiator II takes this to a ridiculous extreme. For that particular movie, I recommend reading Brett's, from acoup.blog , critique:

  • Does a 'realistic' Batman inevitably turn into a fascist symbol?

    The premise of every gritty Batman reboot is basically the same: what if we took this seriously and made it realistic? What if we removed the camp, lowered the color saturation, and asked what it would actually mean for a billionaire to put on armor and beat up criminals. Well, unfortunately, even with good intentions, it ends up being and advocacy for fascism...

  • Did Nietzsche make destruction look wiser than it actually is?

    It is easy to sound intelligent by pointing out cracks. It is much harder to give people somewhere better to live. Modern culture keeps confusing demolition with depth, and Nietzsche helped make that confusion look glamorous.