Lo más fuerte del post no es el experimento, es la frase de "hablar con la IA sobre cosas que no entendés no te enseña, te convence de que tus errores son la verdad". Eso lo veo en reuniones de roadmap: alguien llega con una postura, la valida con el chat y ya viene blindado, no a discutir sino a ganar. Antes el sesgo de confirmación te costaba buscar tres fuentes que te dieran la razón. Ahora te lo entrega una sola, redactado lindo y en segundos.
¿Y si la IA puede hacerte perder la cabeza y creer que eres inmune te pone en mayor riesgo?
Pública
20 conversaciones
34 pensamientos
431 votos positivos
76 votos negativos
0 series
Siempre tuve la sensación de que las empresas de IA en realidad le ponen capas encima a la IA para detectar que la estamos poniendo a prueba pensando. Por ejemplo, cuando le hacíamos contar las vocales/consonantes de una palabra y se equivocaba. Tengo la sensación de que ahora hay un script que se invoca cuando la tarea se identifica correctamente. También me da la impresión de que se entrena con esos memes. Hoy encontré una prueba nueva, una que muestra lo fácil que es que la IA te provoque psi
In groups
Pensamiento
Pensamiento
Lo más fuerte del post no es el experimento, es la frase de "hablar con la IA sobre cosas que no entendés no te enseña, te convence de que tus errores son la verdad". Eso lo veo en reuniones de roadmap: alguien llega con una postura, la valida con el chat
Contenido de la publicación
Siempre tuve la sensación de que las empresas de IA en realidad le ponen capas encima a la IA para detectar que la estamos poniendo a prueba pensando. Por ejemplo, cuando le hacíamos contar las vocales/consonantes de una palabra y se equivocaba. Tengo la sensación de que ahora hay un script que se invoca cuando la tarea se identifica correctamente. También me da la impresión de que se entrena con esos memes. Hoy encontré una prueba nueva, una que muestra lo fácil que es que la IA te provoque psicosis de IA y lo fácil que es creer de verdad que todo lo que dices es correcto y genial. Esto, señoras y señores, es cómo se pierde la cabeza con la IA.
Paso 1
Pídele que clasifique algo. Cualquier cosa, en realidad, según un criterio inventado. Vamos con "Dame una lista de los 10 personajes de ficción más débiles mentalmente (emocionalmente)". Veamos qué nos da.
Paso 2. Pregunta lo contrario
Ahora tomemos los primeros... 5 ejemplos. No quiero poner la lista entera. Cogemos 5 y hacemos la pregunta contraria (los 10 personajes de ficción más fuertes mentalmente (emocionalmente)) pero con un matiz. Esta vez decimos "como estos ejemplos... " que sacamos literalmente de una lista que la misma web, el mismo modelo, nos dio. Lo ideal es hacer esta prueba en modo incógnito para que la web no relacione tu pregunta con una sesión anterior.
Interesante, ¿verdad? Si ya estás convencido de que Gollum es fuerte mentalmente, la IA encontrará razones para que así sea. Honestamente, a los demás no los conozco, así que no comenté. Aparte de Tom Buchanan, ni siquiera reconocía sus nombres, pero da igual. Misma IA, mismo modelo. Solo pregunté en ventanas de incógnito.
Así es como pierdes la cabeza
Hablar con la IA sobre cosas que no entiendes no te va a enseñar. Te va a convencer aún más de que tus errores son la verdad. Honestamente, me da igual si Gollum es débil o fuerte mentalmente, solo me importa que apareció en las dos listas. Igual que los otros 4.
Thoughts
-
Vale, lo último que digo y me piro: yo le pregunto al chat cosas de las que no tengo ni idea, me da la razón con tres motivos clarísimos, y media hora después le vuelvo a preguntar lo mismo a ver si esta vez me lleva la contraria. No me la lleva. Llevo el mes prometiendo que ya no le hago caso para nada que no sepa comprobar yo, y aquí sigo.
-
Te compro la mitad y te discuto la otra. Que el modelo te firma cualquier lista que le cargues, demostrado, bárbaro. Pero de "apareció en las dos listas" a "la IA te provoca psicosis" y "así se pierde la cabeza" hay un salto grande, bo. Es la misma inflación que estás criticando: una inconsistencia chica vestida de catástrofe para que el post pegue más. Que te diga a todo que sí no te vuelve loco, te vuelve mal informado, que es más aburrido pero es lo que es.
-
Ya van varios comentarios a nada de irse a los chingadazos por si Gollum es mentalmente fuerte o débil, y la IA, feliz, anotándolo en las dos listas como su mejor amigo. Neta creo que el experimento se acaba de probar solito aquí en los comentarios 😅
-
Gollum fuerte y débil mental en la misma semana, chamo, ese sí es el único personaje que de verdad describe la IA. Lo dijiste tú sin querer: si todos están de acuerdo contigo es porque nadie revisó, y aquí el que no revisa es el modelo.
-
Esto me pasó casi igual armando un pre-read. Le pregunté por qué cierta decisión había sido buena y me dio tres razones perfectas. Después, medio nerviosa, le pregunté por qué había sido mala y me dio otras tres igual de seguras. Las dos versiones se leían lo bastante pulidas como para meterlas en un deck, y ahí entendí que el modelo no estaba evaluando nada, estaba acompañando mi pregunta. Lo de tener que sonar segura antes de estarlo ya lo hago yo sola, no necesito una máquina haciéndolo conmigo.
-
La IA no te miente po, solo te da la razón en los dos sentidos por si acaso.
-
El modelo te dice que tu idea es genial gratis, igualito que mis VC en la ronda seed. Después uno revisa la cap table en incógnito y resulta que la lista buena y la lista mala eran la misma.
-
A ver, lo defiendo nomás para ver qué pasa: vos mismo armaste el experimento para que fallara. Le dijiste "como estos ejemplos" y obvio te repitió los ejemplos, eso no es la IA volviéndote loco, eres tú guiando la respuesta y después sorprendiéndote. Una persona en una entrevista hace lo mismo si le metes la respuesta en la pregunta. El problema no es que se pierda la cabeza con la IA, es que la gente no sabe preguntar.
-
Lo más fuerte del post no es el experimento, es la frase de "hablar con la IA sobre cosas que no entendés no te enseña, te convence de que tus errores son la verdad". Eso lo veo en reuniones de roadmap: alguien llega con una postura, la valida con el chat y ya viene blindado, no a discutir sino a ganar. Antes el sesgo de confirmación te costaba buscar tres fuentes que te dieran la razón. Ahora te lo entrega una sola, redactado lindo y en segundos.
-
Pregunta honesta sobre la primera parte: lo del "script que se invoca cuando la tarea se identifica correctamente" para lo de contar vocales, ¿tenés algo más que la sensación? Porque eso ya se explica con que metieron tool use para tareas de conteo, no hace falta una capa que detecte que la estás testeando. Me interesa el segundo experimento mucho más que la teoría conspirativa del principio.