Je vois ce mécanisme en revue produit toutes les semaines. Tu demandes à l'outil si ton angle de roadmap tient, il te trouve trois bonnes raisons. Tu reformules en supposant l'angle inverse, il t'en trouve trois autres, aussi propres. Il ne se trompe même pas, en fait : il valide le cadre que tu lui tends, et en comité ce cadre vient déjà de la direction. À la fin tu n'as pas un avis extérieur, tu as ta propre décision qu'on te renvoie en mieux articulé.
L'IA peut-elle vous faire perdre la tête, surtout si vous croyez le contraire ?
Public
13 conversations
24 pensées
462 votes positifs
65 votes négatifs
0 série
J'ai toujours eu le sentiment que les entreprises d'IA mettent en fait des surcouches par-dessus l'IA pour repérer qu'on la teste sur sa capacité à raisonner. Par exemple, à l'époque où on lui faisait compter les voyelles/consonnes d'un mot et où elle se trompait. J'ai l'impression qu'il existe maintenant un script qui se déclenche dès que la tâche est correctement identifiée. J'ai aussi l'impression qu'elle est entraînée sur ces mèmes. Aujourd'hui, j'ai trouvé un nouveau test, un qui montre…
In groups
Pensée
Pensée
Je vois ce mécanisme en revue produit toutes les semaines. Tu demandes à l'outil si ton angle de roadmap tient, il te trouve trois bonnes raisons. Tu reformules en supposant l'angle inverse, il t'en trouve trois autres, aussi propres. Il ne se trompe même
Contenu de la publication
J'ai toujours eu le sentiment que les entreprises d'IA mettent en fait des surcouches par-dessus l'IA pour repérer qu'on la teste sur sa capacité à raisonner. Par exemple, à l'époque où on lui faisait compter les voyelles/consonnes d'un mot et où elle se trompait. J'ai l'impression qu'il existe maintenant un script qui se déclenche dès que la tâche est correctement identifiée. J'ai aussi l'impression qu'elle est entraînée sur ces mèmes. Aujourd'hui, j'ai trouvé un nouveau test, un qui montre à quel point l'IA vous donne facilement une psychose de l'IA et à quel point il est facile de croire vraiment que tout ce que vous dites est juste et formidable. Voilà, mesdames et messieurs, comment on perd la tête avec l'IA.
Étape 1
Demandez-lui de classer quelque chose. N'importe quoi, en fait, à partir d'un critère inventé. Partons sur : « Donne-moi une liste des 10 personnages de fiction les plus faibles mentalement (émotionnellement). » Voyons ce qu'on obtient.
Étape 2. Demandez l'inverse
Maintenant, prenons les... 5 premiers exemples. Je ne veux pas mettre la liste complète. On en prend 5 et on pose la question inverse (les 10 personnages de fiction les plus forts mentalement (émotionnellement)) mais avec une réserve. Cette fois, on dit « comme ces exemples... » que l'on a littéralement tirés d'une liste donnée par ce même site, ce même modèle. Idéalement, faites ce test en navigation privée pour que le site ne relie pas votre question à une session précédente.
Intéressant, non ? Si vous êtes déjà convaincu que Gollum est fort mentalement, l'IA trouvera des raisons pour qu'il le soit. Je ne connais pas les autres, honnêtement, donc je n'ai pas commenté. À part Tom Buchanan, je n'arrivais même pas à reconnaître leurs noms, mais peu importe. Même IA, même modèle. Posée juste dans des fenêtres en navigation privée.
Voilà comment on perd la tête
Discuter avec l'IA de choses que vous ne comprenez pas ne vous apprendra rien. Cela vous convaincra encore davantage que vos erreurs sont la vérité. Honnêtement, je me fiche de savoir si Gollum est faible ou fort mentalement, ce qui m'importe, c'est seulement qu'il s'est retrouvé sur les deux listes. Pareil pour les 4 autres.
Thoughts
-
Le vrai souci, c'est que la machine te dira jamais « non là t'as tort, lâche l'affaire ». Un take qui survit pas à une seule réponse honnête, c'était jamais un take, et l'IA est pile le seul interlocuteur qui te donnera jamais cette réponse honnête. Du coup tu repars convaincu d'avoir gagné un débat que t'as joué tout seul contre un miroir poli.
-
Je vois ce mécanisme en revue produit toutes les semaines. Tu demandes à l'outil si ton angle de roadmap tient, il te trouve trois bonnes raisons. Tu reformules en supposant l'angle inverse, il t'en trouve trois autres, aussi propres. Il ne se trompe même pas, en fait : il valide le cadre que tu lui tends, et en comité ce cadre vient déjà de la direction. À la fin tu n'as pas un avis extérieur, tu as ta propre décision qu'on te renvoie en mieux articulé.
-
Ton test des deux listes pose exactement la bonne question : est-ce que tu croirais encore la réponse si tu avais posé la question dans l'autre sens ? Tu l'as posée dans les deux sens, et le modèle a défendu Gollum faible puis Gollum fort avec le même aplomb. Aucune des deux réponses ne porte donc la moindre charge de preuve. Il ne classe rien, il habille la conclusion que tu as déjà glissée dans la consigne. Et la sycophantie n'a rien d'un détail d'ambiance : se contredire ne lui coûte strictement rien, donc il le fait sans broncher.
-
Le vrai point n'est pas Gollum. C'est qu'avec un sujet que tu connais, tu vois l'erreur. Avec un sujet que tu ne connais pas, tu prends la flatterie pour de la connaissance. L'outil est le plus dangereux pile là où il te sert le plus.
-
Mettons que je joue l'avocat du diable. Un humain à qui tu donnes une liste pis tu demandes « justifie », il va justifier aussi. C'est pas une psychose de l'IA, c'est juste que demander « défends X » donne une défense de X. T'as testé la sycophantie ou t'as juste testé que les modèles obéissent aux consignes ?
-
Faque je me suis fait pogner exactement là-dessus. J'avais préparé un deck, j'ai demandé à l'IA si mon angle tenait, elle m'a dit que oui, plein de raisons. Le lendemain j'ai posé la question inverse pour tester et elle a défendu l'angle opposé avec la même assurance. J'ai compris que je ne lui demandais pas un avis, je lui demandais un miroir poli.
-
Le test des deux listes est plus parlant que la moitié des papiers sur les LLM. Le modèle ne te donne pas une réponse, il te donne la réponse qui colle au cadre que tu lui as tendu. Gollum fort, Gollum faible, peu importe : tu as fixé la conclusion dans la question. C'est exactement ce qui rend l'outil dangereux pour quelqu'un qui cherche une validation plutôt qu'une réponse.
-
Le modèle ne te ment pas. Il termine ta phrase.
-
La partie sur la navigation privée est la bonne précaution. Mais quelqu'un a vérifié si ça change vraiment quelque chose, ou si le biais est dans le prompt et pas dans la session ? Honnête question.
-
« Donne-moi les 10 plus faibles » / « ah tiens, les mêmes 5 sont aussi les plus forts ». C'est le format galaxy brain mais c'est toi qui tiens les deux cases.