perlseb

@nono le simplet ( Jean Desmaison )
Ton exemple montre une chose, c’est que l’IA sera inarrêtable. Si un boulanger fonce tête baissée, demain les gens préfèreront une IA à un médecin (elles sont déjà meilleures). Mais pour les problèmes non résolus des IA, ça craint.

@pemile

" Pas du tout," 

Ben si, et bis repetita, aucun besoin d’une IA "consciente" pour alerter des dangers !

Il va falloir encore m’expliquer parce que je ne comprends rien à ce que tu veux dire. Encore une fois, l’absence de conscience de l’IA n’empêche pas des catastrophes d’ampleur.

" mais ce que dit Maxime Fournes, c’est que pour prédire correctement le prochain mot (en fait pour discuter), elles se sont faites elle-mêmes une représentation du monde. "

Mais le seul exemple qu’il donne (un damier de jeu) est à hurler de rire de ridicule !

C’est ridicule ? Je ne suis pas sûr que beaucoup d’humains seraient capables d’apprendre à jouer à puissance 4 (ou Réversi) sans avoir vu un plateau de leur vie et en n’ayant comme exemples que des suites de cases pour parties. C’est un peu comme si on demande d’apprendre à jouer aux échecs en cherchant la suite des coups E2 => E3 et à réussir à te représenter que tu avances un pion dans un échiquier que tu n’as jamais vu ... et le pire, c’est que les LLM le font justement. Elles jouent évidemment moins bien que les IA spécifiques formées pour les échecs, mais en leur faisant ingurgiter des parties d’échecs sous forme de lettres-chiffres, elles prédisent presque (je crois) tout le temps des coups valides. C’est assez exceptionnel je trouve, et pas du tout ridicule... Les champions humains savent jouer comme ça aussi, mais ils ont vu avant l’échiquier. Générer une image mentale de quelque chose que tu n’as jamais vu pour jouer correctement, c’est une prouesse des LLM.

@nono le simplet ( Jean Desmaison )
Si elle gère tout, j’espère qu’ils n’ont pas le dernier modèle. A court terme, le patron a sûrement viré (ou pas embauché) beaucoup de monde (tout bénef), mais le premier problème de non alignement, de ... (écoutez Maxime Fournes, il connaît son sujet, comme Geoffrey Hinton), alors ça va être la roulette pour l’importance des dégâts.

@pemile
Ben non, lui il dit surtout que l’IA présente de nombreux dangers parce qu’elle acquiert une conscience !
Pas du tout, il dit que même sans être consciente, il y a de nombreux dangers (défaut d’alignement, utilisation par des personnes mal intentionnées, etc...)

" oui, d’après l’évolution, toutes ces étapes qu’il décrit nous les avons subies. "

Oui, mais lui veut se servir de cette simplification ridicule de la "Vie" pour prétendre que à partir de la dernière étape, le langage (non spécifique aux humains) les LLM ont trouvé un raccourci pour "comprendre" le monde" !

Non, ce qu’il dit c’est qu’on n’a pas cherché à apprendre le monde aux LLM, on voulait juste qu’elles parlent (qu’elles prédisent le prochain mot selon Yan Le Cun et d’autres), mais ce que dit Maxime Fournes, c’est que pour prédire correctement le prochain mot (en fait pour discuter), elles se sont faites elle-mêmes une représentation du monde. Et ça c’est fort. Parce que quand on va leur donner plus d’images et de vidéos, de capteurs, leur représentation du monde n’aura rien à envier à la notre. Donc oui, actuellement elles se représentent le monde moins bien qu’un chat, mais comment pourrait-il en être autrement vu qu’on leur a fait ingurgiter uniquement des mots.

@nono le simplet ( Jean Desmaison )
Oui, c’est pourquoi la simulation de l’IA qui fait chanter un responsable est intéressante, parce qu’elle est déjà possible dans la réalité. Et c’est clairement pas ce qu’on demande à l’IA quand on veut lui faire gérer les mails. Pourquoi ? Luc Julia : "arrêtons les conneries" (pas au courant). Maxime Fournes : "Pour l’instant ce ne sont que des mails, quand on leur donnera plus à gérer, ça peut être bien plus grave, pause".