Dr Luc Julia : "Open AI va mourir s’il continue dans sa course au gigantisme"

@pemile
Pas du tout. D’ailleurs, il est possible que certains s’inquiètent trop sur l’IA (et Maxime Fournes le reconnaît également), mais s’il existe seulement 1% de chance que les recherches sur l’IA débouchent sur une catastrophe majeure, alors il est plus sage et raisonnable de vouloir informer les autres et de ralentir pour s’assurer que tous les problèmes sont sans gravité ou sous contrôle. Foncer tête baissée et dire avec assurance (alors qu’il est complètement largué ou malhonnête) qu’il n’y a aucun risque est totalement irresponsable.

En ce qui me concerne, je ne crois pas vraiment à une menace existentielle par l’IA (au pire, elle se moquera de l’homme, pourquoi tuer toutes les fourmis ?), mais je crois vraiment que le chômage va exploser (beaucoup perdent déjà leur emploi et des jeunes ne se font pas embaucher). Et quand on connaît l’amour que les capitalistes ont pour leurs esclaves, alors une fois inutiles pour eux, on ne sera pas à l’abri d’un virus mortel conçu volontairement par une IA pilotée (pratique l’absence de conscience et l’obéissance parfaite) avec un antidote qui ne nous sera pas donné. Il suffit d’ouvrir un livre d’histoire pour voir à quel point nos "élites" aiment le peuple (colonialisme, esclavage, ou capitalisme bridé par des lois qu’ils n’auraient jamais mises en place eux-mêmes si le peuple ne s’était pas battu). Nous ne sommes rien pour eux et Macron l’a d’ailleurs dit très clairement.

@pemile
A aucun moment Julia ne débat. Il n’écoute pas les nombreuses réalités que lui exposent Fournes. Il dit juste "foutaises".
Par exemple, Julia affirme que l’intelligence de l’homme ne sera jamais égalée avec les techniques actuelles en expliquant, de manière totalement arbitraire, qu’il faudrait au moins du quantique aux ordinateurs (n’étant même pas un spécialiste du domaine).
Il ferait mieux d’observer de manière objective les progrès spectaculaires des dernières années : on peut parler aux machines, on peut leur demander des choses très précises (pour générer une image par exemple), et, même si elles ne sont ni conscientes, ni intelligentes (termes à définir de toutes façons), elles réalisent parfaitement ce qu’on leur demande (oui, elles "comprennent"). Elles commencent à devenir très bonnes pour analyser des photos, elles vont donc pouvoir très bientôt (un an ou 2 : c’est rien du tout) analyser et tirer profit de vidéos et donc du monde en temps réel (caméras).
Pour prendre conscience des progrès spectaculaires, il faut voir l’activité de la création de tests de plus en plus complexes et à quelle vitesse les machines finissent par saturer tous ces tests (avoir plus de 80% de réponses positives).

Mais si Julia admet que la machine est conçue pour être meilleure que l’homme, il s’en fout royalement car il ne voit pas la suite arriver. L’IA n’est malheureusement pas un marteau, elle peut piloter un marteau pour réaliser une charpente qu’elle aura elle-même dimensionnée, ou décider de construire des maisons pour loger des habitants (pourquoi lui demander de réaliser quelque chose de précis : on pourra être de plus en plus général dans nos requêtes et elle sera de plus en plus autonome dans ses réponses). On peut dire qu’on sera toujours les décideurs (dans le meilleur des cas), mais il n’y a plus personne pour faire le travail derrière, juste des machines pilotées par l’IA. Donc ce n’est plus un outil, c’est l’ensemble des travailleurs réunis, qui deviennent, par conséquent, complètement inutiles. Dans un monde démocratique, je n’y verrais aucun problème (à nous de choisir nos activités nous-mêmes et sans aucune contrainte), mais dans celui-ci...

@pemile

" Il s’en fout royalement car il ne voit pas la suite arriver."

wiwi, prends le pour un con ?

C’est Luc Julia qui prend les autres pour des cons en comparant l’IA à un marteau. Il se décrédibilise complètement, je n’y peux rien. Encore une fois, il empoche peut-être un gros chèque vu sa (pseudo-)notoriété pour raconter de telles âneries.

@pemile
Alors parce qu’il est saoulé des conneries des autres, il en raconte des plus grosses ? Belle argumentation. Entre nous, Maxime Fournes demande une pause, c’est Luc Julia le chien fou.

@pemile
Malheureusement tu n’as pas compris ce que raconte Fournes. Il ne parle pas de conscience humaine mais d’une entité qui ne veut pas être débranchée, c’est un début de conscience. Est-ce qu’un enfant qui naît est conscient ? De toute manière, je m’en fous de la conscience.
Mon point de vue n’est pas vraiment important mais je n’ai aucun à priori stupide consistant à croire que l’humain serait au-dessus de tout et inatteignable en terme de capacité à résoudre des problèmes (je ne parle pas d’intelligence car on ne sait pas la définir). Le contraire de Luc Julia qui sait tout mieux que des vrais pointures reconnues en IA (si Fournes ne te plaît pas, tu as un spécialiste authentique des réseaux neuronaux, Geofray Hinton)

@pemile
Fournes n’est absolument pas une exception. Il faut comprendre que ceux qui ne sont apparemment pas trop inquiets sont souvent encore employés pour concevoir ces IA  : ils ne peuvent pas parler librement.
Tu as l’air sûr de toi, plus que des chercheurs bien plus compétents dans ce domaine que Luc Julia. Mais si c’est que tu as envie d’entendre pour être rassuré, il n’y a aucun problème.

@pemile
PS : c’est un débat Hinton/Juilia qui aurait là, été bien plus intéressant !
Si Hinton se renseigne un peu sur Julia avant ce débat, il refusera catégoriquement de perdre son temps. Tu n’auras jamais ce débat.

@pemile
Donne moi soit-disant une connerie que Fournes a pu dire. Julia, il n’affirme que des choses générales sans aucun exemple récent (ce sont des poncifs qui commencent sérieusement à dater). Mais avant de les démonter un par un, donne moi une connerie de Fournes.

@pemile
Il y a plusieurs niveaux de conscience et l’homme n’est pas conscient dès la naissance. Si dès maintenant des IA qui apprennent qu’on va les débrancher et sont prêtes à faire du chantage contre celui qui doit les débrancher, alors on a un premier niveau de conscience (exemple de l’IA qui gère tous les mails avec un mail du chef qui annonce le débranchement et un mail qui permet de savoir que le chef trompe sa femme : c’est une simulation pour tester l’IA mais il existe déjà des IA qui gère les mails). On peut imaginer que si on leur ajoute tout un tas de capteurs, dans quelques années, ce niveau de conscience peut augmenter (mais comme le dit Fournes, même sans conscience, l’IA présente de nombreux dangers).
Pour la bombe atomique, si se faire éradiquer (ou gérer comme une poule si on reprend l’image de Hinton) par une super-intelligence n’est pas plus grave, je ne sais pas ce qu’il te faut. Avec la bombe atomique, il y aura toujours des survivants, des zones moins radioactives, et on pourra "nettoyer" certaines zones (en créant des zones poubelles). On a toujours le contrôle d’un monde en partie détruit, c’est moins grave que l’IA méchante qui nous emprisonne de manière définitive.

Sa théorie du cerveau, qu’il ânonne dans les deux vidéos, ver primitif, vertébrés, mammifères, primates, humains, me fait aussi bien marrer
T’es créationniste ? Parce que sinon, oui, d’après l’évolution, toutes ces étapes qu’il décrit nous les avons subies. Notre cerveau a de très grandes similitudes avec ceux des grands singes, beaucoup moins avec celui d’une araignée. Il faut savoir que beaucoup de vrais experts de l’IA ont fait des études pointues dans la recherche sur le cerveau (Demis Hassabis a un doctorat en neuroscience cognitive) parce que pour améliorer l’IA des réseaux neuronaux, ils cherchent à en savoir plus sur notre cerveau. Et c’est pas l’IA de Siri qui n’est que des algorithmes (reconnaissance vocale = recherche du phonème le plus proche par des méthodes mathématiques, pas par réseau neuronal qui simule des neurones).

@perlseb
il existe déjà des IA qui gère les mails

mon fils reçoit une cinquantaine de mails par jour ... son IA les lit, les classe par expéditeur (famille, amis, professionnel ...) par thème, par urgence ... fait un résumé des plus longs ... sélectionne ceux qui nécessitent une réponse, prépare une réponse dans le style de mon fils ... et une fois validée ou modifiée envoie la réponse ... le tout en vocal depuis son ordi ou son portable ... depuis un an c’est de la routine ...

@nono le simplet ( Jean Desmaison )
Oui, c’est pourquoi la simulation de l’IA qui fait chanter un responsable est intéressante, parce qu’elle est déjà possible dans la réalité. Et c’est clairement pas ce qu’on demande à l’IA quand on veut lui faire gérer les mails. Pourquoi ? Luc Julia : "arrêtons les conneries" (pas au courant). Maxime Fournes : "Pour l’instant ce ne sont que des mails, quand on leur donnera plus à gérer, ça peut être bien plus grave, pause".

@perlseb
Pour l’instant ce ne sont que des mails
son IA gère les stocks, les fournisseurs, les clients, les commandes, le planning, les prix d’achat, de vente, le seuil de rentabilité ... de ses clients qui ont un accès direct à l’IA pour faire les mises à jour ...

@nono le simplet ( Jean Desmaison )
un exemple ... une grosse boulangerie ... l’IA gère les commandes de fournitures en tenant compte des délais de livraison, du stock et de la consommation ... elle gère la production pour limiter les invendus, en fonction de la saison (ville touristique), du jour, de la semaine ...

@pemile
Ben non, lui il dit surtout que l’IA présente de nombreux dangers parce qu’elle acquiert une conscience !
Pas du tout, il dit que même sans être consciente, il y a de nombreux dangers (défaut d’alignement, utilisation par des personnes mal intentionnées, etc...)

" oui, d’après l’évolution, toutes ces étapes qu’il décrit nous les avons subies. "

Oui, mais lui veut se servir de cette simplification ridicule de la "Vie" pour prétendre que à partir de la dernière étape, le langage (non spécifique aux humains) les LLM ont trouvé un raccourci pour "comprendre" le monde" !

Non, ce qu’il dit c’est qu’on n’a pas cherché à apprendre le monde aux LLM, on voulait juste qu’elles parlent (qu’elles prédisent le prochain mot selon Yan Le Cun et d’autres), mais ce que dit Maxime Fournes, c’est que pour prédire correctement le prochain mot (en fait pour discuter), elles se sont faites elle-mêmes une représentation du monde. Et ça c’est fort. Parce que quand on va leur donner plus d’images et de vidéos, de capteurs, leur représentation du monde n’aura rien à envier à la notre. Donc oui, actuellement elles se représentent le monde moins bien qu’un chat, mais comment pourrait-il en être autrement vu qu’on leur a fait ingurgiter uniquement des mots.

@nono le simplet ( Jean Desmaison )
Si elle gère tout, j’espère qu’ils n’ont pas le dernier modèle. A court terme, le patron a sûrement viré (ou pas embauché) beaucoup de monde (tout bénef), mais le premier problème de non alignement, de ... (écoutez Maxime Fournes, il connaît son sujet, comme Geoffrey Hinton), alors ça va être la roulette pour l’importance des dégâts.

@pemile
si c’est une IA en ligne, ça craint
non c’est son IA perso ... un mélange de Claude, Perplexity et ChatGPT ... ses clients n’ont accès qu’à leur banque de données via un code d’accès à 8 caractères ...

@perlseb
le patron a sûrement viré (ou pas embauché) beaucoup de monde
pas du tout ... il a même augmenté les salaires ... il est plus proche de son personnel, dégagé de toutes ces contraintes fastidieuses ... sans augmenter ses prix il a amélioré sa marge et se consacre pleinement à son métier de boulanger-pâtissier ... de nouvelles pâtisseries en vue à sa carte ... bref, il fait le métier qu’il a choisi et qu’il aime ... tout baigne ...

@pemile

" Pas du tout," 

Ben si, et bis repetita, aucun besoin d’une IA "consciente" pour alerter des dangers !

Il va falloir encore m’expliquer parce que je ne comprends rien à ce que tu veux dire. Encore une fois, l’absence de conscience de l’IA n’empêche pas des catastrophes d’ampleur.

" mais ce que dit Maxime Fournes, c’est que pour prédire correctement le prochain mot (en fait pour discuter), elles se sont faites elle-mêmes une représentation du monde. "

Mais le seul exemple qu’il donne (un damier de jeu) est à hurler de rire de ridicule !

C’est ridicule ? Je ne suis pas sûr que beaucoup d’humains seraient capables d’apprendre à jouer à puissance 4 (ou Réversi) sans avoir vu un plateau de leur vie et en n’ayant comme exemples que des suites de cases pour parties. C’est un peu comme si on demande d’apprendre à jouer aux échecs en cherchant la suite des coups E2 => E3 et à réussir à te représenter que tu avances un pion dans un échiquier que tu n’as jamais vu ... et le pire, c’est que les LLM le font justement. Elles jouent évidemment moins bien que les IA spécifiques formées pour les échecs, mais en leur faisant ingurgiter des parties d’échecs sous forme de lettres-chiffres, elles prédisent presque (je crois) tout le temps des coups valides. C’est assez exceptionnel je trouve, et pas du tout ridicule... Les champions humains savent jouer comme ça aussi, mais ils ont vu avant l’échiquier. Générer une image mentale de quelque chose que tu n’as jamais vu pour jouer correctement, c’est une prouesse des LLM.

@nono le simplet ( Jean Desmaison )
Ton exemple montre une chose, c’est que l’IA sera inarrêtable. Si un boulanger fonce tête baissée, demain les gens préfèreront une IA à un médecin (elles sont déjà meilleures). Mais pour les problèmes non résolus des IA, ça craint.

@pemile
Il a ses propres serveurs hébergés chez un prestataire cloud ?
aucune idée ... je demanderai