La chose la plus vraie concernant l’intelligence naturelle c’est qu’on ne comprend pas grand chose. On pourrait dire qu’un bébé ne nait pas avec un réseau de neurones vides (comme une machine avant son apprentissage) mais plutôt avec un réseau neuronal déjà précablé qui lui donne une efficacité redoutable pour apprendre des choses vitales à la survie. Et que ce précablage serait issu de notre évolution inter-espèce (pas uniquement celle de l’homme).

Mais même si c’était le cas, cela ne nous donnera jamais le précablage d’un cerveau de nourrisson (à supposer qu’on cherche à le modéliser tel quel par une simulation la plus exacte possible) et ça ne serait même pas souhaitable. Comme le disait Yann Le Cun, un avion n’imite pas exactement un oiseau pour voler (les ailes ne bougent pas). Une machine ne vit pas et n’a pas besoin des mêmes aptitudes pour nous servir. Donc il serait idiot de les "précabler" à notre manière ce qui les limiteraient.

Configurer les milliards (bien plus déjà) de neurones artificiels (très simplifiés par rapport aux naturels) est une tâche que nous ne maitrisons pas du tout, sans compter que la taille des machines augmente plus vite que notre capacité à les configurer efficacement... Donc on ne peut pas s’attendre à ce que les réseaux neuronaux artificiels d’aujourd’hui soient efficaces et fassent autre chose que donner des résultats statistiques sur des ensembles de données gigantesques qu’on leur fait ingurgiter. Le gros problème de l’IA, c’est qu’on ne comprend plus rien à leurs réponses, qu’elles soient farfelues ou géniales. Ce sont des boites noires, comme notre cerveau. Une réseau neuronal "mal formé" ne se répare pas, il se réinitialise pour subir un autre apprentissage intégral.

Mais si les IA progressent et que toutes les réponses que l’on peut comprendre sont justes (parce que ça sera très facile pour elle), cela ne voudra nullement dire qu’elles ne se trompent pas complètement sur des choses que nous ne comprendront plus du tout. En gros, ça va être compliqué de faire la différence entre notre bêtise et une machine vraiment géniale... Et j’entends déjà le chef qui ordonnera de synthétiser la molécule qui pourra nous donner l’immortalité, mais que, manque de bol, la machine s’étant lamentablement planté, cette molécule sera en fait un virus ultra-contagieux et létal...