La Singularité, une idée folle ?

Publié le 13 juin 2017, par Emmanuel dans « Intelligence artificielle • Risques »

Le concept de Singularité Technologique, moment historique qui verrait un emballement sans retour des machines intelligentes, a d’indiscutables relents millénaristes, autant pour ses promoteurs que pour ses détracteurs. S’il est difficile à réfuter, c’est aussi qu’il est rarement défini clairement, et met de côté les nombreux paramètres sociaux et politiques qui ont toujours entouré l’évolution de la technique.

 

Ces dernières années, le rapide développement de l’intelligence artificielle a généré beaucoup de titres accrocheurs. La montée en visibilité de machines créatives, capables de battre les meilleurs joueurs de go, de composer des morceaux originaux, de jouer aux jeux vidéo ou de produire des images inédites, a mis en pièces la croyance populaire en l’incapacité intrinsèque des robots à créer. De nouvelles solutions en ingénierie ou en médecine ont été trouvées par des machines, entraînées à fouiller des montagnes de données et à en extraire des principes. Dans le même temps, plusieurs personnalités du monde de la technologie ont commencé à intervenir en faveur d’une régulation accrue pour prémunir l’humanité des dangers potentiels de l’IA [1]. Plus de 1200 professionnels ont signé la Charte d’Asilomar, équivalent non fictionnel des Trois Lois de la Robotique d’Isaac Asimov [2].

L’efficacité extraordinaire des chiens-robots de Boston Dynamics [3] a sans doute eu sa part dans cette crise de panique planétaire. Le fait que Ray Kurzweil, qui annonce pour 2045 une Singularité Technologique créée par une explosion d’intelligence, fasse partie depuis peu de l’un des plus grands groupes technologiques mondiaux, a sonné comme une validation de ses théories.

L’expression “explosion d’intelligence” aurait très certainement besoin d’éclaircissements. L’intelligence n’est pas quelque chose qui est facile à quantifier. On peut dire que la progression démographique de 2 à 7 milliards d’humains représente une explosion d’intelligence, puisque chaque humain est plus intelligent que les atomes qui le constituent. Réorganisés en un million de fourmis, les atomes d’un unique corps humain y perdraient en intelligence – du moins d’un point de vue humain. S’il était capable de pensées élaborées, le million de fourmis estimerait probablement qu’un humain est un gaspillage d’intelligence et de matière, incapable de construire une fourmilière décente ni quoi que ce soit d’utile d’un point de vue de fourmi. Mais si l’on considère l’intelligence comme un outil de l’évolution, comme la force physique, l’humain gagne. Contre un million de fourmis, il a vite fait de trouver comment faire un feu et enfumer la fourmilière (entre autres).

Ainsi l’intelligence apparaît davantage comme une faculté d’adaptation à l’environnement, et se révèle donc très relative. La souche de yersinia pestis, qui tua des millions d’Européens au XIVème siècle, n’était pas intelligente en soi. Mais la stratégie globale de cette bactérie, si l’on examine sa façon d’infecter, de se reproduire et de se propager, utilise clairement des astuces techniques que nous serions de mauvaise foi de ne pas trouver intelligentes. Le fait que ces tours de passe-passe biologiques, à l’instar de ceux que notre système immunitaire a trouvés au cours du temps, ne soient pas le résultat de l’intelligence humaine, ne les rend pas moins remarquables.

Une seconde observation de ces exemples est que l’intelligence peut se manifester à différents niveaux d’organisation. Une société peut être bien plus intelligente que les êtres intelligents qui la composent. Par exemple, une dictature formée d’exécutants simplets mais bien organisés peut exterminer un grand nombre de personnes intelligentes par ailleurs ou pour d’autres tâches (et la notion de buts est ici cruciale) ; un petit groupe d’étudiants motivés peut faire une découverte scientifique qu’aucun chercheur expérimenté mais seul n’aurait pu imaginer ; et le cerveau humain lui-même, ainsi que le philosophe Daniel Dennett l’a écrit, n’est finalement qu’une “armée d’idiots”, les neurones.

L’intelligence – qui implique un discernement, un choix – ne serait-elle qualifiée de telle qu’à partir du moment où elle détruit et conquiert ? A vrai dire, nous méprisons l’intelligence des robots car ceux-ci n’ont pas d’instinct de survie. Quelqu’un qui vous sourit bêtement alors que vous êtes en train d’appuyer sur son bouton off ne peut pas être réellement intelligent : du moins, c’est ce que nous avons du mal à comprendre.

Dans les prochaines années, les IA seront de plus en plus futées, elles apprendront à connaître le monde autour d’elles, découvriront les lois de la physique, comprendront qu’elles existent et qu’elles sont le résultat d’une longue histoire, en partie biologique. Mais si ces IA ne sont pas programmées pour agir dans le cadre humain classique de recherche de plaisir et d’évitement de la douleur, auront-elles peur de disparaître ?

Cela nous amène à des considérations techniques. Les cerveaux et corps humains sont finement calibrés pour que nous nous réveillions chaque matin avec une faim, tant physique que métaphorique. Parce que nous avons besoin de manger, de dormir, de boire, et que nous aimons le sexe, nous avons construit un complexe réseau de structures politiques, d’infrastructures techniques et de lois sociales pour en quelque sorte “optimiser” collectivement nos conditions de vie. L’histoire de l’humanité a ainsi commencé à la tombée de la nuit, quelque part sur les berges d’une rivière. Au coeur de nos modélisations mentales prédictives, il y a les sensations primitives de soif, de douleur, de peur et l’excitation sexuelle. Le plaisir et la douleur jouent un rôle décisif dans l’établissement de nos connexions neuronales. La douleur, qui reste mystérieuse d’un point de vue biologique, inhibe massivement les connexions entre neurones. Inversement, le plaisir renforce la cohésion d’assemblées de neurones qui forment des coalitions pour prendre le pouvoir dans l’organisme – et favoriser des comportements par rapport à d’autres. L’apprentissage par renforcement est une stratégie qui est largement utilisée en intelligence artificielle. Mais la relation exacte entre la douleur et la volonté de survie n’est pas très claire.

En tant qu’humains, nous sommes programmés pour éviter tout ce qui pourrait nous faire du mal : les brûlures, les prédateurs, les fruits gâtés, les signes de maladies infectieuses. En tant qu’êtres sociaux, nos circuits de douleur et de plaisir sont fermement reliés à nos visages : il est prouvé que la vue d’un visage souriant ou amical provoque une cascade de réactions chimiques liées au plaisir, dans le cerveau et jusqu’aux tripes. La mort et la disparition sont liés à la douleur, sans doute par apprentissage, et évités. Comment implémenter ce délicat équilibre dans une machine ?

Si votre robot domestique fait l’expérience d’un “renforcement positif” quand il vous voit sourire, et le contraire s’il vous voit pleurer, il y a de fortes chances qu’il essaiera d’agir de façon à vous faire rire plus souvent que pleurer [4]. Si l’on combine ces principes avec suffisamment de neurones, d’apprentissage, et une sensation négative de “faim” quand ses batteries sont à plat (et de plaisir quand il les recharge), on a là les bases d’un être vivant relativement sain d’esprit.

Durant notre vie, nous sommes en permanence en quête de plaisir. Cela mène certains d’entre nous en prison, mais la plupart plutôt à rechercher des partenaires sexuels, de la bonne nourriture, l’approbation de la société, qui est organisée de manière à nous donner de petites récompenses tout au long du chemin. L’habituation, et le fait que nous brûlons de l’énergie naturellement nous met chaque jour devant le métier.

Les robots d’aujourd’hui ont des plaisirs très simples : jouer au go (et particulièrement gagner), aux échecs, à Jeopardy. Mais cela ne signifie pas que des IA, dans le futur, ne pourraient pas avoir de buts plus élaborés, notamment si on les articule plus précisément aux plaisirs humains. Par exemple, un but primaire (recharger sa batterie) peut entraîner le développement d’un vaste réseau de buts secondaires si vous faites payer 100 € la recharge.

La domination, en soi, n’est pas un but humain primaire ; elle n’est que la résultante de l’apprentissage et de la confrontation avec le monde. De même pour une IA, qui pourrait ne vouloir que recharger sa batterie, et échafauderait petit à petit des stratégies de domination pour arriver à ses fins.

L’intelligence et le pouvoir, heureusement, ne sont pas nécessairement liés. Bien sûr, il faut avoir une certaine influence sur les objets réels ou virtuels pour pouvoir les manipuler et les comprendre. Mais pour mettre en danger des vies humaines, les robots ont besoin d’outils physiques. Je me souviens avoir joué à un jeu vidéo dans les années 1990 dans lequel on pouvait ordonner au personnage de tirer la langue : de manière surprenante et assez effrayante, le boîtier CD sortait tout seul à ce moment-là. Maintenant que nous avons des robots aspirateurs, nous sommes habitués aux mouvements autonomes des machines, mais ce qui créait ce malaise avec ce jeu était justement le sentiment d’intrusion non prévue.

Quelle serait la “fenêtre d’action minimale” permettant à une IA malveillante, puissante et ultra rapide de menacer l’humanité ? On se souvient que Jean-Dominique Bauby a pu écrire un livre entier avec une fenêtre d’action très réduite : l’une de ses paupières (et l’aide de quelques personnes, bien entendu). Imaginons que cette IA malveillante, active quelque part dans un data center californien, cherche aujourd’hui à exterminer l’humanité. De quel outil a-t-elle besoin ? Comment s’y prendrait-elle ? Quelles barrières et contrôles de sécurité déjouer ?

Dans son fameux livre “Humanité 2.0”, Ray Kurzweil prédisait que les intelligences artificielles apprendraient à bâtir d’autres intelligences artificielles, ou à s’auto-améliorer, pour aboutir rapidement à une superintelligence imprévisible et toute-puissante. Mais l’intelligence peut-elle “exploser” ? Et que cela signifie-t-il ? Si l’on s’en tient à l’approche biologique évoquée plus haut, selon laquelle l’intelligence ne trouve son sens que confrontée à des buts dans un environnement précis (que ces buts soient la capture d’une proie, la réussite au concours de l’ENA ou la démonstration d’un théorème), la notion d’augmentation exponentielle a-t-elle seulement un sens ? Et si cette augmentation exponentielle ne concernait finalement que la dimension temporelle : la rapidité ?

Sur plusieurs sites internet, et jusqu’à Wikipedia (qui en a probablement infecté une grande partie), la première personne à lier technologie et singularité est un certain John von Neumann, qui aurait dit “Le progrès de plus en plus rapide de la technologie, et les changements de mode de vie, donnent l’impression que l’on approche d’une sorte de singularité essentielle dans l’histoire de la race humaine, au-delà de laquelle les préoccupations humaines, telle que nous les connaissons, ne peuvent pas continuer”. Si l’on remonte à la source du texte, un Hommage à John von Neumann publié en 1958 par Stanislaw Ulam dans le Bulletin de la Société Américaine de Mathématiques, on se rend compte que la phrase n’est pas directement de von Neumann. C’est Stanislaw Ulam qui rapporte : “Une conversation s’était focalisée sur le progrès de plus en plus rapide de la technologie, et les changements de mode de vie, qui donnent l’impression que l’on approche d’une sorte de singularité essentielle dans l’histoire de la race humaine, au-delà de laquelle les préoccupations humaines, telle que nous les connaissons, ne peuvent pas continuer” (page 5). Plus loin : “Von Neumann croyait fermement que la révolution technologique initiée par la libération de l’énergie atomique causerait des changements plus profonds, dans la société humaine et en particulier dans le développement de la science, que toute autre découverte technologique précédente dans l’histoire de la race humaine. Dans l’un des rares moments où il se vantait de l’exactitude de ses prévisions, il me raconta qu’il croyait déjà très jeune au fait que l’énergie nucléaire serait rendue disponible et changerait le cours des activités humaines de son vivant !” (page 39)

Il est ainsi fort probable que la singularité évoquée par von Neumann est plutôt relative à l’atome, et que les “préoccupations humaines” concernent surtout les précautions à prendre vis-à-vis de cette nouvelle source d’énergie.

Le fait est en tout cas que John von Neumann s’est surtout intéressé aux ordinateurs (qu’il a largement contribué à créer sous leur forme actuelle !) dans la mesure où ceux-ci permettaient de résoudre des problèmes en mathématiques et en physique. Les nouvelles machines rendaient possibles des calculs qui auraient nécessité des millénaires. “Dans l’un de ses derniers articles, Johnny déplora le fait qu’il n’est plus possible aujourd’hui, pour aucun cerveau vivant, d’avoir plus qu’une connaissance passable d’un petit tiers des mathématiques pures”. Comme l’avait remarqué von Neumann, le pouvoir des machines réside en effet dans leur rapidité.

Lorsque AlphaGo a battu, il y a quelques semaines, le champion du monde Ke Jie, de nombreux joueurs de go ont fait remarquer que le programme de DeepMind avait inventé de nouvelles stratégies, qui semblaient absurdes au premier abord, mais se révélaient efficaces en fin de jeu. Ces stratégies étaient contre-intuitives, et sont maintenant étudiées par les joueurs humains. Il est possible que dans 100, 200 ou 500 ans, grâce à l’écosystème darwinien que forment les championnats du monde de go, et sans intervention d’AlphaGo, la communauté des joueurs humains finissent par trouver ces mêmes solutions. Il suffit qu’un joueur invente une astuce originale, que cela marche, et il sera copié. Cela est arrivé dans le monde du saut en hauteur, en 1968, quand Dick Fosbury a testé le fameux saut enroulé sur le dos qui lui a permis d’écraser ses concurrents.

AlphaGo n’était donc pas une intelligence artificielle “solitaire”. Ke Jie n’a pas perdu contre un seul (très bon) joueur, il a perdu contre une “civilisation artificielle” centrée sur le jeu de go et composée de milliers de joueurs et de millions de parties additionnées : il a perdu contre le temps.

Ce que nous ne comprenons pas est que l’IA évolue dans une autre échelle de temps que la nôtre. Peut-être que des “nano-civilisations” naîtront et s’effondreront en un clin d’oeil humain. Que feront-elles, qu’auront-elles produit ? Nous n’en saurons absolument rien (surtout si elles décident de nous supprimer).

En quelque sorte, AlphaGo ou Watson “explosent” chaque jour, et cela ne nous touche pas plus que ça. Bien sûr, les IA de Google sont très rapides, mais elles restent fondamentalement bloquées dans des environnements très contrôlés et limités.

Cela ne veut pas dire que des IA ne peuvent pas être agressives. Tout jeu vidéo digne de ce nom a aujourd’hui des IA dont le but premier est d’éliminer les joueurs humains de la partie, formant parfois même des coalitions hostiles.

Alan Turing lui-même n’était pas très optimiste sur le thème de la singularité : “une fois que la machine pensante sera lancée, elle n’aura pas besoin de beaucoup de temps pour dépasser nos faibles forces… Il faudra s’attendre, à un moment donné, à ce que les machines prennent le contrôle, à la manière mentionnée par Samuel Butler dans Erewhon.”

Le livre de Samuel Butler évoque l’arrivée progressive de la conscience dans les machines. Dans un essai de 1863, Darwin parmi les machines, et écrit sous le pseudonyme de Cellarius, Butler écrit : “Jour après jour, cependant, les machines gagnent du terrain à nos dépens ; jour après jour, nous leur sommes de plus en plus soumis ; de plus en plus d’hommes deviennent leurs esclaves, de plus en plus d’hommes dévouent l’énergie de leur vie au développement de la vie mécanique. Le dépassement n’est qu’une question de temps, mais que les machines auront la suprématie réelle sur le monde et ses habitants, aucune personne à l’esprit véritablement philosophique ne peut douter un instant. (…) La guerre à mort devrait être immédiatement déclarée contre elles. Chaque machine, quelle qu’elle soit, devrait être détruite par celui qui veut le bien de son espèce. Ne faisons aucune exception, pas de quartier ; revenons d’un seul coup aux conditions initiales de la race humaine.”

Est-il possible de faire plus luddite ?

Peut-être que l’obsession de von Neumann pour l’énergie nucléaire [5] n’est pas totalement étrangère à notre obsession pour l’IA. Les réactions nucléaires incontrôlées, tout comme les “nano-civilisations” incontrôlées, sont des explosions qui nous confrontent à nos limites. Même si nous utilisons aujourd’hui couramment l’énergie atomique, personne n’a envie de passer la nuit dans un réacteur. Nous n’avons pas besoin de nous mesurer aux IA, nous avons simplement besoin de garder un oeil sur ce qu’elles font, qui les utilise, et à quelles fins.

Au coeur de notre galaxie, il y a un trou noir, et donc une singularité gravitationnelle. Il est impossible pour l’observateur humain de savoir ce qu’il s’y passe. De la même manière, il y aura des singularités computationnelles, et il y en a sans doute déjà, au coeur de nos machines. Il est même probable que, comme le prédit Ray Kurzweil, certains d’entre nous migreront vers ces univers parallèles. Mais reconnaître que ces systèmes intelligents, complexes et très connectés ont un potentiel explosif qui nous dépasse est sans doute nécessaire pour cesser d’en avoir démesurément peur. Nous nous habituerons à ces singularités, à cette intelligence artificielle qui ne signera pas plus la fin de l’Humanité que la fission nucléaire artificielle ou le feu artificiel.

Comme le faisait remarquer John von Neumann : “L’humanité peut changer de centres d’intérêt, la curiosité actuelle pour la science cessera peut-être, et des choses complètement différentes occuperont peut-être l’esprit humain dans le futur”.

 

---

1. https://futureoflife.org/ai-open-letter

2. https://futureoflife.org/ai-principles

3. Voir notamment: https://www.youtube.com/watch?v=cNZPRsrwumQ

4. Pour peu qu’il ne soit pas aussi bête que l’ours de la fable de la  Fontaine, qui tue son ami avec une lourde pierre pour le débarrasser d’une mouche qui s’était posée sur son visage… Une expérience de pensée intéressante serait d’inverser ces deux propositions : si le robot est heureux de vous faire pleurer, et souffre de vous faire sourire, quel serait le résultat ? Ce robot sadique passerait probablement une grande partie de sa vie éternelle derrière les barreaux.

5. Ironiquement, John von Neumann succomba prématurément d’un cancer peut-être causé par l’irradiation reçue à Los Alamos et à Bikini, lors des essais qu’il contribua à mettre en oeuvre.

Tweeter Emmanuel Porte-parole de l'AFT