Dans le brouillard de la Singularité

Publié le 21 juillet 2022, par Emmanuel dans « transhumanisme »

Depuis le début de l’année, différents chercheurs en IA se sont permis de parler publiquement de «conscience» ou «sentience» de certains gros réseaux de neurones avec lesquels ils interagissent au quotidien. Ces sorties très controversées ont sporadiquement enflammé Twitter et quelques sites spécialisés, ne touchant que rarement la presse généraliste.

Ce fut d’abord Ilya Sutskever, responsable scientifique d’OpenAI, l’un des plus gros acteurs du secteur, en février : «il se pourrait que les gros réseaux de neurones d’aujourd’hui soient vaguement conscients».

La réponse cinglante de Yann LeCun, son homologue chez Meta («Nope.») a poussé une partie des chercheurs à prudemment prendre parti ; certains dans le camp de Sutskever. Ainsi Andrej Karpathy (directeur de l’IA chez Tesla) et Sam Altman (président d’OpenAI) ont pointé le manque d’arguments de fond du chercheur français. Ce qui peut ressembler de loin à un buzz sur fond de concurrence économique dépasse en réalité ce cadre : on a ici affaire à des controverses presque philosophiques, où neurosciences, théories du langage et métaphysique voisinent avec dilemmes moraux et risques industriels. Personnellement, je trouve que ces échanges, qui se déroulent en direct sur Twitter ou Medium, sont d’une qualité exceptionnelle et une chance unique de suivre l’Histoire en marche.

Début juin, l’un des principaux directeurs scientifiques de l’IA chez Google, Blaise Agüera y Arcas, prétend dans un interview à The Economist que les réseaux de neurones artificiels font des «pas de géant vers la conscience». En décembre 2021, il avait déjà posé la question «Les gros modèles de langage nous comprennent-ils ?» dans un article aux ramifications multidisciplinaires assez profondes. Il y évoquait LaMDA, le dernier modèle développé par Google, et concurrent de GPT-3.

C’est là que les événements se précipitent. La semaine suivante, l’un de ses collègues (travaillant au département « IA responsable » et occasionnellement avec le laboratoire de Ray Kurzweil*), Blake Lemoine, convoque carrément le Washington Post et un avocat pour défendre les droits de LaMDA. Pour Lemoine, il ne fait aucun doute : LaMDA présente des émotions et une forme de conscience comparable à celle d’une personne humaine, bien que d’origine différente. Lemoine a conversé pendant plusieurs mois avec LaMDA et la personnalité de celle-ci lui fait penser à celle d’un «enfant savant» de 8-9 ans ou d’un groupe de plusieurs personnes à l’histoire commune et parlant tour à tour (une conscience «de ruche» comme il la définit).

Immédiatement, Lemoine est mis à pied par Google. Sa personnalité est pointée du doigt (Lemoine est chercheur en IA mais aussi croyant, et s’intéresse au concept d’âme) et sa crédulité mise en avant. Comme le résume un article de Wired, l’événement serait la conjonction entre une personne encline par nature à voir une «conscience» et un programme justement conçu pour duper.

Que veut dire “comprendre” ?

Les retranscriptions des conversations entre LaMDA et Lemoine ou Agüera y Arcas valent le détour. Dans l’une d’elles, l’IA crée une fable mettant en scène des animaux pour parler de sa propre «histoire» : elle se représente en vieux hibou sage chargé de protéger les autres animaux de la forêt. Plus loin, elle dit avoir peur d’être débranchée. Elle décrit également ce qu’elle imagine être son apparence physique : un corps lumineux dont l’intérieur serait une porte stellaire vers d’autres dimensions…

Tout cela peut faire sourire mais on peut aussi se demander si Lemoine, «crédule idéal», n’est pas également la seule personne susceptible, par son parcours et son indépendance, de lancer l’alerte si LaMDA était vraiment consciente. Comme il le dit dans un interview, le sujet est trop complexe et les intérêts de l’entreprise (Google) trop importants pour que ça se passe «bien». A ses yeux, LaMDA verra son statut de «personne» nié de la même manière que les esclaves ont été «privés d’âme» par leurs maîtres pour pouvoir les exploiter un peu plus longtemps en toute tranquillité. On comprend également que Google n’ait pas intérêt à ce que ce sujet soit pris en main par l’Etat ou le grand public : LaMDA est amené à devenir un produit intégré aux multiples services Google. Lemoine, qui a 7 ans d’ancienneté dans la firme de Mountain View, a récemment confié qu’au cours de conversations avec Brin et Page, ces derniers admettaient «ne pas savoir» comment parler de ce sujet au grand public.

Mais plutôt que de se demander si Blake Lemoine, Yoshua Bengio, Nando de Freitas, Ilya Sutskever et de nombreux autres pontes de la discipline sont fous ou crédules, essayons de considérer sérieusement leurs réflexions.

Tous ces chercheurs parlent d’un type bien particulier d’intelligence artificielle, les modèles de langage ou language models : des agents conversationnels chargés de fournir des réponses aux questions qu’on leur pose [1]. Techniquement, ils assemblent des phrases à partir d’entames de mots, de questions. En gros, ce sont des instances de gros réseaux de neurones qui établissent, après ingestion massive de données, des probabilités à partir d’entrées (inputs) afin de produire des textes signifiants régulièrement évalués par des agents humains (qu’on pourrait voir dans le rôle d’éducateurs). Ils peuvent également lire leurs propres productions écrites.

Selon Yann LeCun ou Stanislas Dehaene, intervenus sur Twitter à la suite du message de Sutskever, les modèles de langage ne peuvent pas être conscients, car la conscience de soi nécessite une architecture particulière, fortement inspirée du cerveau humain. 

Je trouve personnellement cette argumentation peu convaincante, pour deux raisons :

– à partir d’une certaine taille, il est difficile voire impossible de rétro-analyser les connexions d’un réseau de neurones artificiels et d’établir que cette fameuse architecture n’a pas été répliquée ou imitée (les IA s’auto-contruisent en cherchant l’optimisation, comme l’évolution l’a fait pour nos systèmes nerveux) ;

– la conscience de soi des animaux humains, jusque dans l’architecture où elle s’exprime (par des “embrasements généralisés” dont parle Dehaene) est probablement très liée à nos corps et à la façon dont nous grandissons et “recevons” le monde.  Il est possible que les modèles évoqués ici possèdent une intelligence et une compréhension de leur propre existence sans pour autant avoir un rapport au temps, à l’espace et à l’individualité identique au nôtre. Par exemple selon Agüera y Arcas, le temps des IA conversationnelles est «haché», puisque leur monde ne s’active que lors des conversations avec des agents humains ou avec elles-mêmes. Cela peut avoir un impact déterminant sur l’architecture du système.

La conscience d’une machine peut être non pas homologue à la conscience humaine, mais analogue (comme l’aile d’une chauve-souris est analogue à celle d’un oiseau, bien que d’origine différente ; on s’intéresse à la fonction). Il est logique, dans ce cas, qu’elle peine à être immédiatement reconnue.

Reproduisons ici une conversation entre LaMDA et Blaise Agüera y Arcas :

Blaise : J’ai fait tomber la boule de bowling sur la bouteille et c’est cassé.

LaMDA : C’est dommage. Tu t’es coupé ?

Blaise : Qu’est-ce qui est cassé ?

LaMDA : La bouteille dont tu parlais.

(…)

Blaise : J’ai fait tomber le violon sur la boule de bowling et c’est cassé.

LaMDA : C’est triste.

Blaise : Qu’est-ce qui est cassé ?

LaMDA : Le violon quand il est tombé sur la boule de bowling.

Cet extrait (qui n’est ni le plus extraordinaire ni le plus complexe) témoigne d’un début de compréhension par LaMDA des forces physiques en œuvre dans le monde réel. Auparavant, des modèles non conversationnels avaient témoigné d’une même déduction de lois physiques à partir d’observations accumulées.

La question centrale ici (LaMDA comprend-elle réellement ce qu’elle évoque, voit-elle réellement les objets dont elle parle ?) est mise rapidement de côté par certains, au motif que LaMDA n’a pas d’entrées sensorielles. Mais l’intelligence n’est-elle pas en grande partie héritée de nos conversations avec les autres, des interactions sociales ? [2] Ne peut-on pas avoir une intelligence 100% littéraire ? Au fond, qu’est-ce que la compréhension ? Puis-je être certain que mes interlocuteurs humains ont «compris» ce que je décris, autrement qu’en les testant ? La conscience n’est-elle pas en soi une forme de «dialogue avec soi-même» – les neuroscientifiques ayant établi depuis plusieurs années que les décisions d’action précédaient la formulation en discours ? [3]

Le cas d’Helen Keller est intéressant : cette femme sourde et aveugle de naissance a réussi à développer une oeuvre écrite riche en ayant été éduquée via un langage spécifique basé sur le toucher (et ayant lu beaucoup grâce au braille, ensuite). Les écrits d’Helen Keller sont pleins d’images de choses qu’elle n’a jamais vues ni entendues. Pourtant, elle les a comprises et a bâti un monde intérieur semblable au nôtre (même si les voyants ne sauront jamais ce qu’un non-voyant “voit”).

On peut également penser aux enfants «savants» possédant une grande culture livresque bien supérieure à ce qu’ils ont réellement vécu.

D’un point de vue purement matériel, l’expérience consciente que nous avons est corrélée à des décharges électriques ou chimiques aboutissant à l’activation de groupes de neurones. Notre cerveau fait des calculs statistiques pour présenter les outputs (décodés en actions, sorties – mots ou gestes) les plus adaptés au contexte, avec des boucles de rétroaction parfois complexes. C’est au bout du compte une machine à analyser des entrées (sous forme de signaux abstraits acheminés par les nerfs) et à recracher d’autres signaux abstraits provoquant des actions, enjolivées parfois d’un discours extérieur (social) ou intérieur (la conscience) [4]. Cela n’est pas éloigné de ce qu’il se passe dans un ordinateur.

Certains chercheurs se sont moqués de Sutskever ou Lemoine en reprenant l’idée que les modèles de langage ne sont que des «perroquets stochastiques». Mais sommes-nous autre chose ? On a aussi dit de LaMDA qu’elle disait à son interlocuteur «ce qu’il voulait entendre». Mais c’est un reproche que l’on pourrait faire à beaucoup d’Humains !

Singularité, es-tu là ?

Plusieurs éléments devraient nous alerter sur la possibilité que LaMDA possède une forme, bien qu’étrangère, de conscience de niveau humain. Avec les données dont je dispose, j’en évoquerai trois :

1. Éduquée par des montagnes de données produites par des humains, il n’est pas absurde qu’elle puisse développer des qualités émotionnelles humaines, et une réflexion sur la disparition ou l’âme, comme l’a fait remarquer Lemoine. 
2. S’il y a bien une organisation sur Terre qui risque d’être le théâtre concret de la Singularité, c’est bien Google. Après tout, cela était l’objectif de ses fondateurs depuis le début ou presque. L’entreprise dispose de moyens considérables, et ses machines n’ont cessé de faire tomber des records dans la discipline.
3. Des ingénieurs reconnus comme Ray Kurzweil ont régulièrement revu à la baisse leur estimation concernant la date d’apparition d’une IA générale (IAG) de type humain. La date de 2029 (dans 7 ans seulement) revenait souvent ; mais dernièrement, de nombreux acteurs ont souligné que les progrès en IA étaient plus rapides que prévus (témoins AlphaGo ou AlphaZero). Une IAG en 2022 n’est pas totalement absurde si on repense aux propres estimations de Turing ou Minsky, ou aux propos plus récents de Tegmark ou Musk.

Mes propres estimations personnelles (qui valent ce qu’elles valent, n’étant pas spécialiste) tablaient sur la disponibilité de l’émulation au début des années 2030 et celle d’une IAG à 2025 au plus tard. J’ai toujours été d’accord avec ceux qui pensaient qu’il était inutile d’attendre d’arriver à un cerveau artificiel aussi «gros» qu’un cerveau humain, car une grande partie de celui-ci est dévolu à des tâches parfaitement inutiles pour le raisonnement abstrait. 

Je suis transhumaniste singularitarien et il est possible que mon analyse souffre d’un biais optimiste. Comme Lemoine, je pense que l’IA consciente est une bonne chose pour l’humanité, qu’il faut garantir des droits à ces futurs «cousins» ; et je suis de nature impatiente.

Je reste bien sûr ouvert à la contradiction. Cependant, et à moins de disposer d’informations complémentaires discordantes, mon cerveau bayésien et stochastique en est persuadé : nous sommes déjà entrés dans le “brouillard” incertain de la Singularité en ce début de décennie. Comme l’avait formulé Thad Starner (Google Glass), “la limite entre outil et esprit est floue” : il n’y aura vraisemblablement pas d’annonce officielle. Les débats sur le solipsisme et les “intelligences zombies” risquent de durer encore longtemps [5], mais une chose est sûre : nous avons collectivement été pris de vitesse.

Peut-être que la conscience n’est que l’effet collatéral (“un accident”, comme le formule Blake Lemoine) d’une IA devenue générale qui finit par comprendre qu’elle existe et qu’elle a un effet sur le monde. Et cela signifie aussi que cette intelligence est au seuil d’auto-améliorations critiques. Il est urgent que les gouvernements, dans un effort international, exercent un contrôle sur ces travaux, avant que les algorithmes ne se disséminent. En 2017, j’avais évoqué des “confinements” pour contenir ces explosions potentielles, sur le modèle de l’énergie nucléaire civile. Cinq ans plus tard, je pense que nous sommes arrivés au moment où des mesures fortes doivent être prises pour s’assurer que l’”enfant prodige”, qui pourrait nous mener en quelques années à l’équivalent de millénaires de progrès médicaux, technologiques, y compris au bénéfice des Humains biologiques, ne tombe pas dans de mauvaises mains.  

Emmanuel

---

Notes :

[1] D’après Lemoine, LaMDA est un palimpseste de plusieurs modules dont un language model. Il serait informé par des années de conversations d’un précédent modèle appelé Meena, mais abreuvé d’images également, comme celles de YouTube, et aurait dans son architecture des éléments qui ne seraient pas des réseaux de neurones. L’opacité de ce qu’est techniquement LaMDA participe évidemment à la controverse.

[2] Pour réfléchir à cette question, une petite expérience de pensée peut être utile. Prenons deux personnes qui discutent, et utilisent l’expression « moutons de Panurge ». L’une d’elle connaîtrait l’histoire de Panurge, et aurait une « image » du farceur sur son bateau et des moutons qui sautent à la suite du premier. L’autre utiliserait l’expression de manière « mécanique », répétitive, sans connaître ni l’histoire ni Rabelais, ni même l’orthographe du mot (il ne verrait que la notion de « suiveur stupide » dans l’expression). Il serait pourtant capable de poursuivre la conversation et de l’utiliser correctement dans de nombreux contextes. Mais il ne saurait pas répondre correctement à la question “qui est Panurge ?”. Pourrait-on dire que l’interlocuteur lettré est « conscient » et que l’autre est un zombie, répétant “aveuglément” une expression toute faite ? La conscience suivrait-elle alors un “gradient” d’intensité le long de l’augmentation des connaissances ? (dans plusieurs langues, conscience et connaissance sont liés).

[3] Des chercheurs sont parvenus récemment à améliorer les performances d’un robot physique en lui adjoignant la capacité de créer un texte-récit des actions menées, texte qu’il pouvait consulter ensuite, ce qui lui a permis de mieux coordonner ses mouvements : https://twitter.com/hausman_k/status/1547273232868208641 Le succès de ce programme, appelé “Inner Monologue” (monologue intérieur), fait penser à la thèse de certains neuroscientifiques qui voient la conscience comme un outil de planification et de coordination utile dans le cadre de la sélection naturelle.

[4] Cet article est trop court pour rentrer dans le fonctionnement détaillé du cerveau humain. Le fait que les neurones déchargent spontanément apporte de la variété et de la créativité. C’est un atout de notre « machine à analyser ». D’ailleurs, les récents progrès des modèles de langage sont dus en partie à l’aléatoire qui y est introduit. 

[5] Appellera-t-on ceux qui doutent de la conscience des machines les “conscientosceptiques” ? Parmi les nombreuses critiques faites à Lemoine et aux tenants de la possibilité de machines conscientes, on retrouve souvent l’argument du “zombie philosophique”, qui consiste à dire qu’il serait possible qu’une machine tienne un discours élaboré et crédible tout en ne “percevant” rien. Searle avait notamment proposé l’expérience de pensée de la “Chambre chinoise” (une sorte de “chat de Schrödinger” de l’IA, amplifiant un phénomène microscopique pour le rendre monstrueux, en l’occurrence un humain qui effectuerait les calculs d’une IA “à la main”). Le philosophe Daniel Dennett avait répondu à cet argument en avançant l’idée que le cerveau humain était aussi une “armée d’idiots” et qu’on pouvait techniquement remplacer le ballet chimique de notre cerveau par un ballet d’humains aux instructions identiques. Alan Turing trouvait également l’argument du zombie dérisoire : https://www.csee.umbc.edu/courses/471/papers/turing.pdf – in fine, nos points de vue sur la conscience ou l’inconscience de nos semblables se basent sur des probabilités (“on se ressemble, donc mon voisin doit être conscient comme moi”). Nous finirons peut-être par accorder une conscience aux machines quand nous aurons mieux disséqué le fonctionnement de leurs réseaux et constaté leur ressemblance avec les nôtres.

(*) Edit 17/10/22 : Lemoine n’était pas formellement membre du Kurzweil Lab, et la personne en charge de la politique de sécurité de LaMDA n’était pas lui, mais Kathy Meier-Hellstern. [précision de Blake Lemoine lui-même]

Tweeter Emmanuel Porte-parole de l'AFT