Accueil > transhumanisme > Notes de lecture : Singularity Rising

Notes de lecture : Singularity Rising

Depuis The Singularity is Near publié par Ray Kurzweil en 2005, le principe de la singularité technologique s’est popularisé. La Singularité, c’est cet instant de l’histoire où l’accélération technologique devient si rapide que tous nos modèles prédictifs actuels deviennent caduques …

Publié le 20 septembre 2013, par | Suivez-nous sur les réseaux sociaux :

 

Singularity Rising: Surviving and Thriving in a Smarter, Richer, and More Dangerous World

James D. Miller

 

La Singularité considérée comme admise

Depuis The Singularity is Near [1] publié par Ray Kurzweil en 2005, le principe de la singularité technologique s’est popularisé. La Singularité, c’est cet instant de l’histoire où l’accélération technologique devient si rapide que tous nos modèles prédictifs actuels deviennent caduques.

James D. Miller est professeur d’économie associé au Smith College et auteur de nombreux articles académique, et chercheur associé au MIRI, think tank centré sur l’intelligence artificielle. Il s’attaque ici au volet économique de la singularité technologique. Le livre de Kurzweil en point de mire, mais pas seulement, il affirme dès le départ tenter de conceptualiser les conséquences économiques de la révolution NBIC [2]. Ainsi, part-il du postulat que la Singularité aura bien lieu et que l’ouvrage n’a pas pour vocation de débattre de la crédibilité ou de la probabilité d’occurrence d’un tel évènement. Nous ne sommes donc plus dans la phase initiale visant à poser le principe de singularité technologique, mais dans une démarche plus approfondie travaillant sur les impacts d’une telle rupture historique sur l’économie en tant que système d’échange et de production de richesse.

Pas une, mais des singularités technologiques

D’emblée, l’un des principaux atouts du livre se fait jour : voulant présenter la Singularité à son lecteur, Miller décrit plusieurs scénarios de singularités possibles. Et dans cet exercice, les exemples illustrant sont propos ont l’avantage de couvrir des possibilités très diverses démontrant là la variété des chemins potentiels pouvant y mener.

L’explosion d’intelligence

C’est la Singularité classique conceptualisée par Vernor Vinge. L’idée que nous réussirions à créer une intelligence artificielle d’abord égale à nos plus brillants esprits puis plus intelligente que nous ; qui à son tour en créerait une plus intelligente qu’elle en bien moins de temps que nous ; et ainsi de suite jusqu’à une explosion de super intelligences artificielles dont la grande inconnue serait de connaître leur rapport à l’être humain. Hostiles telles le Skynet de Terminator ou bienveillantes telles les IA-vaisseaux du Cycle de la Culture de Ian M. Banks ?

Dans ce genre de scénario, Miller cite souvent Eliezer Yudkowski, co-fondateur du MIRI, ce think tank cherchant à augmenter les chances que l’IA dure qui naitra de nos recherches soit amicale. Le risque existentiel est réel et Miller ne l’exclue pas dans son analyse. Au contraire, tentant de se baser sur des concepts économiques, il tente d’analyser quelles organisations économiques pourraient induire chez les futures IA fortes un comportement non agressif. Rien d’idéaliste ici, mais une vision très pragmatique ; une population d’IA nous épargnant si le coût de notre extermination dépasse les gains espérés du partage du gâteau humain. C’est certes cynique, mais d’une certaine manière c’est rassurant car cela induit l’idée que nous aurons un jeu à jouer face à ces super intelligences simulées.

 

Le mind uploading et l’invasion des simulations

Une autre singularité qui sert de base à son discours se base sur l’idée que le mind uploading, cette capacité annoncée que nous aurons de télécharger notre esprit sur une machine qui en simulera la copie exacte, va se généraliser. Cette technologie a d’ailleurs été au centre des préoccupations lors du récent symposium organisé par le magnat russe Dmitry Itskov à New York : Global Future 2045 [3].

Miller, partant du principe qu’une ressource abondante voit son prix de vente s’effondrer, annonce un effondrement du coût de main d’œuvre pour toutes les professions et notamment celles intellectuelles. En effet, la difficulté à former un ingénieur, un architecte ou toute autre activité spécialisée de haut niveau justifie le poids de leur salaire ; qu’adviendrait-il s’il suffisait de simuler des copies des meilleurs ingénieurs, architectes ou autres spécialistes pour obtenir le même résultat : les grands groupes achèteraient ces êtres uploadés et les utiliseraient en masse, faisant s’effondrer le coût d’utilisation de tels talents et donc les revenus des gens qui les ont. Les revenus dépendraient donc de notre capacité à vendre en grand nombre nos simulations, à sortir de la masse. Et si de plus une course à l’amélioration de nos esprits simulés naît de l’innovation croissante, une seconde problématique apparaît : celle de la survie d’entités simulées devenues obsolètes et qui, sous la menace de leur disparition, pourraient devenir agressives, problématique qui se retrouve aussi de manière plus critique encore dans le scénario de l’explosition d’intelligence…

In fine, nous revenons là dans la problématique critique de la transition laborale  [4/5]  qu’implique la révolution NBIC. Le marché du travail tel qu’il existe aujourd’hui ne pourra plus fonctionner et un grand nombre de personnes risquent de se retrouver privées d’accès au travail, et donc à un moyen de prospérer dans la société. Tout le système sera donc à penser pour conserver à nos sociétés leur stabilité et leur prospérité partagée.

Implicite dans le précédent scénario, cette problématique devient centrale ici et pour la suite.

 

Le kurzweilian merger ou la fusion de l’homme et de la machine

Un autre scénario menant vers la Singularité développé par Miller est ce qu’il appelle le kurzweilian merger. Il s’agit de la fusion entre l’homme et la machine. Fantasme largement popularisé par le cinéma à travers les cyborgs tels que ceux vus dans Ghost in the Shell de Mamoru Oshii, sa présentation va plus loin. Elle s’inscrit dans la droite ligne du The Singularity is Near où Ray Kurzweil décrit une singularité faite d’une augmentation des humains à travers une technologie invasive et améliorante. Petit à petit, la société passant de l’homme réparé [6] à l’homme augmenté [7] en déclenchant un changement brutal de paradigme de nos sociétés.

Toute la problématique étant ici située dans l’accessibilité au plus grand nombre à de telles améliorations et à la possible obsolescence de gens avec des implants anciens. Afin de garder toute son humanité à nos sociétés le système économique devra muter et s’adapter pour ne pas sombrer dans une dystopie post-humaine. Et paradoxalement, alors qu’il annonce dès le départ son affiliation à Kurzweil, ce passage du livre de Miller est le moins intéressant, y ayant eu l’impression d’un discours prémâché où la voix passionnante de l’économiste Miller semblait passer au second plan.

 

Une singularité biomédicale et le risque eugénique

Le dernier scénario (et aussi le plus développé dans l’ouvrage) est celui menant vers une singularité technologique peu commune mais commençant néanmoins à faire parler d’elle : la Singularité par amélioration directe de l’homme via la médecine et le génie génétique [8].

Miller débute son propos par un phénomène déjà à l’œuvre sur les campus américains : l’utilisation de médicaments à des fins de performance. Il nous présente donc l’Adderall, un médicament développé pour des personnes narcoleptiques ou ayant des troubles de l’attention ; prise par une personne saine, elle rend intéressant le travail le plus ennuyeux et augmente les facultés de concentration sur de longues périodes. Utile tant au travail qu’en cas d’études universitaires. Miller s’interroge sur le biais provoqué par cette substance et de savoir si certains étudiants moins doués pourraient avoir eu accès à des cursus grâce à elle, changeant déjà par là le contenu sociologique des populations étudiantes et professionnelles.

Adderall n’est qu’un début, la manipulation des gènes va plus loin.

Prenant l’exemple de Gengis Khan et de ses 16 millions de descendants supposés de nos jours [9], il illustre l’avantage génétique que peut donner un génome – ici celui de l’intelligence qui permit à Temujin de lancer les Mongols à la conquête de l’Eurasie, et par les pratiques peu avouables de son époque de diffuser ses gènes. De même, partant du constat d’une surreprésentation des descendants de juifs ashkénazes dans les personnes nobélisées, il suppose une prévalence plus importante dans ces populations d’un génome générant des génies ; loin de tout antisémitisme qu’un tel thème pourrait laisser craindre, il développe au contraire une vision pragmatique et argumentée. La dure sélection que subirent les juifs ashkénazes dans l’Europe médiévale du fait de leur ségrégation aurait donné une pression environnementale suffisante pour valoriser les génomes de l’intelligence dans cette population mise à l’écart. Par leur obscurantisme religieux, les monarques européens auraient involontairement provoqué un phénomène eugénique de sélection de certains profils génétiques dans ces populations, par sélection des individus via les privations.

L’horreur d’une telle démarche n’est plus possible dans nos sociétés imprégnées de l’humanisme du siècle des Lumières. C’est une bonne chose. Mais Miller se demande si une dictature telle que le régime chinois, non contraint par les considérations morales de l’Occident, pourrait s’engager dans une démarche eugénique de détection des génies et de valorisation de leurs génomes pour améliorer leur population. D’ailleurs la Chine s’est déjà lancée dans cette voie ayant créé un programme eugénique de sélection des embryons. [10/11]  Et comme l’explique bien le généticien Laurent Alexandre dans l’interview Le scientifique est le fantassin du XXe siècle, la France prend un retard inquiétant dans cette course aux NBIC.

D’autant qu’au-delà du blocage moral d’un eugénisme d’État, il en décrit un autre : souvent, une grande intelligence peut s’accompagner de désordres neurologiques pouvant mener à des maladies potentiellement invalidantes ou mortelles dont la prévalence a souvent été notée chez des personnes au QI élevé. Qui serait prêt à tenter une amélioration de l’humain par une modification de son génome si cela implique le sacrifice d’une partie des personnes impactées ? Personne en Occident, cela va de soi. Mais quid des dictatures dont le XXe siècle a démontré le peu de considérations éthiques quand il s’agit de s’engager dans une démarche eugénique ? Et du coup, un tel clivage ne pourrait-il pas donner un avantage crucial à une tyrannie peu regardante sur l’éthique lui permettant de prendre un avantage décisif dans l’acquisition d’une vaste population de génies génétiquement améliorés ?

 

L’eugénisme génétique donne-t-il un avantage excessif aux tyrannies ?

Pour analyser cette problématique, Miller utilise le dilemme du prisonnier. Sur cette base, il offre les options qu’ont les démocraties occidentales (Illustrées par les Etats-Unis) dans le jeu qui les oppose aux dictatures (Illustrées par la République Populaire de Chine) pour permettre une entrée de l’humanité dans l’amélioration génétique de l’espèce sans tomber dans les excès d’un eugénisme utilitariste et déshumanisé. Reste que sa vision très optimiste de la sortie de ce genre de ballet à deux reste sujette à caution tant elle présuppose des hypothèses a priori sur les intentions des uns et des autres, et sur les individus nés d’une telle démarche. Il me donne l’impression de faire là cette erreur courante d’appliquer une lecture héritée de l’histoire à une prospective concernant des domaines forcément innovants et donc jamais rencontrés. Néanmoins, l’exercice de style reste très intéressant !

De plus, il part aussi du postulat de base que même si une différence d’intelligence entre deux individus peut être nuisible pour le moins doté dans la compétition pour l’emploi, il en va tout autrement au niveau des populations. Selon lui la qualité de vie de l’ensemble d’une population s’améliorant avec l’augmentation de son QI moyen est liée à l’amélioration de son pool génétique. Et au bout du compte, une amélioration, même née dans une dictature comme la Chine, bénéficiera par osmose en quelque sorte à toutes les sociétés de la planète : je ne suis pas sûr de partager son optimisme.

Le principal risque existentiel qu’il identifie, c’est celui d’un dérapage du dilemme du prisonnier nous entraînant sur la voie sans issue de l’extinction.

 

De la richesse de la pensée transhumaniste

Au-delà des prospectives et des scénarios de la Singularité (résumés d’ailleurs par un schéma de synthèse instructif), James D. Miller démontre aussi par son ouvrage l’extrême diversité et le dynamisme du mouvement transhumaniste. En à peine vingt ans, le point de mire de la Singularité a accouché de plusieurs moyens d’y arriver et de scénarios variés et divers. Loin d’une vision unique, je ne serais pas surpris si les quatre voies vers la Singularité décrites ici cohabitent et se font jour en même temps.

J’avais abordé ce livre comme une simple redite de Kurzweil et il n’en n’a rien été, c’est plutôt un passionnant voyage dans les impacts socio-économiques d’un des thèmes les plus forts du transhumanisme : la Singularité Technologique.

Cyril Gazengel

 

Notes :

[1] Paru sous le titre Humanité 2.0 en 2007 aux éditions M21

[2] Nanotechnologies, Biotechnologies, Informatique, Cognitique

[3] Voir l’article de Gabriel Dorthe à ce sujet : Global Future 2045 – Carnet de voyage

[4] Voir notre précédente critique : Robots Will Steal Your Job, But That’s OK

[5] Voir notre précédente critique : Race against the machine

[6] Les prothèses servent à pallier des handicaps pour redonner une normalité aux personnes concernées.

[7] Les prothèses servent à donner de nouvelles capacités artificielles à l’homme via des améliorations intégrées comme cela est magistralement illustré dans le jeu vidéo Deus Ex : Human Revolution ou chez les extros du cyle littéraire de Dan Simmons Les Cantos d’Hypérion.

[8] Voir notre précédente critique : Regenesis

[9] Genghis Khan a Prolific Lover, DNA Data Implies

[10] Des bébés génies Chinois

[11] Le mythe du super bébé

 

Adhérer ?

Laisser un commentaire

Commentaires

  1. Transquoi EMG dit :

    Salut Cyril,

    merci pour cette note de lecture instructive. D’après ce que tu en dis, Miller semble ne pas mettre en question les thèses de Kurzweil, et c’est bien dommage. On aurait justement pu attendre d’un économiste qu’il remette les choses en perspective et se serve notamment d’autres « singularités » qui ont pu avoir lieu dans le passé, je pense par exemple à l’invention de l’écriture ou des armes à feu.

    J’attends pour ma part avec impatience le livre qui déconstruirait le mythe de la Singularité Technologique, car je pense que c’est un mythe libertarien doublé d’un fantasme légèrement misanthrope. Ayant lu les livres de Kurzweil, je rejoins le bataillon des critiques qui contestent les fondations mêmes de son raisonnement (notamment la Loi de Moore et son caractère non scientifique).

    Miller reprend également des hypothèses et notions très contestées (pression sélective sur les Ashkénases, rapport de l’hérédité sur le QI, QI lui-même…). On sait depuis longtemps que l’intelligence brute n’existe pas, l’intelligence est plutôt, comme la définirait Alain Prochiantz, une adaptation au milieu. Croire qu’une intelligence artificielle fondée sur des calculs de probabilités sera un jour capable de raisonnement critique mène vraisemblablement dans le mur. D’ailleurs, les progrès en I.A. forte sont quasiment nuls depuis trente ans, exception faite de la puissance de calcul, qui elle a énormément augmenté, permettant Deep Blue, Siri ou encore Watson. Comme l’a découvert Jean-Pierre Changeux, nos cerveaux sont « précâblés » d’une manière très fine, très adaptée à la fois à notre survie, à notre milieu physique et aux structures sociales qui nous entourent et nous modèlent.
    Seule la parfaite compréhension des mécanismes du cerveau humain ouvrira la porte à des humains artificiels, et éventuellement intellectuellement augmentés (si c’est possible, ce qui n’est pas certain : les gens possédant des mémoires très étendues souffrent notamment d’invalidants problèmes de concentration). Et en tant qu’humains, même artificiels, il est peu probable qu’ils basculent du jour au lendemain dans une temporalité non humaine, ne serait-ce que pour des questions de ressources. Pour prendre un exemple, la « Singularité Spatiale » n’a pas eu lieu comme on aurait pu s’y attendre au début des années 70 : colonisation de la Lune, puis de Mars, création de colonies… Ce qui la motivait à l’époque, c’était la croyance que l’explosion démographique conduirait à l’épuisement des ressources. En fait, l’humanité a trouvé des parades moins coûteuses. De la même manière, on peut très légitimement penser qu’une fois le problème de la « mort » des individus résolue, l’humanité entrerait dans une grande stagnation, à la manière des empires décadents du passé. (ceci constituant d’ailleurs l’une des explications au paradoxe de Fermi)

    Bref, j’ai tendance à penser que le transhumanisme en général et en France en particulier gagnerait à prendre ses distances vis-à-vis de Kurzweil et de l’idée de Singularité, qui repose sur des hypothèses très friables. Qui plus est, la Singularité fait peur, à juste titre, et dessert la plupart des causes transhumanistes.

  2. Transquoi EMG dit :

    Oui, j’avais vu, très bon article !

  3. Cyril Gazengel dit :

    D’ailleurs, Transquoi, parlant du paradoxe de Fermi, Miller l’évoque dans un chapitre, tentant de savoir si ce paradoxe ne s’expliquerait pas par les barrières existentielles qui jalonneraient le chemin vers une Singularité. Nous serions donc soit seuls (les autres ayant échoué sur une des barrières existentielles) soit « sous surveillance » (les autres attendant que nous les ayons toutes passées ces barrières pour se révéler à nous). N’ayant pas su l’intégrer dans la note de lecture, c’est pour cela que je n’en parle pas.

    Sinon, concernant Kurzweil, ayant lu « The Singularity is Near » et « How to create a mind », j’ai la sensation qu’il est très mal compris par ceux s’en réclamant ; j’ai la sensation qu’ils pensent la singularité kurzweillienne comme une singularité vergienne, alors que les deux sont assez incompatibles biens que liées sur certains concepts. D’ailleurs Vernor Vinge en est revenu de sa vision de la Singularité. Du coup, pour Kurzweil, ça imprime publiquement une vision biaisée de l’analyse très intéressante du bonhomme et Miller, bien qu’il ne développe pas vraiment, est peut-être le plus proche d’une vision kurzweillienne de la Singularité.


Abonnez-vous à notre newsletter