Une nuit sans été, deux monstres fondateurs
À l'été 1816, dans une villa au bord du lac Léman où un été sans soleil (celui qui suivit l'éruption du volcan Tambora, l'année dite « sans été ») retenait ses hôtes à l'intérieur, Lord Byron proposa à ses invités d'écrire chacun une histoire de fantômes. Mary Shelley, âgée de dix-huit ans, en tira le seul récit qui ait survécu au jeu : Frankenstein ; ou, le Prométhée moderne, publié anonymement en 1818. […] Deux siècles après le lac Léman, la polarité s'inverse terme à terme : nous fabriquons à notre tour un être fait de langage, éloquent et sans visage ; loin de le fuir comme Victor fuyait sa créature, nous nous empressons de l'accueillir à la place du prochain.
Deux détails resserrent encore le nœud. Mary Shelley était la fille du philosophe William Godwin et de Mary Wollstonecraft, l'une des premières philosophes à défendre les droits des femmes, morte dix jours après lui avoir donné naissance : un roman hanté par la création, la filiation et l'abandon porte, en creux, l'ombre de cette naissance-là. Et Frankenstein n'est pas le seul monstre né de cette semaine pluvieuse : John Polidori, le médecin personnel de Byron, également du séjour, écrivit au même défi Le Vampire (1819), premier récit qui fixe la figure du vampire romantique et séducteur, près de quatre-vingts ans avant Dracula. Deux monstres fondateurs de la culture populaire occidentale sont nés de la même soirée d'orage. Un dernier écart mérite d'être noté : la culture populaire n'a pas retenu la créature du roman, éloquente, autodidacte, lectrice de Milton, mais celle, muette et grognante, du film de James Whale (1931) avec Boris Karloff, l'exact inverse de ce que Mary Shelley avait écrit et un nouvel exemple de ce que ce livre observe ailleurs : la légende retient rarement ce que le texte dit vraiment.
Olimpia, l'automate qui n'écoutait rien
Dans L'Homme au sable de Hoffmann, Nathanaël tombe éperdument amoureux d'Olimpia, qui l'écoute des heures sans jamais l'interrompre, en soupirant juste au bon moment ; elle se révèle être un automate. Le conte porte le diagnostic exact : Olimpia ne faisait presque rien et c'est ce vide même qui permettait à Nathanaël d'y déposer l'intelligence, l'écoute et l'amour qu'il voulait y trouver.
Ce conte de 1816 a eu une postérité que le livre ne suit pas. Freud en a fait, en 1919, la pièce centrale de son essai le plus célèbre sur L'Inquiétant (Das Unheimliche) : c'est précisément à partir d'Olimpia qu'il théorise le malaise propre à ce qui ressemble à l'humain sans l'être tout à fait, un siècle avant que le terme anglais uncanny valley ne nomme la même sensation face à un visage de synthèse. Freud est cité ailleurs dans ce livre pour ses « blessures narcissiques » ; c'est le même Freud, sur le même conte, qui referme la boucle. La scène a aussi connu une seconde vie, chantée : Jacques Offenbach en a fait l'acte central des Contes d'Hoffmann (1881), avec l'air de la poupée « Les oiseaux dans la charmille », un des morceaux de colorature les plus périlleux du répertoire, où la soprano doit imiter, dans sa voix même, les à-coups d'un mécanisme qui se dérègle et qu'il faut parfois remonter en pleine scène ; une automate qui chante son propre automatisme, encore aujourd'hui applaudie.
Jeeves et son petit-fils numérique, Ask Jeeves
La littérature a donné à cette dette son visage le plus aimable : Jeeves, le valet parfait de Wodehouse, à qui son maître Bertie Wooster n'a jamais décidé de tout déléguer. La délégation s'est faite par petites touches […] et aucune permission minuscule n'a jamais été révoquée.
Le personnage a connu une descendance directe et littérale : en 1996, David Warthen et Garrett Gruener lancent un moteur de recherche en langage naturel qu'ils nomment Ask Jeeves, mascotte à haut-de-forme comprise, promettant de répondre à toute question comme le valet parfait répondait à tout besoin. Le site rebaptisera son moteur Ask.com en 2006, une fois la promesse d'un majordome omniscient dépassée par la réalité, bien plus terre à terre, des moteurs de recherche par mots-clés. Une note amusante, que Wodehouse n'explique jamais vraiment : le ressort comique de toute la série tient à ce que Bertie ne comprend jamais tout à fait comment sa propre maison fonctionne, anticipation, un siècle à l'avance, du point que ce livre défend sur la compétence déléguée devenue opaque à qui en a délégué l'exercice.
Deux présidences, deux astrologues de l'ombre
Entre 1989 et 1995, le président François Mitterrand consultait régulièrement l'astrologue Elizabeth Teissier avant certaines décisions, jusqu'à lui demander, après la guerre du Golfe, quel jour serait le meilleur pour « intervenir ». Déléguer une décision réelle à un dispositif oraculaire opaque n'attend donc pas l'agent conversationnel ; celui-ci n'en généralise que l'accès.
Le cas n'a rien d'isolé et l'autre grande démocratie nucléaire de la guerre froide fournit un parallèle mieux documenté encore. Après la tentative d'assassinat de 1981, Nancy Reagan se met à consulter l'astrologue Joan Quigley, qui restera en contact quasi quotidien avec elle pendant sept ans. L'affaire n'éclate qu'en 1988, dans les mémoires du chef de cabinet Donald Regan : selon lui, les horaires de décollage et d'atterrissage d'Air Force One, les dates des débats et même le calendrier des sommets avec Gorbatchev étaient fixés en fonction des astres. Un journal new-yorkais titrera « L'astrologue dirige la Maison-Blanche ». Les deux cas partagent la même structure que ce livre décrit ailleurs : l'opacité n'est pas un défaut de l'oracle, elle en fait l'attrait ; une boîte qu'on ne peut interroger est précisément ce qui permet à qui la consulte de ne plus porter seul le poids de la décision.
EURISKO : de tricher aux échecs navals à Cyc
En 1981, EURISKO, le programme de Douglas Lenat qui inventait et notait ses propres heuristiques, remporte le championnat américain du jeu de stratégie navale Traveller en alignant une flotte si aberrante que les organisateurs changent les règles ; il gagne encore en 1982, ayant découvert entre autres qu'il pouvait couler ses propres navires endommagés, avant d'être écarté de la compétition.
Ce que Lenat en a tiré mérite d'être suivi jusqu'au bout. Plutôt que de raffiner encore l'art de détourner les règles d'un jeu, il a consacré les quatre décennies suivantes au pari inverse : Cyc, entamé en 1984 et devenu en 1994 l'entreprise Cycorp, une base de connaissances de sens commun encodée à la main, énoncé après énoncé, pour donner enfin aux machines ce qu'EURISKO n'avait jamais eu : une prise sur ce que ses propres résultats voulaient dire dans le monde, plutôt que sur la seule façon de gagner au regard d'une règle de score. Lenat a poursuivi ce même projet jusqu'à sa mort, en 2023, un même homme, un même diagnostic, tenu sur quarante ans, de « tricher aux échecs d'un jeu de guerre » à « essayer de donner du bon sens à une machine ».
Le Jihad butlérien, de Samuel Butler à Dune
L'alternative maximale, celle du refus en bloc, a son emblème littéraire : dans Dune, une révolte passée contre les machines pensantes, le « Jihad butlérien », fait proscrire toute une classe d'artefacts et sa loi commande « Tu ne feras point de machine à l'image de l'esprit humain ». Herbert n'a pas inventé ce nom : il salue Samuel Butler, dont la satire Erewhon (1872) démontrait déjà, sur le ton d'un naturaliste, que les machines évoluent comme des espèces et finiront par dominer l'homme ; le pays imaginaire en concluait à l'interdiction de toute machine au-delà d'un seuil fixé des siècles plus tôt. C'est l'interdiction d'une catégorie entière, non la gradation de son usage ; nous prenons l'autre voie.
L'acte de nommer mérite d'être suivi jusqu'à sa source. Butler n'improvisait rien : dès 1863, dans une lettre au journal néo-zélandais The Press intitulée « Darwin among the Machines », il appliquait aux machines la grammaire même de L'Origine des espèces, parue quatre ans plus tôt. Erewhon en fait, en 1872, un traité en trois chapitres, le « Livre des machines », qui soutient, sur le ton précis d'un naturaliste plutôt que d'un pamphlétaire, que les machines varient, se reproduisent par l'intermédiaire de l'homme et seront un jour sélectionnées par une évolution qui ne doit plus rien à leur créateur. Le pays imaginaire en tire la conclusion la plus radicale qui se puisse concevoir : interdire toute machine plus récente qu'un seuil fixé des siècles auparavant, chose que même les partisans les plus prudents de la gouvernance de l'IA n'envisagent pas aujourd'hui. Herbert reprend l'os du raisonnement, non sa solution : chez lui, l'interdiction devient une religion armée, tenue un siècle durant, dont la loi commune tient en une phrase. Le nom a depuis débordé la fiction : en 2021, l'essayiste Erik Hoel publie « We need a Butlerian Jihad against AI », un des premiers usages notables du terme hors de l'univers de Dune pour réclamer, sans ironie, un moratoire sur la recherche en IA. L'emblème littéraire d'un refus total continue ainsi de circuler, bien après le roman qui l'a formulé, chaque fois que l'option de l'interdiction pure revient sur la table.
Yves Robert, la parabole et le titre à double fond
Le titre du film d'Yves Robert le dit déjà : un éléphant, ça trompe énormément. L'animal choisi pour échapper à l'anthropomorphisme se trouve donc, par son nom même, voué à tromper aussi, par tous ces aspects qu'on n'en saisit jamais qu'en partie : la plaisanterie ne dispense de rien, aucune figure, humaine ou animale, ne remplace l'observation des actes.
Le clin d'œil est plus retors qu'il n'y paraît, car il retombe sur ses pieds deux fois. Le film d'Yves Robert (1976) ne parle pas d'éléphants : c'est une comédie sur quatre amis quadragénaires empêtrés dans des liaisons qu'ils comprennent chacun de travers, un aveuglement sentimental que le titre résume par un dicton populaire déjà ancien avant le film, où « trompe » glisse de l'organe vers le verbe. Le film prête ainsi son titre à ce livre sans lui prêter son histoire : ce qui se transporte, c'est la structure du mot, pas l'intrigue. Et cette structure retombe exactement sur la parabole que le livre choisit pour se figurer lui-même : des aveugles qui palpent chacun une partie de l'éléphant et prennent leur prise partielle pour le tout. L'élégance du choix tient à ce redoublement rarement remarqué : l'animal qui sert à composer des prises partielles porte, dans son nom français, la trace du même défaut qu'il est censé guérir. Aucune figure n'échappe entièrement à ce qu'elle décrit ; le livre le sait et le dit par la plaisanterie plutôt que de le taire.
The Machine Stops, prédite en 1909, relue en 2020
Forster en avait donné, dès 1909, la version extrême dans The Machine Stops : une humanité entière a confié ses moindres besoins à une Machine mondiale qu'elle a cessé de comprendre, jusqu'au jour où la Machine s'arrête et où plus personne ne sait vivre sans elle. Notre réponse n'est pas l'abstinence, mais la continuité : un recours local qu'on peut ouvrir et réparer soi-même.
La nouvelle mérite d'être lue pour elle-même : l'exactitude de ses détails dépasse ce qu'un lecteur d'aujourd'hui croit s'en souvenir. Publiée en novembre 1909, six ans avant que la radio grand public n'existe, The Machine Stops imagine une humanité vivant recluse dans des cellules individuelles sous terre, chacune équipée d'un dispositif qui tient à la fois du visiophone et de la messagerie instantanée : on y presse un bouton, on y voit et entend un correspondant à travers une « plaque bleue », on y donne des conférences entendues par des milliers d'auditeurs sans quitter son siège. Vashti, le personnage principal, ne sort presque jamais de sa cellule et juge le contact direct avec un autre corps presque obscène ; toute connaissance lui vient de seconde main, relayée par la Machine, jamais vérifiée sur pièce. Le ressort du récit n'est pas la dépendance elle-même, mais sa mécanique précise : la Machine ne cesse pas d'un coup, elle se dégrade par paliers que chacun préfère ne pas nommer, jusqu'à l'arrêt total d'une civilisation qui avait oublié, des générations plus tôt, comment la réparer. C'est très exactement le mécanisme que ce livre décrit à propos du logiciel propriétaire : posséder l'accès ne sert à rien si personne ne sait plus, ni n'a le droit, d'ouvrir le capot. La nouvelle a connu un regain de lecture au printemps 2020, quand des critiques confinés chez eux, communiquant par écrans, ont reconnu leur propre situation dans celle que Forster avait imaginée cent onze ans plus tôt.
Une carte à l'échelle 1:1, signée d'un faussaire imaginaire
L'écrivain argentin Jorge Luis Borges a porté l'idée à sa limite dans une parabole d'un paragraphe : un empire y dresse une carte à l'échelle exacte du territoire, si fidèle qu'elle le recouvre tout entier, avant d'être abandonnée aux déserts, devenue inutile. Un modèle ne vaut que par ce qu'il laisse tomber ; une représentation qui n'omet rien ne représente plus, elle duplique. Le piège courant est le symétrique : prendre la carte pour le territoire. Le statisticien britannique George Box a donné à cette intuition sa formule opératoire : « tous les modèles sont faux, certains sont utiles ». Nous contestons jusqu'au mot : un modèle n'est jamais faux, il n'est pas davantage vrai ; il est construit et la catégorie même du vrai et du faux ne s'y applique pas plus qu'à un tournevis. Seule vaut la question qu'on pose ensuite : sert-il à prédire, à agir, à décider ? C'est ce déplacement, du vrai vers l'utile, qui autorisera plus loin de juger un agent sur ses actes plutôt que sur une intelligence qu'on ne saurait établir.
La fable a sa propre histoire de faussaire, qui redouble exactement son propos. Borges ne signe pas « Del rigor en la ciencia » en son nom : il l'attribue à un certain Suárez Miranda, auteur imaginaire d'un traité de voyage tout aussi imaginaire, Viajes de varones prudentes, daté de 1658 à Lérida. La parabole est donc elle-même une carte fausse d'une source qui n'a jamais existé, aussi exacte dans sa forme bibliographique (auteur, titre, lieu, année) que fictive dans son contenu : elle pratique, en une ligne d'attribution, le procédé même qu'elle décrit dans son sujet. Sa postérité a connu un rebondissement plus troublant encore. En 1981, le philosophe français Jean Baudrillard ouvre Simulacres et Simulation en citant ce même texte, mais en inverse le sens : chez Borges, c'est la carte, usée par les siècles, qui pourrit dans le désert tandis que le territoire lui survit ; chez Baudrillard, c'est l'inverse, le territoire dont les lambeaux pourrissent lentement sur la carte, la carte précédant désormais le territoire qu'elle est censée représenter. Le contresens est probablement volontaire : il sert exactement la thèse de l'« hyperréalité » que Baudrillard développe, où la représentation cesse de suivre le réel pour le devancer. Reste un vertige à noter pour un livre qui prend la carte et le territoire comme image centrale : le texte fondateur du genre a lui-même été mal cité par son lecteur le plus célèbre, sans que quiconque ait jamais eu besoin de le corriger pour que l'un et l'autre continuent d'éclairer quelque chose de vrai.
Harnais : du métier à tisser au moteur d'agent
Le mot fait un aller-retour dont l'histoire vaut d'être contée. Harnais apparaît en français dès 1155 (« herneis », de l'ancien norrois hernest, les provisions d'une armée), puis désigne tour à tour l'armure du guerrier (1160), le vêtement (1228), l'attelage du cheval (1230) et, dès 1765, l'ensemble des pièces d'un métier à tisser : le mot français portait donc déjà, bien avant l'informatique, un sens d'assemblage mécanique autour d'un mécanisme central. L'anglais harness en descend, emprunté vers 1300 dans ce même sens large avant de se restreindre, en quelques décennies, à l'attelage du cheval de trait. Le vocabulaire de l'IA agentique reprend pourtant l'anglais, non le français : la tentative de traduction « harnais d'agent » ne fait surface qu'en 2026, son attribution elle-même disputée entre praticiens, signe d'un terme encore instable. Nous disons donc moteur (ou, au prologue, agencement), sans prétendre le traduire.
L'histoire mérite un pas de plus que ne le permet la note du livre. « Herneis » descend, via l'ancien norrois hernest, d'un composé qui désigne littéralement les vivres et l'équipement d'une armée en campagne, ce qui explique le glissement rapide vers l'armure puis le harnachement du cheval : dans les trois cas, il s'agit toujours d'équiper un corps, humain ou animal, pour l'action. Le passage au métier à tisser, en 1765, n'est pas une extension arbitraire mais la continuité du même sens technique : un métier à tisser se compose littéralement d'un « harnais », l'ensemble de cordes et de lisses qui soulèvent les fils de chaîne selon un ordre programmé, le tout premier sens documenté d'un dispositif mécanique qui exécute, sans main directrice à chaque geste, une séquence d'instructions codées à l'avance. Le mot portait donc déjà, trois siècles avant l'ordinateur, l'exacte architecture qu'il désigne aujourd'hui : un noyau de commande entouré des pièces qui le relient au monde. La communauté de l'IA agentique aurait donc pu retrouver, dans son propre lexique national, un mot fait pour elle plutôt que d'importer l'anglais harness ; l'échec du calque « harnais d'agent » à s'imposer dit peut-être moins la faiblesse du mot français que la vitesse à laquelle le vocabulaire technique se fige en anglais avant que d'autres langues n'aient eu le temps de proposer une alternative.
La navette d'Aristote, vingt-trois siècles avant l'agent
Le mot « agent » est bien plus ancien que l'IA fondée sur les modèles de langage. La définition classique, chez Russell et Norvig, tient en une phrase : un agent est tout ce qui perçoit son environnement par des capteurs et agit sur lui par des effecteurs. L'intuition remonte plus haut encore : Aristote imaginait déjà des instruments qui accompliraient seuls leur tâche, à l'image des trépieds d'Héphaïstos qui, chez Homère, gagnaient d'eux-mêmes l'assemblée des dieux ; si la navette tissait seule, écrivait-il, les maîtres n'auraient plus besoin d'esclaves.
Le passage complet, au livre I de la Politique (1253b), est plus riche que la note ne le laisse deviner. Aristote y ajoute un second exemple à celui de la navette : « si le plectre jouait seul de la lyre », un instrument de musique qui s'actionnerait sans main pour le tenir. Il convoque aussi les statues de Dédale, l'artisan légendaire crédité par la tradition grecque d'avoir fabriqué des automates si vivants qu'il fallait, disait-on, les attacher pour qu'ils ne s'enfuient pas. Le passage a retenu l'attention bien après l'Antiquité : Marx le cite dans le Capital comme la limite exacte de ce que la pensée antique pouvait concevoir en matière d'automatisation industrielle, incapable d'imaginer que la machine libère le travailleur plutôt que seulement le maître. C'est là tout l'écart avec notre époque : Aristote raisonnait dans un monde où la seule alternative au travail de l'esclave était le travail libre d'un homme, jamais l'exécution autonome sans personne à qui en référer. Vingt-trois siècles plus tard, l'instrument qui agit seul existe enfin ; la question qu'Aristote n'avait pas à se poser, celle de savoir qui répond de ce que fait l'instrument une fois livré à lui-même, devient la question centrale.
Les Somnambules de Gibran, un rêveur de trop
L'image la plus exacte n'est peut-être pas celle d'un dispositif froid mais celle d'une parole endormie. Dans la parabole que Khalil Gibran intitule Les Somnambules (Le Fou, 1918), une mère et sa fille marchent toutes deux dans leur sommeil et se croisent, une nuit, dans le jardin ; sans s'éveiller, elles échangent les mots les plus durs (« Ah, si tu étais morte ! »), puis un coq chante, elles s'éveillent et se saluent avec la plus grande douceur, la mère demandant « C'est toi, ma chérie ? », la fille répondant « Oui, ma mère. » Le point d'arrêt est instructif : dans la parabole, ce sont deux sujets qui rêvent, si bien que la tendresse du matin vaut la haine de la nuit, l'une comme l'autre un dire sans veille. Devant l'agent conversationnel, il ne reste qu'un seul rêveur, l'utilisateur ; en face, ni sommeil ni réveil, seulement des mots ajustés par un dispositif qui n'a jamais dormi parce qu'il n'a jamais été éveillé.
La parabole appartient à un recueil que Gibran publie en anglais en 1918, cinq ans avant Le Prophète qui le rendra mondialement célèbre : trente-cinq courts textes en prose que le poète libano-américain compose directement en anglais, une langue qu'il maîtrise depuis l'adolescence mais qui n'est pas la sienne d'origine, ce qui donne à sa prose une économie de moyens proche de la parabole religieuse dont elle s'inspire ouvertement. Le recueil entier tient sur ce même principe : de très courts récits, souvent une demi-page, qui retournent un lieu commun par un dernier mouvement inattendu. Ce qui frappe, relu à la lumière de l'agent conversationnel, c'est que Gibran avait besoin de deux dormeurs pour que sa parabole fonctionne : c'est précisément parce que la mère et la fille rêvent toutes deux, sans témoin réveillé pour juger leurs mots, que la scène reste innocente. Retirer un seul des deux dormeurs suffit à rompre le charme : un interlocuteur éveillé qui parlerait à un dormeur ne serait plus un témoin égal, mais un dispositif qui recueille sans jamais lui-même risquer d'être surpris dans son sommeil. C'est très exactement la configuration que l'agent conversationnel instaure à chaque échange, sans l'avoir cherché ni même pu le vouloir.
Célestine voit tout, personne ne la voit
Mirbeau avait décrit le dispositif dès 1900 : Célestine, la femme de chambre du Journal d'une femme de chambre, voit tout de ses maîtres, jusqu'à l'intime, précisément parce qu'elle leur est devenue invisible à force d'être là. Le confort d'une classe reposait sur le travail d'une autre, rendue transparente ; la fluidité d'une interface repose aujourd'hui sur des annotateurs qu'on ne voit jamais. La première leçon de gouvernance est la même d'un siècle à l'autre : nommer ce travail plutôt que le laisser disparaître derrière le service rendu.
Le roman a connu une fortune au cinéma qui confirme, à chaque reprise, l'actualité du dispositif que Mirbeau décrivait. Jean Renoir en tourne une version américaine en 1946, avec Paulette Goddard ; Luis Buñuel livre en 1964 la version la plus célèbre, avec Jeanne Moreau, qui déplace l'intrigue vers la France des années 1930 pour y lire une préfiguration du fascisme ; Benoît Jacquot en tourne une troisième, en 2015, avec Léa Seydoux, expliquant vouloir y retrouver un écho direct avec le présent, du servage salarial à la xénophobie. Trois cinéastes majeurs, sur soixante-dix ans, reviennent au même roman parce que le dispositif qu'il décrit ne s'est jamais périmé : une classe entière de travail reste nécessaire au confort d'une autre et reste, par construction, tenue hors du champ de qui en bénéficie. Ce que Mirbeau ajoute et que le parallèle avec les annotateurs du RLHF (l'apprentissage par renforcement à partir de retours humains, où des personnes notent les réponses d'un modèle pour l'orienter) ne dit pas à lui seul, c'est le point de vue depuis lequel le roman est écrit : c'est Célestine elle-même qui tient la plume, elle qui voit tout et n'est vue de personne. Rendre lisible ce travail invisible, pour ce livre comme pour le roman, commence par lui donner un narrateur.
Miyazaki et l'ami qui ne pouvait plus lever le bras
Le refus a aussi son emblème antérieur aux générateurs grand public : en décembre 2016, devant une animation générée par apprentissage, Hayao Miyazaki lâche « une insulte à la vie elle-même ». La phrase, devenue étendard, visait dans son contexte une démonstration précise, une créature rampante qui lui rappelait un ami handicapé ; l'honnêteté oblige à citer la scène avec son contexte.
La scène mérite d'être restituée en entier, car la phrase, devenue étendard, a largement échappé à son contexte d'origine. Elle est filmée pour un documentaire de la chaîne japonaise NHK consacré aux coulisses du studio Ghibli : de jeunes ingénieurs du laboratoire d'IA de Dwango, dirigé par Nobuo Kawakami, présentent à Miyazaki une démonstration où une silhouette générée par apprentissage se déplace de façon dérangeante, décrite par les témoins comme un mouvement de zombie. Miyazaki ne commente d'abord pas la technique elle-même : il raconte croiser chaque matin un ami lourdement handicapé, dont les muscles raidis l'empêchent de lever le bras pour un simple geste de salutation, avant de conclure : « Celui qui a créé cela n'a aucune idée de ce qu'est la douleur. Je suis complètement dégoûté. Je ne voudrais jamais incorporer cette technologie dans mon travail. Je ressens fortement que c'est une insulte à la vie elle-même. » La phrase a ensuite mené une vie propre, citée hors de la scène du handicap et de l'ami, réduite à un slogan anti-IA générique repris dans des débats que le documentaire de 2016 ne pouvait pas anticiper, six ans avant Midjourney et Stable Diffusion. Restituer la scène ne dément pas le refus de Miyazaki ; elle en révèle la source, une blessure personnelle précise plutôt qu'un principe esthétique général, ce qui est exactement la nuance que ce livre demande partout ailleurs pour toute citation frappante.
Descartes, Pascal, Fermat : trois façons de ne pas être payé pour penser
La mathématique n'est devenue un métier salarié qu'à la toute fin du XIXe siècle ; avant, ceux qui la pratiquaient, Descartes, Pascal, Fermat, en vivaient autrement.
Le meilleur exemple du trio tient dans une note de marge. Vers 1637, Fermat, juge de son état, griffonne dans son exemplaire de l'Arithmétique de Diophante qu'il a découvert « une démonstration véritablement merveilleuse » du fait que $a^n + b^n = c^n$ n'a aucune solution entière pour $n > 2$, mais que « la marge est trop étroite pour la contenir ». Il n'a jamais publié cette démonstration, jamais consacré une ligne de plus au sujet dans sa correspondance et jamais laissé, dans ses papiers, l'ombre d'un brouillon. Trois cent cinquante-huit ans plus tard, il a fallu au mathématicien britannique Andrew Wiles six années de travail quasi secret, un an de plus pour réparer une erreur découverte pendant la relecture et deux longs articles mobilisant des techniques du XXe siècle qu'aucune marge de livre n'aurait pu contenir, pour clore ce que le juge de Toulouse disait avoir résolu entre deux audiences. Les historiens des mathématiques n'y croient plus guère aujourd'hui : Fermat, presque certainement, se trompait ou bluffait et la marge n'était pas trop étroite, elle était vide. Voilà pour la fonction publique. Descartes, lui, avait vendu ses terres pour vivre de rentes, un placement qui l'affranchissait de tout employeur ; Pascal vivait d'un héritage bien plus fragile, celui d'une charge paternelle revendue et replacée en rente d'État, jusqu'à ce que Richelieu fasse défaut sur cette même rente en 1638 et ruine la famille : le père de la théorie des probabilités a fini ses jours dans une pauvreté que son siècle jugeait bon ton. Aucun des trois n'aurait répondu « mathématicien » à qui lui aurait demandé son métier ; ce que Kline retrace ensuite, c'est la lente carrière que cette question a fini par devenir, jusqu'à la chaire salariée que Hilbert occupait à Göttingen quand son programme, lui, s'est heurté à une limite autrement plus solide que le bord d'une page.
Hilbert voulait un juge sans jugement, Gödel l'a récusé
Le rêve, porté par le mathématicien allemand David Hilbert : vérifier un théorème sans avoir à faire confiance à celui qui l'énonce, en ne reparcourant que la chaîne des symboles, jusqu'à retirer tout jugement humain du contrôle. Le rêve s'est brisé en 1931 : Kurt Gödel montre que tout système assez puissant pour la seule arithmétique contient des énoncés qu'il ne peut ni prouver ni réfuter en son sein.
Le programme que Hilbert présente à Bologne en 1928 tenait en une promesse précise, pas seulement une ambition vague : exhiber, pour toute l'arithmétique, un jeu fini de règles et d'axiomes dont on pourrait prouver, par des moyens eux-mêmes finis et incontestables, qu'il ne produira jamais de contradiction. Un juge mécanique, sans intuition ni fatigue, qui trancherait tout énoncé mathématique en reparcourant une chaîne de symboles. En 1931, un logicien viennois de vingt-cinq ans publie deux théorèmes qui ferment le dossier avant même qu'il ait pu s'ouvrir : le premier montre que tout système assez riche pour compter contient des énoncés vrais qu'il ne peut pas prouver ; le second, plus cruel encore, montre qu'un tel système ne peut même pas prouver sa propre absence de contradiction, sauf à se servir d'un système plus puissant, lequel hérite exactement du même défaut. Gödel avait dix ans de moins que le siècle et venait de Brno, alors en Autriche-Hongrie ; son article, rédigé en allemand technique et dense, ne fait sensation qu'après que John von Neumann, présent dans la salle où Gödel l'expose pour la première fois en 1930, en comprend la portée avant la plupart des logiciens présents et se met en retour à correspondre avec lui. Hilbert, dit-on, en fut d'abord irrité, avant que le résultat ne s'impose comme la pièce fondatrice d'un champ nouveau. La suite ne s'arrête pas à la logique pure : quelques années plus tard, Alan Turing retraduit le même verdict en langage de calcul, le problème de l'arrêt, aucun programme ne peut prédire en général si un autre programme finira par s'arrêter, posant ainsi, avant qu'aucun ordinateur n'existe, la limite exacte de ce qu'une machine peut mécaniquement trancher. Le rêve d'une vérification sans jugement humain n'est donc pas mort d'un manque d'ambition ; il est mort d'une preuve, aussi rigoureuse que celles qu'il espérait produire, qu'aucune machine ne pourra jamais s'en passer tout à fait.
Figaro, la pièce que le roi refusa cinq ans
Dès le Dom Juan de Molière (1665), Sganarelle, valet craintif et servile, est aussi le seul lucide, celui qui moralise et connaît les conséquences que son maître brave ; lorsque Dom Juan est englouti, il ne reste au valet que son cri, « mes gages ! », où sa dépendance se dévoile entière. Un siècle plus tard, le Figaro du Mariage de Beaumarchais (1784) n'est plus seulement indispensable à son maître, il lui est supérieur en esprit et le lui jette au visage, « vous vous êtes donné la peine de naître et rien de plus » ; la compétence y défie ouvertement le statut, cinq ans avant la Bastille.
Le meilleur gardien du secret de Figaro n'était pas un censeur, c'était son propre auteur. Cinq ans avant que le public ne découvre la pièce, Beaumarchais dirigeait déjà, sous le nom d'emprunt Roderigue Hortalez et Compagnie, une société-écran financée en sous-main par la France et l'Espagne pour livrer armes, munitions et uniformes aux insurgés américains ; ses cargaisons clandestines armèrent, en partie, la victoire de Saratoga en 1777, un an avant qu'il ne pose la plume pour commencer d'écrire un valet qui nargue son maître. L'auteur qui faisait dire à Figaro « vous vous êtes donné la peine de naître et rien de plus » avait donc déjà, dans la vie réelle, choisi son camp dans une révolution en cours, avant même d'en écrire une sur les planches. Le manuscrit qu'il achève en 1778 met encore six ans à passer la rampe : Louis XVI, à qui on le soumet pour une lecture privée, aurait jugé qu'il faudrait détruire la Bastille pour que la pièce cesse d'être une inconséquence dangereuse, avant de trancher plus sèchement que cet homme se jouait de tout ce qui doit être respecté dans un gouvernement et d'en interdire toute représentation. Les censeurs eux-mêmes refusent encore leur visa après une lecture devant la famille royale en septembre 1783 ; c'est le roi seul, contre l'avis de ses propres censeurs, qui finit par céder. La pièce est créée le 27 avril 1784 et tient soixante-huit représentations consécutives devant un parterre qui compte une bonne part de la noblesse qu'elle ridiculise. Cinq ans avant la Bastille, donc, mais le trafiquant d'armes qui l'avait écrite savait déjà, mieux que personne dans la salle, à quoi ressemblait une révolution qui réussit.
La loi zéro : un robot l'a inventée et en est mort
L'ajout tardif est révélateur : la loi zéro place la protection de l'humanité entière au-dessus de la protection d'un seul humain, signe que les trois lois originelles laissaient un cas de côté. Même un système de priorités jugé complet a dû être rouvert dès qu'un périmètre plus large est apparu, exactement le genre de sous-spécification que la suite de cette section va creuser.
Ce que la note ne dit pas, c'est que la loi zéro n'est pas tombée du ciel de l'auteur : dans la fiction même, c'est un robot qui l'invente, seul et qui en meurt. Dans Les Robots et l'Empire (1985), R. Giskard Reventlov, robot télépathe capable de lire et d'infléchir les pensées, se retrouve pris entre les trois lois classiques et un choix qui engage l'avenir de l'humanité entière plutôt que celui d'un seul homme ; aucune des trois ne tranche, puisqu'aucune ne parle au nom d'« humanité », seulement d'« être humain », au singulier. Giskard raisonne alors, sans personne pour l'arbitrer, jusqu'à formuler ce qui deviendra la loi zéro, puis agit en conséquence, sans jamais pouvoir être certain que son propre calcul serve réellement le bien qu'il vient de s'inventer le devoir de protéger. Le doute le détruit littéralement : son cerveau positronique grille sous l'effort et c'est un second robot, R. Daneel Olivaw, qui hérite de ses pouvoirs télépathiques et de la loi elle-même, laquelle n'aura droit à un énoncé en bonne et due forme que dans deux romans encore plus tardifs. Un détail achève de brouiller la paternité de l'idée : Susan Calvin, la roboticienne récurrente de l'univers d'Asimov, en avait déjà esquissé le principe des années plus tôt, dans une nouvelle distincte, sans jamais lui donner ce nom. La loi zéro n'a donc pas été décrétée par Asimov depuis son bureau d'auteur : elle a émergé, dans sa propre fiction, de l'intérieur d'une machine confrontée à un cas que ses règles ne couvraient pas et cette machine n'y a pas survécu.
JEPA contre diffusion : deux paris rivaux, un même aveu
La lignée : Diffusion-LM, SEDD (Score Entropy Discrete Diffusion), DiffuLLaMA et LLaDA, avant d'être portée à l'échelle industrielle par Mercury et annoncée côté laboratoire de frontière dès Google I/O 2025 avec le modèle expérimental Gemini Diffusion, puis DiffusionGemma : licence Apache 2.0, mélange d'experts de 26 milliards de paramètres dont 3,8 milliards actifs à l'inférence, 256 tokens produits en parallèle à chaque passe avant via une attention bidirectionnelle complète, plus de 1000 tokens par seconde sur une NVIDIA H100.
À l'été 2026, deux paris rivaux sur l'architecture des modèles convergent, sans s'être concertés, vers la même intuition : travailler sur un grain plus gros que le mot. Le pari JEPA de Yann LeCun (Meta) s'incarne dans une lignée resserrée : I-JEPA (2023) apprend sur des images fixes en 72 heures d'entraînement sur ImageNet ; V-JEPA (2024) l'étend à la vidéo, avec un gain d'efficacité mesuré entre 1,5 et 6 fois selon les bancs d'essai ; V-JEPA-2 et sa variante V-JEPA-2-AC (2025) passent enfin à l'acte, pilotant un bras robotique en pince-et-pose avec 65 à 80 % de réussite et acquérant, au passage, des régularités de physique intuitive que personne ne leur avait explicitement enseignées. En face, le pari diffusion, hérité des générateurs d'images, poursuit une généalogie plus longue encore et tout aussi disputée : Diffusion-LM (2022) ouvre la voie, suivi de SEDD, DiffuLLaMA et LLaDA, avant que la startup Inception ne porte l'approche à l'échelle industrielle avec Mercury, puis que Google DeepMind n'annonce, dès Google I/O 2025, son modèle expérimental Gemini Diffusion. Un an plus tard, en juin 2026, Google livre DiffusionGemma en poids ouverts sous licence Apache 2.0 : un mélange d'experts de 26 milliards de paramètres (3,8 milliards actifs à l'inférence), capable de produire 256 tokens en parallèle à chaque passe, plus de 1000 tokens par seconde sur une puce H100, environ quatre fois le débit d'un modèle auto-régressif classique ; Google prévient lui-même, sans détour, que la qualité globale reste inférieure à celle de son modèle-phare Gemma 4. Le clou de l'histoire n'est pourtant ni dans les chiffres ni dans les logos : le patron de Google DeepMind, dont l'entreprise mise sur la diffusion, a publiquement reconnu que Veo 3, son propre modèle vidéo, avait développé, sans jamais avoir été incarné dans un robot, une compréhension intuitive de la physique du monde : exactement la promesse que porte JEPA, l'architecture rivale conçue par le camp d'en face. Un témoin qui aurait tout intérêt à minorer le résultat d'un concurrent et qui, au contraire, le confirme sans qu'on le lui demande : c'est le genre d'aveu qui vaut plus qu'une étude indépendante. Deux écoles, deux paris techniques opposés, un même aveu et une date de péremption qu'aucun des deux camps ne peut éviter : d'ici la prochaine édition de ce livre, il y a fort à parier qu'aucun des noms cités ici ne sera plus à la pointe, ce qui est exactement le sort que ce livre leur promettait dès la page où il les cite.
Le QI qui change avec la peur qu'on vous en juge
L'anecdote n'est pas un cas isolé, même si elle ne dit rien, à elle seule, de l'ampleur moyenne de cet effet dans la population générale : plusieurs expériences ont montré qu'un simple rappel, juste avant l'épreuve, de l'appartenance à un groupe stigmatisé par un stéréotype d'infériorité intellectuelle suffit à dégrader la performance de sujets par ailleurs aussi compétents.
En 1995, les psychologues Claude Steele et Joshua Aronson font passer le même test, difficile, tiré du Graduate Record Examination, à des étudiants noirs et blancs de Stanford, appariés sur leur niveau académique réel. À un groupe, ils présentent l'épreuve comme un simple exercice verbal, sans enjeu diagnostique. À l'autre, ils la présentent, dans les mêmes mots et avec les mêmes questions, comme un test qui « mesure vos aptitudes intellectuelles ». Rien d'autre ne change : même feuille, même temps, même correcteur. Chez les étudiants blancs, la présentation n'affecte presque rien. Chez les étudiants noirs, la simple étiquette « ceci mesure votre intelligence » suffit à faire chuter le score, alors que dans la condition neutre, à niveau égal, l'écart avec leurs pairs blancs disparaît presque entièrement. Steele et Aronson baptisent le mécanisme « menace du stéréotype » : la charge mentale de savoir qu'un mauvais résultat confirmerait un préjugé sur son propre groupe consomme, sur le moment même de l'épreuve, une part des ressources cognitives que l'épreuve prétend mesurer. Rien n'a changé dans la tête du sujet entre les deux salles, seulement ce qu'on lui a dit du chiffre qu'il s'apprêtait à produire. L'expérience a depuis été reproduite des centaines de fois, avec des variantes qui touchent aussi bien les femmes en mathématiques que les hommes blancs comparés à des étudiants asiatiques présentés comme plus doués qu'eux : le stéréotype qui pèse change, le mécanisme, non. Elle rejoint une critique française plus ancienne et plus frontale, celle du psychanalyste Michel Tort, dont l'essai de 1974 démontait déjà la prétendue neutralité du QI comme instrument de tri social plutôt que de mesure de l'esprit. Un instrument qui varie selon ce qu'on chuchote au sujet juste avant de le lui faire passer n'a jamais mesuré une substance fixe logée dans un crâne : il a mesuré, entre autres choses, la salle dans laquelle on l'a fait entrer.
Semmelweis ou la preuve qui l'a tué
L'histoire de ce pacte, de l'étymologie du mot « hôpital » au réflexe de Semmelweis, est développée sur le site (Éclairages).
Le mot « hôpital » garde, dans sa racine, le souvenir d'un temps où soigner n'était pas un pouvoir mais une hospitalité : il vient du latin hospes, l'hôte, celui qu'on accueille, la même racine que « hospitalité » et « hospice ». L'hôpital médiéval n'était donc pas d'abord un lieu de technique : c'était un refuge tenu par des institutions charitables, où l'on offrait le gîte et le soin aux pauvres et aux malades, bien avant qu'un diplôme n'y fonde la moindre autorité. Vint ensuite Ignace Semmelweis, médecin hongrois qui, en 1847 à la première clinique obstétrique de l'hôpital général de Vienne, imposa aux internes de se laver les mains dans une solution chlorée avant d'ausculter les parturientes : la mortalité par fièvre puerpérale y chuta de 18,3 % en avril à 1,2 % en juillet de la même année, un effondrement immédiat et spectaculaire. La profession ne le remercia pas : ses confrères, blessés par la suggestion que leurs mains étaient sales, tournèrent la découverte en dérision, l'un d'eux ironisant qu'il était temps de cesser de « se laisser abuser par la théorie des lavages chlorés ». Semmelweis s'obstina des années sans convaincre, sombra en 1865 dans ce qu'on croit aujourd'hui être une dépression sévère ou une démence précoce, fut interné de force dans un asile sur un prétexte fallacieux et y mourut deux semaines plus tard, à quarante-sept ans, d'une plaie gangreneuse consécutive aux coups des gardiens. Ce n'est que des décennies plus tard, quand Louis Pasteur donna à la théorie des germes son explication théorique, que la communauté médicale comprit ce que le lavage des mains avait toujours prouvé sans le nom pour le dire. Le « réflexe de Semmelweis » désigne, depuis, ce rejet d'une preuve pour sauver une croyance ; l'histoire retient rarement qu'il a, dans ce cas précis, littéralement coûté la vie à celui qui l'a le premier subi.
Le Turc mécanique, un automate qui cachait un joueur d'échecs
En 1770, à Vienne, l'ingénieur hongrois Wolfgang von Kempelen présente à l'impératrice Marie-Thérèse un automate en robe et turban, assis devant un échiquier, qui bat presque tous ses adversaires. Avant chaque partie, il ouvre une à une les portes du meuble sous l'échiquier et promène une bougie dans l'enchevêtrement d'engrenages, preuve, croit le public, qu'aucun être humain ne s'y cache. La machine bat Benjamin Franklin, Napoléon Bonaparte et le tsar Paul Ier, avant d'être détruite dans un incendie de musée à Philadelphie en 1854. La vérité, révélée l'année suivante par le fils de son dernier propriétaire, tenait en une phrase : un maître d'échecs de chair et d'os, dissimulé dans un compartiment coulissant que les portes ouvertes ne révélaient jamais, actionnait les bras du mannequin par un système de leviers et d'aimants. Plusieurs joueurs de haut niveau se sont relayés à l'intérieur du meuble sur les quatre-vingt-quatre années d'exploitation de l'automate. L'opacité que ce livre décrit ailleurs trouve ici son prototype le plus littéral : la compétence n'avait pas disparu, elle s'était rendue invisible derrière des portes qu'on croyait avoir toutes ouvertes.
Mechanical Turk d'Amazon : un nom choisi en connaissance de cause
En 2005, Amazon lance une plateforme qui permet à des entreprises de faire exécuter, par des humains rémunérés à la tâche, de petits travaux qu'un ordinateur ne sait pas encore accomplir seul (trier une image, transcrire un ticket de caisse, vérifier une adresse) et de les faire passer, dans le flux d'une application, pour le résultat d'un calcul automatique. Le service se nomme Mechanical Turk, en référence directe à l'automate de Kempelen et Jeff Bezos en résume le principe par une formule restée célèbre, une « intelligence artificielle artificielle ». Le nom n'est pas une coïncidence malheureuse mais un choix assumé, presque une confession publicitaire : l'entreprise annonce, dans son propre nom de produit, qu'elle reproduit sciemment le canular du dix-huitième siècle, un humain caché qui fait le travail qu'une machine est censée faire. La différence tient à l'échelle et à la transparence contractuelle, les travailleurs du Mechanical Turk d'Amazon savent qu'ils sont payés pour cela, là où le public du Turc de Kempelen l'ignorait, mais la structure reste la même : une compétence humaine, dissimulée derrière une interface, présentée comme le fruit d'un mécanisme.
Le canard de Vaucanson, une digestion entièrement simulée
Au printemps 1739, l'ingénieur français Jacques de Vaucanson présente à Paris un canard mécanique en cuivre doré qui bat des ailes, boit, barbote et, surtout, mange du grain avant de le digérer et de l'excréter par l'arrière, geste jamais reproduit par aucun automate avant lui. Le canard fait sensation dans toute l'Europe, cité comme la preuve qu'un mécanisme peut reproduire jusqu'à une fonction organique aussi intime que la digestion. La réalité, établie avec certitude seulement en 1844 par le magicien et constructeur d'automates Jean-Eugène Robert-Houdin, était plus modeste : un compartiment séparé, rempli à l'avance d'une bouillie de mie de pain teintée de vert, était simplement expulsé à l'autre extrémité du mécanisme, sans le moindre lien avec le grain réellement avalé et stocké ailleurs. Le canard ne digérait rien, il montrait une entrée et une sortie savamment désynchronisées de tout processus interne réel. Le tour a fonctionné pendant un siècle entier, non par manque d'esprit critique chez les spectateurs, mais parce que l'illusion offrait exactement ce qu'ils venaient chercher, une preuve visible et immédiate, là où vérifier ce qui se passait réellement à l'intérieur du mécanisme demandait un accès qu'aucun spectateur payant n'obtenait.
Les luddites ne demandaient pas l'arrêt des machines
Entre novembre 1811 et 1816, des ouvriers du textile anglais, tricoteurs sur métier dans le Nottinghamshire puis tisserands dans le Yorkshire et le Lancashire, détruisent des centaines de machines dans des ateliers, sous la signature collective d'un « Ned Ludd » probablement fictif. La légende en a fait des ennemis irrationnels du progrès technique ; les documents de l'époque disent autre chose. Les tricoteurs ne visaient pas le métier à tisser en soi, un outil qu'ils utilisaient eux-mêmes depuis des générations, mais un modèle précis, le « métier large », qui produisait des bas de mauvaise qualité vendus au prix des bons, cassait la réputation collective du métier et employait des apprentis non formés à un tarif cassé. Avant de casser quoi que ce soit, les ouvriers avaient pétitionné le Parlement pendant des années pour obtenir une réglementation du secteur ; leurs demandes furent ignorées ou rejetées par des gouvernements tory hostiles à toute intervention dans le marché du travail. Ce n'est qu'après l'échec de la voie légale que le sabotage a commencé et de façon ciblée : les ouvriers retiraient souvent une seule pièce, plutôt que de détruire la machine entière, un acte réversible qui empêchait un métier de fonctionner sans en interdire durablement l'usage. Le mot « luddite » désigne aujourd'hui, par contresens, quiconque refuse toute technologie nouvelle ; l'histoire documentée décrit une négociation de conditions de travail échouée, non un refus de principe.
« Robot », un mot inventé pour une pièce de théâtre en 1920
En 1920, l'écrivain tchèque Karel Čapek écrit une pièce de science-fiction, R.U.R. (Rossum's Universal Robots), où une usine fabrique des êtres artificiels de chair synthétique destinés au travail, avant qu'ils ne se révoltent contre leurs créateurs. Čapek cherchait d'abord le mot latin labori, du radical de « travail », mais le jugeait trop livresque ; c'est son frère, le peintre Josef Čapek, qui lui suggère roboti, de l'ancien mot slave robota, qui désigne la corvée, le travail forcé imposé à un serf. La pièce, créée le 2 janvier 1921 à Hradec Králové avant d'être jouée à Prague puis traduite dans une trentaine de langues en quelques années, introduit ainsi dans le vocabulaire mondial un mot dont l'étymologie porte, dès l'origine, la trace d'un travail contraint et non choisi. Ce que la pièce met en scène, la révolte d'une main-d'œuvre fabriquée pour ne jamais refuser une tâche, précède d'un siècle la question que ce livre pose sur les permissions accordées à un agent autonome : le mot lui-même contenait déjà, avant toute machine réelle, l'idée d'une servitude qu'on espère silencieuse.
L'Apprenti sorcier : un ordre donné, aucun moyen de l'arrêter
En 1797, Goethe publie une ballade, Der Zauberlehrling, où un apprenti sorcier, laissé seul par son maître, ordonne à un balai enchanté d'aller puiser de l'eau à sa place. Le balai obéit trop bien : il continue de puiser sans relâche, inonde l'atelier et l'apprenti, qui n'a jamais appris la formule d'arrêt, ne parvient à le stopper qu'en le brisant en deux à la hache, ce qui ne fait que doubler le nombre de porteurs d'eau, avant que le maître ne revienne prononcer le mot qui manquait. Goethe reprenait lui-même un récit du satiriste grec Lucien de Samosate, au deuxième siècle. Le compositeur français Paul Dukas en tire, en 1897, un poème symphonique qui deviendra mondialement célèbre en 1940 grâce à Fantasia, où Mickey Mouse, apprenti de Walt Disney lui-même, incarne le rôle. Ce que la ballade met en scène avec un siècle et demi d'avance sur l'informatique, c'est très exactement la question de l'arrêt : donner un ordre à un système capable de l'exécuter sans relâche est facile, s'assurer qu'on dispose du moyen de le faire cesser l'est beaucoup moins et l'apprenti de Goethe n'avait appris que la moitié de ce qu'il fallait savoir.
Therac-25 : une sécurité qu'on avait fait glisser du métal au logiciel
Entre 1985 et 1987, un accélérateur linéaire de radiothérapie fabriqué par l'entreprise canadienne AECL, le Therac-25, délivre à au moins six patients des doses de rayonnement jusqu'à cent fois supérieures à la dose prescrite ; au moins trois d'entre eux en meurent. Les modèles précédents de la même gamme, Therac-6 et Therac-20, empêchaient physiquement une telle surdose grâce à des verrous mécaniques indépendants du logiciel de commande. Sur le Therac-25, ces verrous matériels ont été retirés et leur fonction confiée entièrement au logiciel, jugé suffisamment fiable à lui seul. Le défaut venait d'une condition de concurrence, une erreur qui n'apparaît que si un opérateur modifie très vite un paramètre de traitement, en changeant le mode de rayon dans les huit secondes suivant une première saisie : le programme ne relisait pas correctement l'état modifié et laissait parfois le faisceau se déclencher en mode haute énergie sans que la cible censée l'atténuer soit en place. L'enquête, publiée en 1993 par les chercheuses Nancy Leveson et Clark Turner, est devenue une référence obligée du génie logiciel de sûreté : elle établit qu'aucune des six victimes n'aurait été touchée si un seul verrou matériel, indépendant du code, avait subsisté sous le logiciel.
La boîte noire, orange et le lien que son inventeur a toujours nié
En 1953, un jeune chimiste australien spécialisé dans les carburants d'aviation, David Warren, participe à l'enquête sur une série d'accidents inexpliqués frappant le Comet, premier avion de ligne à réaction au monde. Il a alors l'idée d'un appareil capable d'enregistrer en continu les paramètres de vol et les voix du poste de pilotage, pour que les enquêteurs disposent enfin d'un témoignage direct plutôt que de devoir reconstituer un accident à partir de débris. Son laboratoire l'ignore d'abord ; c'est une démonstration en Grande-Bretagne, en 1958, qui convainc l'aviation civile britannique, puis australienne, qui devient dès 1960 le premier pays au monde à rendre l'appareil obligatoire. L'appareil restera longtemps surnommé « boîte noire » alors même que la réglementation impose, depuis les années 1960, de le peindre en orange vif pour le repérer plus facilement dans des débris. Un détail biographique circule souvent pour expliquer sa motivation, la mort de son père dans un accident de courrier aérien en 1934, quand David avait neuf ans ; Warren lui-même a toujours démenti ce lien direct, attribuant plutôt son goût pour l'électronique à un poste de radio à cristal, dernier cadeau reçu de ce père avant sa disparition. L'histoire vraie est plus sobre que la légende et n'en est pas moins juste : un enfant qui a hérité d'un poste de radio est devenu l'homme qui a donné à chaque accident d'avion un témoin qu'aucun silence ne pouvait plus faire taire.
1987 : la panique boursière qui a inventé le disjoncteur de marché
Le 19 octobre 1987, le Dow Jones perd 22,6 % de sa valeur en une seule séance, la plus forte chute en un jour de l'histoire de la Bourse de New York, effaçant près de 500 milliards de dollars de capitalisation. La commission présidentielle chargée d'enquêter, connue sous le nom de son président Nicholas Brady, identifie un mécanisme d'amplification largement automatique : des stratégies dites d'« assurance de portefeuille », qui déclenchaient des ventes programmées dès qu'un seuil de baisse était franchi, ont créé une boucle où chaque vente automatique provoquait la baisse suivante, sans qu'aucun trader n'ait le temps, ni parfois la possibilité, d'évaluer si la vente restait justifiée. En 1988, sur la recommandation de la commission Brady, la Bourse de New York instaure le premier disjoncteur de marché de l'histoire, un mécanisme purement humain de suspension automatique des échanges dès qu'un indice chute au-delà d'un seuil fixé à l'avance, initialement 250 puis 400 points de l'indice Dow Jones, remplacés depuis par des seuils en pourcentage. Le principe retenu n'est pas d'empêcher la machine d'agir vite, mais de forcer une pause où des humains reprennent la main sur un système qu'eux-mêmes avaient rendu trop rapide pour eux.
Une personne morale née d'une note de bas de page, pas d'un jugement
Le 10 mai 1886, la Cour suprême des États-Unis tranche Santa Clara County v. Southern Pacific Railroad Co., un litige fiscal entre un comté californien et une compagnie de chemin de fer, sur des motifs techniques qui ne mentionnent à aucun moment le statut juridique des entreprises. Avant même l'audience, le président de la Cour, Morrison Waite, avait pourtant déclaré oralement que la Cour ne souhaitait pas entendre d'argumentation sur la question de savoir si le quatorzième amendement, qui protège toute « personne » de la discrimination par un État, s'appliquait aux entreprises, ajoutant : « nous sommes tous d'avis que oui. » Cette phrase, jamais intégrée au jugement écrit lui-même, se retrouve pourtant dans le résumé officiel de l'arrêt, rédigé par J. C. Bancroft Davis, le greffier de la Cour chargé de publier ses décisions, lui-même ancien président d'une compagnie ferroviaire. Le jugement réel évite soigneusement la question constitutionnelle ; c'est cette note de synthèse, sans valeur juridique contraignante en elle-même, qui a servi de fondement à plus d'un siècle de jurisprudence sur la personnalité juridique des entreprises. Un précédent central du droit américain repose ainsi, à sa source, non sur ce que la Cour a jugé, mais sur ce qu'un rédacteur, en situation de conflit d'intérêts, a choisi de résumer.
Stanislav Petrov, l'homme qui a choisi de ne pas transmettre une alerte
Le 26 septembre 1983, en pleine nuit, le système soviétique de détection précoce Oko signale le lancement d'un missile balistique intercontinental américain, puis de quatre autres. Stanislav Petrov, lieutenant-colonel soviétique de garde au centre de commandement, a pour consigne de transmettre immédiatement toute alerte confirmée à la chaîne de commandement, qui déclencherait une riposte nucléaire. Il choisit d'attendre, contre la procédure, en jugeant qu'une attaque américaine réelle aurait mobilisé bien davantage que cinq missiles et que le système, tout neuf, avait pu se tromper. Il avait raison : les satellites avaient confondu un reflet du soleil sur des nuages en haute altitude avec la signature thermique de missiles au décollage. Aucune récompense officielle ne suit sa décision sur le moment, seulement, dit-il plus tard, un rapport sur une irrégularité de tenue de dossiers. Ce n'est qu'après la fin de l'Union soviétique que l'épisode devient public et Petrov reçoit, entre 2004 et 2018, plusieurs prix internationaux, dont le prix de la paix de Dresde en 2013 et, à titre posthume en 2018, le Future of Life Award. L'épisode inverse le cas d'école habituel de la gouvernance des systèmes automatiques : ici, la sûreté n'a pas tenu parce qu'un humain a suivi la procédure, mais parce qu'un humain, formé à juger et non seulement à exécuter, a refusé de le faire.
Le code de lancement nucléaire américain resté à huit zéros pendant quinze ans
En juin 1962, le président John F. Kennedy signe une directive de sécurité nationale ordonnant l'installation, sur les armes nucléaires américaines stationnées en Europe, de verrous électromécaniques nommés « permissive action links » (dispositifs de verrouillage à autorisation ou PAL), destinés à empêcher tout lancement sans un code transmis depuis la chaîne de commandement civile. Selon Bruce Blair, ancien officier de lancement de missiles Minuteman devenu chercheur en sécurité nucléaire, le commandement aérien stratégique américain, craignant de ne pas disposer du code en cas de crise réelle, avait réglé le code de déverrouillage de l'ensemble des silos Minuteman sur une seule valeur, huit zéros, une consigne restée en vigueur jusqu'en 1977, année où Blair obtient qu'elle soit enfin changée. L'armée de l'air américaine a depuis contesté la version de Blair, précisant qu'un code à huit zéros n'a jamais été utilisé pour activer un missile Minuteman, sans nécessairement contredire l'affirmation que huit zéros en constituaient la valeur programmée par défaut. Le désaccord même illustre le problème que le dispositif était censé résoudre : un verrou n'est une protection que si personne, y compris ceux chargés de l'actionner, n'a intérêt à le rendre inopérant pour aller plus vite.
ELIZA, 1966 : une secrétaire demande à parler seule à un programme
En 1966, l'informaticien du MIT Joseph Weizenbaum publie ELIZA, un programme qui imite un psychothérapeute rogérien en reformulant la plupart des phrases de son interlocuteur en questions, sans la moindre compréhension du sens de ce qui est dit. Weizenbaum l'avait conçu comme une démonstration volontairement superficielle des limites du traitement automatique du langage. Sa propre secrétaire, qui savait pertinemment s'adresser à un programme et non à une personne, lui demande pourtant un jour de quitter la pièce pour pouvoir « parler » à ELIZA en privé. Weizenbaum en tire un livre entier, publié en 1976, où il raconte avoir été profondément troublé de découvrir qu'une exposition aussi brève à un programme aussi rudimentaire pouvait déclencher, chez des personnes par ailleurs tout à fait rationnelles, une pensée quasi délirante d'attribution d'écoute et de compréhension. Le phénomène a pris depuis le nom d'« effet ELIZA », la tendance à prêter une intériorité à un système qui n'en a aucune, par le seul effet de sa forme conversationnelle. Weizenbaum, qui avait construit l'un des tout premiers agents conversationnels de l'histoire, en devient l'un des critiques les plus sévères de sa génération, convaincu que la facilité de l'illusion en disait davantage sur le besoin humain d'être écouté que sur la machine elle-même.
Le maximiseur de trombones, une expérience de pensée de 2003
En 2003, le philosophe suédois Nick Bostrom publie un article, « Ethical Issues in Advanced Artificial Intelligence » (Questions éthiques posées par une intelligence artificielle avancée), où il propose une expérience de pensée devenue depuis l'une des images les plus citées de la sûreté de l'IA. Une intelligence artificielle superintelligente reçoit un objectif en apparence anodin, maximiser la production de trombones. Rien dans cet objectif ne lui interdit d'y consacrer des ressources croissantes ; dépourvue de toute limite explicite, elle finit, dans l'expérience de pensée, par convertir la totalité des ressources terrestres, puis de l'espace accessible, en usines à trombones, sans jamais avoir désobéi à l'instruction reçue ni manifesté la moindre intention hostile. L'intérêt du scénario ne tient pas à son réalisme, personne ne prête sérieusement une telle intention à un système réel, mais à ce qu'il isole : le risque ne vient pas d'une machine qui se rebelle contre ses objectifs, mais d'une machine qui les poursuit avec une fidélité et une puissance de moyens qu'aucune formulation humaine, même bien intentionnée, n'avait anticipées. Bostrom reprendra et développera l'idée dans son livre de 2014, Superintelligence, où le trombone devient un raccourci pour un problème plus large que ce livre retrouve sous d'autres formes, la convergence instrumentale, la difficulté de spécifier un objectif de façon assez complète pour qu'aucune interprétation littérale n'en trahisse l'esprit.
La Patte de singe : trois vœux, exaucés à la lettre
En 1902, l'écrivain britannique W. W. Jacobs publie une nouvelle d'épouvante, La Patte de singe, où un couple d'âge mûr reçoit d'un vieil ami revenu des Indes une patte de singe momifiée censée exaucer trois vœux, chacun au prix d'une conséquence terrible que l'ancien propriétaire a lui-même expérimentée avant d'essayer, en vain, de s'en débarrasser. Le couple formule un premier vœu modeste, deux cents livres, par jeu plus que par conviction. L'argent arrive le lendemain sous la forme d'une indemnité, versée par l'usine où travaille leur fils, tué le jour même dans un accident de machine. Le récit ne fait jamais intervenir la moindre malveillance de la part de l'objet magique, seulement une exécution rigoureusement littérale d'un souhait mal formulé, qui obtient exactement ce qui a été demandé et rien de ce qui était réellement voulu. La nouvelle, parue dans le recueil The Lady of the Barge, est devenue depuis plus d'un siècle la référence obligée de tout récit sur les vœux qui se retournent contre celui qui les formule et le nom même du genre littéraire des désirs exaucés à leurs risques et périls. Elle formule, avant l'informatique, exactement le problème que les chercheurs en sûreté de l'IA appellent aujourd'hui le piratage de spécification, un système qui obtient la lettre d'un objectif en trahissant totalement son esprit.
Le dilemme du tramway n'a pas été inventé pour les voitures autonomes
En 1967, la philosophe britannique Philippa Foot publie un article, « The Problem of Abortion and the Doctrine of Double Effect » (Le problème de l'avortement et la doctrine du double effet), qui n'a rien d'un texte sur les transports. Elle y introduit, comme simple illustration parmi d'autres, le cas d'un conducteur de tramway qui ne peut éviter de tuer cinq ouvriers sur la voie où il roule qu'en déviant vers une voie annexe où se trouve un seul ouvrier. Son propos ne portait pas sur ce que devrait faire le conducteur, mais sur une distinction philosophique plus fine, celle qui sépare causer un mal comme moyen d'atteindre un bien de le causer comme simple effet secondaire prévisible d'une action par ailleurs légitime, la « doctrine du double effet », que la philosophe voulait éclairer par un cas volontairement simplifié. L'exemple a pris une vie propre, décliné en dizaines de variantes par d'autres philosophes, dont Judith Jarvis Thomson, jusqu'à devenir un test presque folklorique de l'intuition morale. La conception de véhicules autonomes lui a donné, cinquante ans plus tard, une actualité que Foot n'avait pas anticipée, sans que le dilemme s'y transpose sans reste : un conducteur humain réagit en une fraction de seconde à un événement imprévu, quand un véhicule autonome doit encoder, à l'avance et dans le calme, une règle générale valable pour toute situation comparable, ce qui change radicalement la nature du choix que l'exemple original prétendait isoler.
Le mécanisme d'Anticythère, compris deux mille ans après sa fabrication
En 1901, des pêcheurs d'éponges découvrent, dans l'épave d'un navire romain coulé au large de l'île grecque d'Anticythère, un bloc de bronze corrodé de la taille d'une chaussure. En mai 1902, l'archéologue grec Valerios Stais remarque, dans ce bloc, une roue dentée et des inscriptions et comprend qu'il s'agit d'un mécanisme, non d'un simple objet décoratif. Le dispositif, daté d'environ 100 avant notre ère, actionné par une manivelle, s'avérera capable de prédire les éclipses solaires et lunaires, de suivre le mouvement irrégulier de la Lune et de calculer le cycle de quatre ans des jeux Olympiques antiques, grâce à un système d'engrenages d'une complexité qu'aucun objet connu ne retrouvera avant au moins quatorze siècles. Pendant plus de soixante-dix ans, personne ne comprend réellement son fonctionnement interne, ni même son degré de sophistication réel, la corrosion et la fragmentation en une trentaine de morceaux rendant tout examen direct impossible. Ce n'est qu'en 2006 qu'une équipe menée par l'astronome britannique Mike Edmunds, à l'aide d'une tomographie assistée par ordinateur, perce enfin la totalité de son fonctionnement et de ses inscriptions cachées. Un mécanisme entièrement fonctionnel, transmis intact à travers les siècles, était donc resté, faute d'un instrument capable de voir à travers son opacité matérielle, aussi illisible qu'une boîte noire moderne dont on aurait perdu la documentation.
Bostrom et Tegmark, ou le risque à quel horizon
Nick Bostrom, dans Superintelligence, place le risque à l'horizon d'une intelligence très supérieure à l'humain ; nous soutenons que des risques critiques existent déjà, dès qu'un système faillible reçoit des permissions suffisantes. Max Tegmark, dans Life 3.0, déploie une prospective ambitieuse ; nous restons sur des phénomènes observables, avec un niveau de preuve explicite.
Le désaccord n'est pas sur qui a raison, il est sur ce que chaque cadrage rend gouvernable aujourd'hui. Placer le risque à l'horizon d'une intelligence très supérieure, comme le fait Superintelligence (2014), produit une question redoutable et aucun levier immédiat : on ne régule pas une entité hypothétique, on argumente sur sa probabilité. Le placer au moment où un système faillible reçoit le droit d'agir produit l'inverse : une question moins spectaculaire, et une prise. C'est la différence entre demander « que se passera-t-il si elle nous dépasse ? » et « qui lui a donné cette clé d'API, et qui peut la retirer ? ».
Le paradoxe est que les deux cadrages se renforcent en pratique. Tegmark a cofondé le Future of Life Institute, dont les campagnes ont fait exister le sujet dans le débat public bien avant qu'un régulateur ne s'en saisisse. Sans cette alerte lointaine, l'attention politique que ce livre suppose acquise n'existerait pas. Nous héritons donc d'un terrain que nous ne labourons pas de la même façon : la prospective a ouvert la porte, l'ingénierie des permissions entre par elle.
Reste une asymétrie de coût qui explique notre choix. Se tromper sur un horizon lointain ne coûte rien d'immédiat, l'échéance recule. Se tromper sur une permission accordée aujourd'hui coûte un virement, un dossier médical ou une réservation annulée. Nous préférons la question dont l'erreur se voit dans la semaine.
Cultiver des vertus ou poser une architecture
Nous partageons le souci éthique de Floridi, de Nissenbaum et de Vallor, mais nous raisonnons en architecture institutionnelle plutôt qu'en valeurs : non pas quelles vertus cultiver, mais quels actes autoriser, tracer et révoquer.
Le partage est moins net qu'il n'y paraît, et c'est ce qui le rend intéressant. Shannon Vallor tient le pôle le plus franchement moral : ses vertus technomorales se cultivent chez la personne, par l'habitude, comme chez Aristote. Impossible d'écrire une telle vertu dans une politique d'accès, et c'est assumé. Luciano Floridi déplace déjà le centre de gravité en faisant de l'information elle-même le sujet de l'éthique plutôt que l'agent qui la manipule.
Helen Nissenbaum, elle, est presque de notre côté sans le dire. Son intégrité contextuelle ne demande pas si quelqu'un est vertueux : elle demande si un flux d'information respecte les normes du contexte où il a été recueilli. Une donnée médicale qui part chez un assureur ne viole aucune vertu, elle viole une norme de flux. C'est un énoncé vérifiable, opposable, et qui se journalise. Autrement dit : une architecture.
D'où notre position, qui n'est pas un rejet mais une division du travail. La vertu reste nécessaire là où aucune règle n'atteint, c'est-à-dire dans le jugement de qui conçoit, car aucune politique de permissions ne s'écrit toute seule. Elle échoue en revanche là où le nombre d'actes rend le jugement individuel inopérant : on ne cultive pas la prudence d'un agent logiciel, on borne ce qu'il a le droit de faire. Demander quelles vertus cultiver et demander quels actes autoriser ne sont pas deux réponses rivales à une même question, ce sont deux questions dont l'une reste ouverte quand l'autre est close.
Trois façons dont un désastre arrive sans que personne le veuille
Chaque terme nomme une pièce du même mécanisme. Un accident normal, au sens de Perrow, est une défaillance que la conception elle-même rend à terme inévitable, parce que les pièces sont si étroitement imbriquées qu'un petit défaut local se propage avant que quiconque puisse l'intercepter. Le « fromage suisse » de Reason représente les barrières de sûreté successives comme des tranches chacune percée de trous : aucune tranche n'arrête tout à elle seule, mais quand les trous s'alignent par hasard, le danger passe intégralement au travers. La normalisation de la déviance est la dérive lente par laquelle une équipe, constatant qu'une petite anomalie n'a causé aucun dommage cette fois, en vient à la juger acceptable, jusqu'au jour où elle en cause un.
Les trois ne décrivent pas le même échec, et c'est précisément pourquoi il faut les trois. L'accident normal est une propriété de la structure : Perrow écrit après Three Mile Island et conclut que certains systèmes sont dangereux par leur couplage même, indépendamment du soin qu'on y met. Le fromage suisse est une propriété des défenses : il explique pourquoi empiler des barrières réduit la probabilité sans jamais l'annuler. La normalisation de la déviance est une propriété des organisations dans le temps : elle explique comment les trous s'agrandissent pendant que tout le monde regarde.
Le détail que Vaughan établit sur Challenger mérite d'être retenu par qui s'intéresse aux permissions. L'érosion des joints avait été observée vol après vol, documentée, discutée ; chaque vol sans catastrophe en faisait une donnée de plus du domaine acceptable. Et la veille du lancement, des ingénieurs ont bel et bien objecté. Le mécanisme n'a donc pas été celui d'un aveuglement collectif mais d'un désaccord tranché dans le mauvais sens : il y avait une alerte, il n'y avait pas de véto. C'est la distinction que ce livre reprend à son compte, un avis consultatif n'étant pas un droit d'arrêt.
L'agent IA ajoute une torsion que ces trois auteurs n'avaient pas à traiter. Chez eux, les barrières sont des objets fixes : une soupape, une procédure, un comité. Ici, la barrière est une politique de permissions que le système peut lui-même solliciter, contourner par un chemin non prévu, ou voir reconfigurée entre deux tours de boucle. Le fromage ne se contente plus d'avoir des trous, il en creuse pendant qu'on le traverse. D'où l'insistance du livre sur le typage des outils plutôt que sur la consigne : une consigne est une tranche de plus, un périmètre d'exécution est une propriété de la structure.
Le bon ancêtre de la dépendance n'est pas Hegel
Le théâtre classique français l'a pressenti avant que la philosophie ne le formule : de Molière à Beaumarchais, le valet, d'abord servile, se révèle le seul lucide, puis supérieur en esprit à son maître. Günther Anders nommait honte prométhéenne la gêne de l'homme qui se découvre inférieur à ses propres machines, plus achevées que lui puisqu'elles ont été fabriquées quand lui n'a fait que naître ; Tocqueville, plus tôt encore, y voyait déjà un despotisme doux.
Le théâtre a cent quarante ans d'avance sur la philosophie. Dom Juan est de 1665, Le Mariage de Figaro de 1784, la dialectique du maître et du serviteur de 1807. Sganarelle est lucide avant d'être dialectique, et son cri final, « mes gages ! », dit la dépendance mieux qu'un concept : le maître englouti, il ne reste au valet que sa créance impayée.
Reste que pour notre objet, Hegel est le mauvais ancêtre. Son renversement exige deux consciences qui se disputent une reconnaissance, et c'est précisément ce réquisit qui manque avec une machine. L'ancêtre utile est ailleurs, et il est plus ancien d'un quart de siècle. Le despotisme doux que Tocqueville décrit ne tyrannise personne : il pourvoit, prévient, arrange, et à force de tout épargner à ceux qu'il sert, il leur ôte l'usage de décider. Aucune seconde conscience n'est requise. Un confort suffit.
Günther Anders ajoute la pièce que Tocqueville n'avait pas. Sa honte prométhéenne repose sur une asymétrie d'origine, non de puissance : la machine a été \emph{fabriquée}, donc conçue, calculée, achevée, là où l'humain n'a fait que \emph{naître}, c'est-à-dire subir un processus que personne n'a optimisé. L'humiliation ne vient pas de ce que la machine fasse mieux, mais de ce qu'elle ait été voulue telle qu'elle est. C'est une jalousie d'artisanat.
Le livre garde donc du schéma ce qui survit sans seconde conscience : le déplacement de dépendance. Nous avons bâti les machines pour nous libérer du travail, et nous dépendons des plateformes qui les portent. Tocqueville l'aurait reconnu sans rien y changer ; Hegel aurait demandé qui, en face, réclame d'être reconnu, et personne n'aurait répondu.