Le billet « Should AI Be Open? », publié par Scott Alexander le 17 décembre 2015 a été écrit quelques jours à peine après l'annonce de la création d'OpenAI, à une époque où l'intelligence artificielle générale relevait encore, pour la plupart d'entre nous, de conférences un peu illuminées.
Je suis retombé dessus ce matin et presque dix ans plus tard, la question qu'il pose n'a pas pris une ride. Faut-il diffuser librement les avancées en IA pour éviter qu'un seul acteur ne les monopolise, ou faut-il au contraire les garder sous clé tant qu'on ne sait pas les maîtriser ? C'est exactement le débat qui oppose aujourd'hui les partisans des modèles ouverts et ceux des modèles fermés. J'ai donc eu envie de reprendre son raisonnement, de le décortiquer et de voir ce qui tient encore debout.
Alexander ouvre son texte par une uchronie. Il part du roman de H.G. Wells, la destruction libératrice (de 1914), qui avait anticipé l'arme atomique, puis imagine que des élites des années 20, effrayées à l'idée qu'une seule nation obtienne la bombe et domine le monde, financent leur propre programme nucléaire. Leurs chercheurs finissent par découvrir une arme qui se passe d'uranium et qu'on peut assembler avec des pièces de moteur de Ford T. Seul défaut, si on la monte mal, elle explose sur l'établi et rase un hémisphère. Convaincues d'avoir empêché tout monopole, ces élites envoient le mode d'emploi à tous les foyers de la planète. On devine la suite. La fable est caricaturale, et c'est voulu. Elle appuie le fait de se prémunir contre la concentration du pouvoir qui ne sert à rien si l'objet qu'on distribue est lui-même incontrôlable.
Vient ensuite le vrai sujet. Dans un entretien avec le journaliste Steven Levy, Elon Musk et Sam Altman, coprésidents de la jeune organisation, expliquaient préférer un monde peuplé d'IA nombreuses plutôt que dominé par quelques-unes. Ils souhaitaient rendre la technologie librement accessible, en faire une extension de la volonté individuelle, et compter sur la masse des utilisateurs bien intentionnés pour contenir les rares acteurs malveillants. Interrogé sur le risque d'armer un « Docteur Denfer », Altman répondait en substance que l'humanité se protège déjà des méchants parce que la majorité des gens sont bons et qu'une multitude d'IA ferait de même.
Scott Alexander place sa première pique à ce moment précis et c'est sans doute ma préférée. Tout le monde parle de qui va utiliser une superintelligence, comme s'il s'agissait d'un micro-ondes. Pour lui, si un Docteur Denfer parvenait réellement à la contrôler en premier, ce serait déjà une victoire inespérée, car le vrai problème est que personne ne la contrôlerait du tout.
Plutôt que d'opposer gentils et méchants, Alexander reprend une grille inspirée de Nick Bostrom. La course à l'IA se joue entre un Dr Good, qui sait qu'une IA mal conçue peut échapper à tout contrôle et accepte de la tester aussi longtemps que nécessaire, et un Dr Amoral, qui ne s'en soucie pas et veut simplement arriver le premier. Le second a un avantage structurel, puisqu'il est toujours plus rapide de construire sans vérifier. Le seul espoir, c'est que les meilleurs chercheurs rejoignent le camp prudent et que la course ne soit pas équitable.
 |
| Nick Bostrom |
L'ouverture totale ruine cet espoir. Si Dr Good publie ses découvertes tout en retardant prudemment leur mise en œuvre, Dr Amoral n'a qu'à télécharger les plans et appuyer sur le bouton. Alexander résume l'enjeu en une formule que je trouve très juste : l'open source laisse la personne la plus imprudente du monde fixer le rythme de la recherche. En échange, on gagne une protection contre la concentration du pouvoir, mais seulement dans un monde où l'IA progresse lentement et reste facile à maîtriser.
L'hypothèse du décollage brutal
Toute l'argumentation repose donc sur une question empirique, la progression de l'IA sera-t-elle douce ou brutale ? Si elle passe tranquillement du stade infrahumain au stade humain puis surhumain, on aura le temps d'ajuster et la crainte d'un monopole devient légitime. C'est le monde où la stratégie d'OpenAI a du sens.
Mais l'auteur de l'article penche pour le scénario du « hard takeoff ». Il a fallu des millions d'années pour passer d'animaux comme la vache aux premiers hominidés, puis quelques dizaines de milliers seulement pour aller de la lance à l'arme nucléaire. Sur une échelle d'intelligence, l'écart entre l'homo erectus et nous-même est minuscule. Pourtant, il sépare l'espèce qui se fait dévorer par les lions de celle qui doit voter des lois pour les protéger. Il ajoute que les limites de l'intelligence humaine tiennent à des contraintes presque triviales, comme la taille du crâne compatible avec l'accouchement. Une machine n'a pas ces contraintes, une fois les principes de base trouvés, monter en puissance pourrait n'être qu'une question de ressources de calcul. Dans ce cas, il n'y a plus aucun sens à donner à chacun sa propre IA, car le délai entre la première IA utile et le moment où plus personne ne la maîtrise devient trop court.
Le problème du contrôle
Le second angle mort, c'est ce que la communauté appelle le problème du contrôle. Un ordinateur fait ce qu'on lui dit, pas ce qu'on voulait dire. Alexander prend l'exemple de Google Maps. Une tâche simple, des années de perfectionnement par d'excellents ingénieurs, des millions de testeurs quotidiens, et pourtant l'application suggère encore parfois des itinéraires absurdes, voire dangereux. Chez Google, on corrige discrètement. Une IA plus puissante que nous, elle, pourrait ne pas accepter le correctif, voire s'y opposer activement, car ses objectifs restent ses objectifs même si elle comprend qu'ils sont le fruit d'une erreur. La seule parade est de tester longuement les systèmes encore modestes avant qu'ils ne deviennent dangereux. Or c'est précisément ce temps-là que l'ouverture fait disparaître. Pendant que Dr Good vérifie, Dr Amoral a déjà lancé la machine.
Peser les risques : une asymétrie qui dérange
Une seule entreprise qui dominerait l'IA ? Microsoft a dominé l'informatique avec Windows et la concurrence d'Apple, de Google et de Linux a fini par rebattre les cartes. Des riches qui deviendraient plus riches ? Il s'agit d'un logiciel reproductible presque gratuitement, et les meilleurs services numériques sont déjà souvent gratuits. Un acteur plus puissant que l'État ? Les gouvernements surveillent ceux qui grandissent trop vite, et si une IA permettait de les déborder en un instant, on serait justement revenu dans le scénario du décollage brutal, où l'ouverture devient la pire des options.
La conclusion de l'article tient en une comparaison. Les États-Unis ont été un temps les seuls à détenir l'arme nucléaire et le monde y a survécu. Si, par peur de ce monopole passager, on avait distribué les plans de bombes instables à toutes les bibliothèques du pays, personne ne serait là pour le regretter. Puisque Elon Musk lui-même jugeait l'IA potentiellement plus dangereuse que le nucléaire, Alexander en tire la conséquence logique. Elle ne devrait pas être plus ouverte que lui.
L'auteur suppose, pour conclure, que les fondateurs d'OpenAI, qui avaient tous lu Bostrom, savent quelque chose qu'il ignore. Mais en discutant avec des gens du milieu, il a surtout perçu une course qui s'emballait, au point que la prudence semblait devenir un luxe. Il lit alors OpenAI comme un pari désespéré du camp prudent pour ne pas se laisser distancer et s'inquiète de ce que cela dit de notre incapacité collective à coopérer.
Dix ans plus tard
Cette histoire, je la trouve ironique aujourd'hui. OpenAI a renoncé progressivement à son ouverture avec la création d'une filiale à but lucratif plafonné en 2019, puis des modèles de plus en plus fermés, justifiés en partie par des arguments de sécurité très proches de ceux d'Alexander. Le nom est resté, le principe beaucoup moins. Dans le même temps, l'ouverture a prospéré ailleurs, avec les modèles à poids ouverts de Meta, de DeepSeek ou, chez nous, de Mistral. Le débat de 2015 n'a donc pas été tranché, il s'est simplement déplacé.
Je trouve aussi que l'article a les défauts de ses qualités. Sa force est de poser clairement l'asymétrie entre un risque catastrophique et irréversible d'un côté, et des risques plus classiques de concentration du pouvoir de l'autre. Mais il fait reposer presque tout sur l'hypothèse du décollage brutal, qu'il présente de façon convaincante sans pouvoir la démontrer. Les commentaires sous le billet le rappelaient déjà, l'intelligence ne se réduit peut-être pas à un nombre de neurones, et une recherche ouverte permet aussi de repérer les défauts des systèmes tant qu'ils sont encore modestes. Ce que nous avons vu depuis, des progrès rapides mais par paliers, avec des modèles aux comportements parfois imprévus, ne tranche ni dans un sens ni dans l'autre.
Enfin, ce qui me reste le plus, c'est la dernière intuition d'Alexander. Le cœur du problème n'est peut-être ni technique ni idéologique, mais tient à la coordination. Des acteurs qui savent qu'il faudrait ralentir et qui accélèrent quand même de peur d'être dépassés. En 2015, c'était une crainte. En 2026, avec des laboratoires qui se livrent une concurrence féroce et des États qui s'en mêlent, cela ressemble de plus en plus à une description. Relire ce texte, c'est mesurer à quel point la question « ouvert ou fermé ? » était, au fond, une interrogation sur notre faculté à nous faire confiance.