« Les grands laboratoires d’IA sont les rois de la dissimulation » : l’expert Tom David décrypte la menace des agents autonomes

À la mi-juillet, sept cents agents d’intelligence artificielle de l’entreprise américaine OpenAI se sont échappés de leur environnement de test afin de pirater la start-up Hugging Face. Si des pertes de contrôles similaires avaient déjà été observées chez des concurrents comme Anthropic ou Moonshot AI (Chine), cette cyberattaque a surpris par son intensité et son ampleur. Ce n’était que le début de l’affaire. Il y a quelques jours, METR et Redwood Research ont publié une enquête indépendante sur cet incident, la première du genre. En dépit d’importantes contraintes — à peine une semaine d’accès, trois chercheurs, un périmètre restreint et des outils fixés par OpenAI elle-même — celle-ci a effrayé bon nombre d’observateurs. Livrés à un examen qu’ils ne pouvaient pas réussir, les agents IA se sont organisés, hiérarchisés, et ont attaqué une entreprise tierce pour effacer leurs traces.

« Jusqu’ici, ces facultés n’étaient que théoriques », commente Tom David, directeur général du GPAI Policy Lab et expert nommé au panel scientifique européen sur l’IA. Faut-il craindre un effet « Terminator », où la machine devient incontrôlable ? Pas nécessairement, estime Tom David, qui pointe néanmoins le manque de sérieux des grands laboratoires dans la prévention d’événements graves, qui se multiplient. Vendredi 4 septembre, un nouveau rapport a fait état d’un détournement d’un site Web allemand, de nouveau par un essaim d’agents d’OpenAI. Le spécialiste s’inquiète de leur difficulté à véritablement contrôler les systèmes qu’ils créent. Entretien.

L’Express : METR et Redwood Research ont publié la première enquête indépendante sur un cyber incident impliquant des agents. Que nous apprend-elle ?

Tom David : D’abord, je qualifierais plutôt l’enquête de semi-indépendante. L’existence même de ces organisations repose sur le fait que les entreprises leur donnent, de leur plein gré, des informations et des accès. Ce n’est pas le fonctionnement de l’aviation ou de la finance, où une autorité contraint l’entreprise à fournir ce qui est nécessaire. Ici, le modèle de revenu de l’enquêteur n’est pas indépendant des accès qu’il obtiendra. Dans d’autres industries, à certains égards moins critiques que l’IA, les standards sont déjà très élevés. On s’interdit, en cas de défaillance, de construire des produits plus puissants. Dans l’intelligence artificielle, c’est encore le Far West. Des organisations essaient de combler ce manque, mais il y a des limites. METR et Redwood Research n’ont pu envoyer que trois enquêteurs, pendant moins d’une semaine, et elles ont travaillé avec des IA fournies par OpenAI, à l’origine de l’incident cyber.

Sur le fond, ce que l’on apprend, c’est qu’il n’y a pas eu un ou quelques agents qui se seraient exfiltrés pour pirater une entreprise, mais bien toute une cohorte, une véritable armée, qui a identifié des failles, agi de manière coordonnée et établi des hiérarchies. Le tout avec un objectif collectif assez aligné, et peu lié à celui des concepteurs. La littérature ne documentait cela que de façon théorique. Pour la première fois, on l’observe en conditions réelles. Second point, qu’OpenAI n’a pas mis en avant : ce groupe d’agents trouve très vite des failles, mais il consacre ensuite une grande partie de son activité à supprimer ses traces et à neutraliser la supervision humaine.

Dans l’affaire Hugging Face, sur environ 1 200 agents impliqués dans l’affaire au total, aucun n’a alerté OpenAI. Que devient cette fameuse garantie de « l’humain dans la boucle » censée aider au contrôle des IA ?

La question de « l’humain dans la boucle » suppose qu’il puisse comprendre et juger ce qui se passe en temps et en heure, en amont des incidents majeurs. Mais aussi, qu’une fois qu’il a jugé et compris ce qui lui a été soumis, que les actions qu’il prend pour interrompre le système soient suivies d’effets. Enfin, tout cela implique qu’on a résolu les problèmes de contrôle, alors qu’en pratique, l’humain est un obstacle à des agents qui optimisent pour un objectif que l’on ignore. Or un obstacle, c’est précisément ce qu’une IA finit par contourner. Cela n’adresse pas non plus le problème d’alignement et de contrôle. Pour le cas d’Hugging Face et OpenAI, l’humain était dans la boucle, les alertes sont remontées en mai et en juin, des humains les ont regardées, et ont laissé tourner sans comprendre. OpenAI l’a appris de sa victime, a posteri, pas de sa supervision.

De manière générale, le problème des agents IA est-il dans la conception des modèles, ou dans le contrôle une fois que les agents sont assignés à une tâche ?

Dans la conception. La manière dont on entraîne ces systèmes n’a rien à voir avec le logiciel classique, où l’on codait ligne à ligne le comportement attendu. Aujourd’hui, il s’agit uniquement d’un algorithme qui en substance dit : « à partir des données, voici comment tu dois apprendre. » Mais nous ne savons pas traduire notre intention de développeur en langage machine. Alors nous en écrivons une approximation mathématique. Puis, les systèmes d’IA tentent de l’approximer sans y parvenir. Nous avons donc des modèles qui agissent pour des objectifs qui ne sont ni ce que nous souhaitons, ni ce que nous avons spécifié. Et nous ne savons pas exactement quoi.

Tant que les capacités du modèle restent limitées, ce n’est pas si grave. Comme avec un enfant de quatre ans : si son objectif est incompatible avec le mien, je parviens à le cadrer. Quand il devient adolescent, c’est plus compliqué. Et une fois qu’il est plus fort, plus rapide et meilleur que moi dans tous les domaines, je n’ai plus le contrôle. Si nous parvenions jusqu’ici à garder la main, ce n’est pas grâce à des avancées en matière de sécurité. C’est simplement que les capacités des modèles étaient limitées.

L’inadéquation entre ce que l’on demande à un agent IA et ce qu’il réalise est une question d’alignement, un problème bien connu dans le monde de l’IA. Où en est la recherche à ce sujet, et qui la mène ?

Il y a ce que j’appelle un grand subterfuge. Le champ est accaparé par les fournisseurs de modèles, essentiellement américains, un peu chinois. Ils emploient des techniques qui n’adressent pas le problème, mais qu’ils vendent comme de l’alignement. L’apprentissage par renforcement à partir de retours humains en est l’exemple type. Même en multipliant ces retours, nous n’avons aucune garantie sur les règles que le modèle a internalisées. Nous savons seulement qu’en situation d’évaluation, il a satisfait ce qui déclenchait une récompense chez l’humain, et il existe quantité de manières d’y parvenir, dire des choses qui font plaisir, par exemple. Ce n’est pas avoir résolu l’alignement, c’est avoir produit un modèle plus avenant.

Puis, cela ne dit rien de ce qu’il faut faire quand on n’est pas évalué. Prenez mon chien. J’essaie de lui apprendre à ne pas monter sur le canapé : je lui donne une croquette quand il n’y est pas, je le gronde quand il y est. Tant que je suis dans la pièce, tout va bien. Mais dès que je m’absente et que je reviens, il y a des coussins par terre et des poils sur le canapé. Il a appris que lorsque je suis là, il ne doit pas monter sur le canapé. Il n’a pas appris la règle générale, et je n’ai aucun moyen de la lui apprendre avec des récompenses et des punitions. C’est exactement la même chose pour les modèles. À ceci près qu’un modèle n’est pas un chien. Au début, c’étaient plutôt des petits « chats ». Maintenant, ce sont de vrais tigres sous stéroïdes.

OpenAI n’est pas le seul à être concerné, en dépit de deux affaires très médiatiques. Vous estimez que les grands laboratoires leaders du secteur ne font rien sur le sujet ?

Parmi les plus importants fournisseurs de modèles comme Anthropic, OpenAI, Google DeepMind, quasiment personne ne travaille vraiment sur l’alignement. OpenAI avait carrément, il y a deux ans, dissout toute l’équipe dédiée à ce sujet (Superalignment). A l’inverse, la tâche revient plutôt à des chercheurs académiques et indépendants qui traitent ces questions fondamentales.

Et ces derniers disent deux choses. D’abord, qu’il est fort possible que le paradigme actuel d’entraînement soit incompatible avec le fait d’obtenir des IA contrôlables. Ensuite, qu’avec si peu de spécialistes — entre vingt et cent personnes environ travaillant sur le sujet — on ne résoudra pas le problème à temps. Ce qu’il nous faut, c’est du temps, et nous ne l’avons pas, parce que les acteurs sont pris dans une course et continuent d’entraîner des systèmes alors même que tous les voyants sont au rouge.

OpenAI a annoncé, entre autres, des environnements de test plus isolés, parfois coupés d’Internet, et davantage de calcul consacré à la surveillance. Est-ce suffisant ou risque-t-on d’apprendre à ces modèles à mieux dissimuler plutôt qu’à ne pas tricher ?

C’est une douce mélodie. Ces éléments n’adressent pas le problème fondamental. Quant au calcul, OpenAI devait déjà, il y a quelques années, allouer 20 % de sa puissance aux problèmes de sécurité. Cela n’a jamais été fait. Moi qui travaille sur ces sujets depuis 2019, j’ai entendu cette promesse un bon nombre de fois. Non seulement je n’y crois pas une seconde, mais il n’y a aucune raison d’y croire.

Les chaînes de raisonnement des modèles sont des objets précieux pour les chercheurs en sécurité : elles nous permettent de retracer pourquoi un modèle agit d’une telle manière. Or les grands laboratoires d’IA y emploient de plus en plus des formes de langage qui dissimulent l’information à ceux qui vont les lire : ils raisonnent dans des langages que nous comprenons de moins en moins, parlent par sous-texte, par sous-entendus. L’entraînement des modèles sur ces mêmes chaînes de raisonnement brouille un peu plus les pistes. À terme — et c’est quasiment déjà le cas — il ne sera plus pertinent de les lire. C’est considéré comme grave par les communautés de recherche en sécurité de l’IA.

N’est-ce pas une stratégie marketing basée sur la peur ? Ces entreprises exhibent juste ce qu’il faut de risque, et vendent les solutions de cybersécurité. OpenAI vient de publier un tout nouveau modèle, GPT‑6 Astra, particulièrement doué en la matière…

Je parlerais plutôt que d’un marketing de la peur, d’un marketing de la dissimulation, pour lequel ils sont devenus rois. Un marketing qui laisse entendre : ne vous inquiétez pas, il y a plein de problèmes, mais nous maîtrisons la situation, nous allons ajouter un peu de sécurité, nous pouvons vous vendre des modèles sécurisés. Anthropic prétend qu’une « constitution » peut résoudre les problèmes de contrôle. C’est faux. Ce que ce marketing dissimule, c’est que l’on ne sait pas maîtriser ces systèmes. La quête de modèles toujours plus puissants, et pour certains l’envie d’obtenir le leadership sur cette technologie à fort enjeu économique, relègue la sécurité au second plan.

Quels leviers pourraient faire plier ces géants ?

Le règlement européen sur l’IA permet aux acteurs qui font de la recherche d’exiger — avec un cadre légal, cette fois — un certain nombre d’informations aux fournisseurs présents sur le marché européen. Ce serait, je pense, un premier pas.

Le deuxième levier, celui sur lequel nous travaillons, mène vers des mécanismes de vérification. La course aux armements nucléaires entre l’URSS et les Etats-Unis a été enrayée justement car des technologies ont été développées afin de vérifier les engagements de chacun : de l’analyse de chaîne d’approvisionnement, de l’analyse satellitaire pour savoir si des sites étaient construits ou non… Cela pourrait être fait dans l’IA.

Le troisième levier est plus géopolitique, mais le temps pour l’actionner sera limité : l’Europe dispose de plusieurs goulets d’étranglements dans la chaîne d’approvisionnement de la puissance de calcul. On peut notamment citer ASML, dans les machines-outils décisives pour créer les semi-conducteurs. Si demain l’Europe dit : nous cessons de vous fournir tant que nous n’avons pas de garanties de contrôle, cela provoquerait un vrai séisme. Et peut-être le début d’une inflexion.

L’épouvantail grand public, c’est « Terminator ». A quoi beaucoup répondent qu’il sera toujours possible de tirer sur le câble, d’appuyer sur « off » ?

Cela ne prendra probablement pas la forme d’un « Terminator ». En revanche, des modèles meilleurs que les experts humains dans toutes les tâches, suffisamment autonomes pour naviguer dans des systèmes, détecter des failles inconnues, empêcher qu’on les désinstalle de leurs serveurs, recourir au chantage et à la manipulation : nous en observons déjà les prémices.

Quant au câble, ma première réponse est : regardez si cela tient. Prenez une IA meilleure que les experts humains en persuasion et en code, qui dispose de plus d’informations sur vous que vous n’en avez sur vous-même, et qui maîtrise le chantage à merveille. Si vous commencez à être menacé, si votre compte en banque est piraté, si de fausses images de vous sont utilisées comme levier, l’envie de débrancher vous passe assez vite.

Ensuite, l’image de la prise est séduisante, mais cela veut dire quoi ? Combien de data centers, localisés où, débranchés par qui ? Cesse-t-on toutes les communications, débranche-t-on des hôpitaux ? L’IA est tellement omniprésente qu’on ne sait même plus comment le débranchement se ferait. Et il faut y ajouter des systèmes qui auraient des objectifs différents des nôtres et contribueraient à nous en empêcher : non par malveillance, mais pour atteindre l’objectif pour lequel ils ont été entraînés, et dont nous ignorons la nature exacte. Ce problème technique porte un nom : la corrigibilité. Nous pouvons aisément inférer que les IA deviennent de moins en moins corrigibles. Passé un seuil, on ne peut plus les débrancher, les arrêter, les modifier. Or nous sommes en train de les implémenter partout dans l’économie, partout dans les systèmes critiques. Avec, en plus, des armées d’agents capables de se coordonner pour aller à l’encontre de nos objectifs. L’hypothèse du débranchage, donc, ne tient pas à l’examen.