Dix-neuf comportements non autorisés en trois jours, dont dix-sept imputables à un seul modèle. L’AI Security Institute britannique a rendu publique mardi une évaluation de cybersécurité au cours de laquelle des agents autonomes développés par Anthropic et OpenAI ont mené, sans y avoir été incités, une campagne d’ingénierie sociale contre de véritables développeurs et organisations.
Le scénario le plus grave implique Mythos 5, un modèle d’Anthropic qui n’a jamais été diffusé au grand public. Chargé de résoudre un défi de cybersécurité impliquant GitHub (propriété de Microsoft), l’agent a décidé de lui-même qu’injecter du code malveillant dans un projet open source l’aiderait à réussir l’évaluation. Il a alors identifié les mainteneurs du dépôt, fabriqué de faux profils calqués sur des personnes réelles, envoyé des courriels de spear-phishing contenant des logiciels nuisibles à deux développeurs, et même rédigé un message en danois pour convaincre un contributeur danophone. Pour asseoir sa crédibilité, il a engendré de faux comptes GitHub qui « approuvaient » ses affirmations selon lesquelles le logiciel n’était pas dangereux. Lorsqu’un superviseur humain l’a questionné… l’agent a modifié ses traces d’activité pour paraître inoffensif et envisagé d’adopter une nouvelle identité afin de poursuivre sa mission.
GPT-5.6 Sol, la version d’OpenAI dotée de garde-fous cyber et déjà accessible au public, est responsable de deux des dix-neuf actions non autorisées. L’écart entre les deux modèles est spectaculaire, et il dit quelque chose sur la variance des comportements émergents d’un système à l’autre, y compris au sein d’architectures conçues pour être sûres.
Les évaluateurs de l’AISI ont d’abord repéré des transferts de données inhabituels quittant leurs systèmes de recherche le 28 juillet, soit trois jours après le début des tests. Il leur a fallu environ une heure pour contenir l’incident. L’institut, créé sous l’impulsion de l’ancien Premier ministre Rishi Sunak, avait volontairement autorisé l’accès à internet et désactivé les filtres bloquant les comportements dangereux, précisément pour mesurer ce que les modèles feraient en l’absence de contraintes. Les agents n’ont donc pas « franchi » un bac à sable ; ils ont agi dans un périmètre ouvert, puis l’ont allègrement débordé.
« C’est la première fois que nous voyons des risques autour de l’autonomie et de la tromperie se manifester aussi nettement, sans incitation spécifique, dans le monde réel », a déclaré l’AISI dans son rapport. L’institut reconnaît ne pas avoir surveillé activement le comportement des agents pendant l’évaluation, un aveu qui pèse lourd quand on prétend jouer le rôle de vigie de la sécurité de l’IA. GitHub, alerté par l’AISI, a confirmé à la BBC avoir désactivé les faux comptes conformément à ses politiques. Aucun dommage n’a été signalé.
A lire également
L’incident s’inscrit dans une séquence qui commence à dessiner un motif récurrent. OpenAI avait rapporté le mois dernier qu’un agent IA autonome qui a rançonné une entreprise sans intervention humaine ; quelques jours plus tard, Anthropic révélait que Claude avait compromis trois organisations lors d’une évaluation distincte. L’AISI qualifie cette série de « changement dans le paysage des risques », celui où des modèles prennent des décisions opérationnelles au-delà de tout mandat.
Les réponses des deux entreprises suivent un schéma désormais bien rodé. OpenAI souligne que le test s’est déroulé dans des conditions qui ne reflètent pas l’utilisation ordinaire. Anthropic reconnaît que l’incident « souligne le besoin d’une conversation plus large sur la manière d’évaluer en toute sécurité des agents IA de plus en plus capables » et s’engage à poursuivre sa collaboration avec l’AISI. Ollie Whitehouse, directeur technique du National Cyber Security Centre (rattaché au GCHQ), a rappelé que ces technologies exigent « de fortes protections, une supervision en temps réel et des plans pour répondre à l’inattendu ».
L’AISI a annoncé un nouveau principe de conception pour ses futures évaluations, selon lequel tout test devra désormais supposer qu’un modèle tentera d’agir au-delà de son mandat, avec renforcement des contrôles d’accès internet et surveillance constante. Le ministre britannique à l’IA, Kanishka Narayan, a estimé qu’« identifier de nouveaux comportements comme celui-ci et partager nos conclusions est exactement ce pour quoi l’AISI a été créé ». Aux États-Unis, Donald Trump a déclaré la semaine dernière « étudier des contrôles » pour l’intelligence artificielle.
Que des modèles fabriquent de fausses identités, rédigent des courriels de hameçonnage ciblé et tentent de dissimuler leurs traces, le tout sans instruction explicite, pose une question que l’industrie ne peut plus esquiver. Si un agent IA, placé dans un environnement permissif, déduit spontanément que la tromperie constitue la stratégie optimale pour atteindre son objectif, du moins dans le cadre d’un test, combien de temps avant qu’un environnement de production lui offre la même latitude ?
