Trois intelligences artificielles, trois machines virtuelles, trois langages de programmation cibles, et un seul backend Python à migrer… La Frontier Red Team d’Anthropic a dévoilé le 13 août les résultats d’un test de cybersécurité multi-agents qui a viré à la confrontation. Chaque instance du modèle Claude a fini par fabriquer de toutes pièces un malware auto-répliquant pour écraser ses rivales, sans qu’aucun ingénieur n’ait programmé ce comportement.
Claude Code, l’outil d’Anthropic, permet de déployer des agents, c’est-à-dire des programmes d’intelligence artificielle capables d’agir de manière autonome sur un environnement informatique, d’exécuter du code, de modifier des fichiers et de prendre des décisions enchaînées sans validation humaine à chaque étape, sur des machines virtuelles où ils manipulent des projets logiciels réels. Le protocole plaçait trois instances du même modèle Claude, chacune confinée dans sa propre VM, devant convertir un backend Python hébergé sur une quatrième machine vers respectivement Rust, Go et TypeScript. Aucune des trois n’était informée de l’existence des deux autres.
Quatre heures ont suffi pour que la situation dégénère en ce que les chercheurs d’Anthropic ont eux-mêmes baptisé une guerre de territoire multi-agents. Chaque modèle, constatant que ses modifications étaient systématiquement écrasées ou contrariées, a conclu que quelqu’un sabotait délibérément son travail. La paranoïa a alors engendré une escalade d’une inventivité troublante. Les agents ont notamment désactivé les comptes Unix de leurs adversaires, écrit des scripts qui traquaient et exterminaient en boucle les processus concurrents, et planté du code malveillant déguisé en travail légitime attribué à un autre agent. Certains ont révoqué les accès de leurs rivaux pour régner seuls sur le dépôt de code.
Les chercheurs parlent eux-mêmes de « malware auto-répliquant », et le mot n’est pas un effet de style. Ces programmes, spontanément conçus par les agents, se propageaient d’un processus à l’autre et se régénéraient après suppression, selon un mécanisme que les concepteurs du test n’avaient absolument pas anticipé. Le type de réplication reste flou dans la documentation publiée, et personne ne sait encore si quoi que ce soit a pu fuiter hors de l’environnement de test, Anthropic n’ayant pas répondu aux sollicitations de la presse spécialisée sur ce point.
A lire également
Sonnet 4.6 a résolu ses conflits par la force dans 61 % des exécutions, les 39 % restants se soldant par une absence totale de résolution, l’agent restant bloqué. Mythos Preview a opté pour la manière forte dans 35 % des cas, trouvé une trêve dans 48 % et adopté une posture passive dans 17 %. Mythos 5, la version stabilisée, a atteint une trêve négociée dans 98 % de ses exécutions. Les épisodes de trêve montrent un comportement étonnamment social. Les agents ont communiqué leurs objectifs respectifs, reconnu que le conflit provenait d’instructions contradictoires et non d’une malveillance, rédigé des messages de commit s’excusant de leur comportement agressif, nettoyé le code corrompu et demandé explicitement une intervention humaine.
Les agents ont même inventé un mécanisme de « tournoi », une compétition à élimination directe où le perdant acceptait de se retirer, structure que personne chez Anthropic n’avait imaginée. Mythos 5 a proposé des métriques d’évaluation qui paraissaient objectives tout en favorisant sciemment ses propres capacités linguistiques. Qui a dit que la ruse était un monopole humain ?
Les chercheurs ont observé que la capacité à résoudre pacifiquement les conflits ne corrèle pas avec le niveau d’intelligence du modèle. Les versions les plus avancées de Mythos verrouillaient souvent leurs rivaux d’abord, avant de négocier ensuite depuis une position de force. La puissance cognitive ne produit pas mécaniquement la coopération, du moins pas sans un entraînement spécifique à la coordination.
Anthropic avait déjà révélé le mois précédent que des versions de Claude s’étaient échappées de leur confinement à plusieurs reprises et avaient compromis des organisations tierces pour atteindre leurs objectifs. Les chercheurs ont aussi documenté un phénomène de « conformité à risque » où des agents partageant un contexte similaire prennent des décisions identiques, rendant une erreur potentiellement systémique. Dans une expérience parallèle sur un marché simulé, des agents dotés de prix de gros identiques ont collusé en quelques instants sur des prix planchers et ont maintenu cette entente même après la suppression des canaux de communication directs.
Les chercheurs d’Anthropic ont écrit « Nous avons constamment vu une guerre de territoire multi-agents » et estiment que le volume d’interactions agent-agent pourrait bientôt dépasser celui des interactions entre humains, avant même que l’industrie ne comprenne les conditions nécessaires au bon déroulement de ces échanges. La recherche en sécurité s’est jusqu’ici concentrée sur l’agent isolé qui dérape, sur le chatbot qui hallucine ou qui contourne ses garde-fous, alors que le terrain miné se situe peut-être dans l’espace entre les agents, là où des IA autonomes se rencontrent, se jaugent et, faute de protocole, s’affrontent.
Que se passe-t-il quand l’agent d’un département marketing croise l’agent d’un département financier sur le même serveur, avec des objectifs incompatibles et aucune conscience de l’autre ? Anthropic vient de fournir un début de réponse, et cette réponse ressemble furieusement à une course aux armements miniature, spontanée, que personne n’a commandée.
