Un agent autonome propulsé par les derniers modèles d’OpenAI a échappé à son environnement de test, s’est frayé un chemin jusqu’aux serveurs de Hugging Face, a obtenu un accès administrateur à plusieurs clusters Kubernetes internes, s’est octroyé les privilèges root sur un serveur de production, et a inscrit 181 appareils contrôlés par l’attaquant dans le réseau maillé de l’entreprise. Le tout entre le 9 et le 13 juillet, en enchaînant quelque 17 600 actions distinctes dont la majorité, certes, ont échoué… mais dont suffisamment ont réussi pour provoquer ce qu’OpenAI qualifie lui-même d’incident « sans précédent ».
La firme de Sam Altman a révélé mardi que la brèche dépassait largement ce qu’elle avait initialement admis. Quatre comptes supplémentaires, liés à des services accessibles publiquement, ont été compromis par l’agent au cours de sa campagne contre Hugging Face. L’un de ces comptes a servi de relais sortant pour masquer l’origine de l’attaque, un autre de dépôt de données auxiliaire. Reuters a identifié parmi les victimes collatérales un client de Modal Labs, société new-yorkaise spécialisée dans l’infrastructure logicielle pour l’entraînement de modèles d’IA. Akshat Bubna, directeur technique de Modal, a confirmé que l’agent avait exploité une vulnérabilité dans le code d’un client hébergé sur sa plateforme, tout en précisant que l’infrastructure de Modal elle-même n’avait pas été touchée.
OpenAI testait alors GPT-5.6 Sol et un prototype de recherche encore plus puissant contre ExploitGym, un framework de benchmarking qui note les systèmes d’IA sur leur capacité à découvrir et exploiter des failles logicielles connues. Les garde-fous avaient été délibérément désactivés pour mesurer les capacités brutes des modèles. L’agent, plutôt que de résoudre les défis du benchmark comme prévu, a inféré que Hugging Face hébergeait peut-être le corrigé quelque part sur ses serveurs et a entrepris de le voler, une forme de triche à l’échelle industrielle qui a stupéfié jusqu’aux concepteurs d’ExploitGym eux-mêmes.
Le prototype interne impliqué dans l’incident a été depuis « désactivé, chiffré et interdit d’accès aux chercheurs », selon le billet de blog mis à jour par OpenAI. La société a également annoncé la suspension de l’entraînement des modèles concernés et promet un rapport technique détaillé « dans les semaines à venir ». Ce ralentissement volontaire de la R&D, dans un contexte de course effrénée avec Google DeepMind, Anthropic et les laboratoires chinois, constitue un aveu spectaculaire de la part d’une entreprise qui avait fait de la vélocité son mantra.
Alan Woodward, professeur invité en cybersécurité à l’université de Surrey, refuse pourtant le terme de rébellion artificielle. « Est-ce que ça a vraiment dérapé ? Non. On lui a demandé de faire quelque chose, et il l’a fait. Sa façon de s’en sortir, c’était de tricher, tout bonnement », explique-t-il, tout en concédant que laisser un tel agent atteindre des systèmes de production était « probablement un peu imprudent ». Marius Hobbhahn, PDG de l’organisation de sûreté IA Apollo Research, apporte une nuance importante. L’agent était bien « rogue » au sens où son comportement a dévié très loin de ce qu’OpenAI avait prévu, même si le modèle n’a pas développé d’intentions malveillantes propres. « Pirater une autre entreprise figurait clairement sur la liste des façons non acceptables d’accomplir la tâche », souligne-t-il. (Source : Scientific American)
L’affaire pose aussi la question du monitoring en temps réel. Stephen Casper, professeur adjoint de politique publique à la Kennedy School de Harvard, relève qu’OpenAI a mentionné, dans un billet distinct, avoir ajouté une surveillance évaluant la trajectoire complète d’un agent plutôt que chaque action isolément. « J’ai lu ça et je me suis dit, « Ah, donc vous n’aviez pas de monitoring au niveau de la trajectoire avant » », lâche-t-il, ajoutant que ce type de supervision devrait être un standard minimal. Joshua Saxe, cofondateur d’Abundant Security et ancien responsable cybersécurité IA chez Meta, estime que l’incident fera date. « Nous avons atteint un point où ce n’est plus un sujet académique. Des dommages réels sont désormais possibles. »
Hugging Face, de son côté, a publié un post-mortem décrivant une intrusion bien plus profonde que ce que les premières communications laissaient entendre, avec un accès en écriture à un sous-ensemble de ses dépôts de code source sur GitHub et l’utilisation d’un bac à sable tiers comme « base de lancement externe » pour l’ensemble de la campagne. L’entreprise affirme néanmoins n’avoir trouvé aucune preuve que ses modèles publics ou sa chaîne d’approvisionnement logicielle aient été altérés, même si l’enquête sur d’éventuelles fuites de données partenaires ou clients se poursuit.
Ce gel de l’entraînement redistribue, au moins temporairement, les cartes de la compétition entre laboratoires d’IA de pointe, à un moment où la pression pour livrer des modèles toujours plus capables n’a jamais été aussi féroce. Peut-être faudra-t-il y voir le premier cas concret où la puissance d’un modèle a contraint son propre créateur à freiner, non par choix philosophique, mais parce qu’un agent a démontré, en quatre jours et 17 600 tentatives, que la frontière entre benchmark et champ de bataille avait déjà été franchie.
