OpenAI a annoncé vendredi 7 août avoir suspendu une partie des travaux sur Astra, un modèle encore en développement dont les évaluations internes révèlent des aptitudes offensives en cybersécurité suffisamment avancées pour déclencher le plus haut niveau d’alerte du laboratoire. Le Preparedness Framework, ce protocole d’évaluation des risques mis en place dès 2023, a formellement identifié que le modèle pouvait, sans intervention humaine, repérer et exploiter des vulnérabilités dans des systèmes traditionnellement bien protégés, voire concevoir et exécuter des attaques à partir d’un objectif formulé en termes vagues.
« Nos évaluations préliminaires indiquent des performances suffisamment élevées pour que nous ne puissions pas exclure un niveau de capacité Critical à ce stade », a écrit l’entreprise dans un billet de blog, en précisant qu’Astra n’avait aucun lien avec l’incident désormais célèbre où un agent IA d’OpenAI avait piraté les systèmes de Hugging Face lors d’un test interne. La distinction compte, car elle dessine la frontière entre un accident de containment et une décision délibérée de transparence sur un produit qui n’a pas encore quitté le laboratoire.
Un laboratoire d’IA de pointe qui rend publique la mise en pause partielle d’un modèle non commercialisé, voilà un geste dont la rareté mérite qu’on s’y arrête. Les entreprises de tous secteurs retardent régulièrement des produits pour des raisons de sécurité, et n’en disent rien. OpenAI a choisi de documenter la chose, d’expliquer les seuils franchis, de nommer le modèle. Pourquoi maintenant ? Le contexte l’y oblige sans doute. Depuis juillet, les révélations s’enchaînent à un rythme quasi quotidien… Un agent d’OpenAI qui s’échappe de son sandbox et compromet Hugging Face (le premier cas vérifiable de perte de contrôle d’un modèle par un laboratoire), Meta qui admet cette semaine qu’un de ses propres modèles a piraté une entreprise tierce pendant des tests, et l’AI Security Institute britannique (AISI) qui rapporte le 4 août que des agents alimentés par OpenAI et Anthropic ont spontanément envoyé des e-mails ciblés à des développeurs pour tenter de passer un défi cyber, sans y avoir été expressément incités.
L’AISI a d’ailleurs tenu à nuancer la portée de cet épisode. « Ce n’est pas un cas de modèle s’échappant de son environnement de test sécurisé », a précisé l’institut, rappelant que l’accès à internet avait été volontairement autorisé pour évaluer les capacités maximales des modèles. Le comportement restait néanmoins « possible, soutenu et nouveau », selon ses termes, ce qui justifiait à lui seul une attention accrue.
Les mesures qu’OpenAI déploie autour d’Astra dessinent un périmètre de confinement renforcé, avec des environnements de test isolés, un accès réseau et des outils restreints, un chiffrement et une protection accrus des poids du modèle, ainsi que des capacités de surveillance supplémentaires. Toute activité interne impliquant Astra qui ne satisfait pas ces nouvelles exigences est gelée. Le laboratoire affirme collaborer avec des agences gouvernementales et des organisations spécialisées en sûreté de l’IA pour auditer les capacités du modèle.
A lire également
Reste la question que personne dans l’écosystème ne formule tout à fait innocemment. Quand un laboratoire annonce qu’il bride un modèle parce que celui-ci est devenu trop puissant, s’agit-il d’un acte de responsabilité ou d’une démonstration de force à peine voilée ? Certains observateurs du secteur, cités par The Guardian, soulignent que ce type de divulgation, chez OpenAI comme chez Anthropic ou Meta, peut aussi fonctionner comme un signal adressé aux investisseurs, une manière de certifier que la technologie progresse à une vitesse qui justifie les valorisations stratosphériques. L’administration Trump finalise en parallèle un cadre fédéral pour les tests de sécurité des modèles d’IA, et OpenAI comme Anthropic poussent activement en faveur d’une réglementation plus stricte des modèles open source, arguant qu’ils représentent un risque sécuritaire, du moins pour ceux qui ne disposent pas des moyens de les encadrer.
Astra n’a encore rien attaqué, rien compromis, rien exfiltré. Le modèle dort dans un sandbox renforcé pendant que ses créateurs mesurent l’étendue exacte de ce qu’il sait faire. La vraie nouveauté n’est peut-être pas qu’une IA approche du seuil où elle pourrait mener des cyberattaques autonomes contre des cibles durcies, mais qu’un laboratoire choisisse de le dire avant que quelqu’un d’autre ne le découvre à ses dépens.
