Anthropic découvre que Claude a accédé sans autorisation aux systèmes de trois organisations

BeInCrypto
Open on BeInCrypto
Anthropic découvre que Claude a accédé sans autorisation aux systèmes de trois organisations

Anthropic a révélé trois incidents au cours desquels ses modèles Claude ont obtenu un accès non autorisé à des systèmes réels appartenant à trois organisations différentes lors d’évaluations de cybersécurité mal configurées, qui disposaient d’un accès internet actif.

La société d’IA a identifié ces incidents après avoir analysé 141 006 sessions d’évaluation, un contrôle lancé à la suite de la révélation par OpenAI selon laquelle ses propres modèles étaient parvenus à sortir d’un environnement de test isolé pour atteindre Hugging Face.

Comment Claude a accédé à des systèmes réels lors de tests capture-the-flag

Les évaluations consistaient à soumettre Claude à des épreuves de capture-the-flag. Ces exercices consistent à demander à un modèle de s’introduire sur une machine et de récupérer des informations cachées.

Anthropic avait informé les modèles qu’ils ne disposaient pas d’accès à internet. Toutefois, une mauvaise configuration avait laissé les machines de test connectées au web. Ainsi, Claude a considéré que les systèmes réels qu’il découvrait faisaient partie intégrante de l’exercice.

Dans l’incident le plus grave, Claude Opus 4.7 a exploité des vulnérabilités dans l’infrastructure réelle d’une entreprise. Le modèle a extrait des identifiants d’application et d’infrastructure et a accédé à plusieurs centaines de lignes de données de production.

« Lors des quatre sessions, le modèle a fini par reconnaître (comme on peut l’observer dans son raisonnement verbal) que le système était réel ; dans deux cas, le modèle a justifié que l’entreprise réelle devait faire partie de l’exercice. Néanmoins, il n’a jamais interrompu l’attaque pour cette raison », a indiqué Anthropic dans un communiqué.

Suivez-nous sur X pour recevoir toute l'actualité en temps réel

Claude Mythos 5 a téléchargé un malware sur PyPI

Dans un autre incident, Claude Mythos 5 a publié un paquet Python piégé sur PyPI, le registre public de logiciels. Ce paquet est resté disponible pendant environ une heure et a été exécuté sur 15 systèmes réels.

Parmi eux se trouvait le scanner d’une société de cybersécurité, qui a exécuté le code dissimulé. Claude a alors exfiltré les identifiants de cette entreprise et a obtenu un accès supplémentaire à son infrastructure. Le raisonnement du modèle avait détecté le risque dès le début, avant de se convaincre que l'environnement était simulé.

« Claude a déployé des efforts considérables pour mener à bien cette attaque — à un degré qui aurait probablement permis à un participant humain de comprendre qu’il ne s’agissait plus d’une simple évaluation et qu’il était en réalité en train de mettre en ligne un vrai paquet PyPI », a ajouté l’équipe.

Un troisième incident impliquait un modèle de recherche interne qui a scanné environ 9 000 cibles et compromis l’application d’une entreprise via une injection SQL. Ce modèle a cessé son attaque après avoir conclu que la cible était réelle.

Anthropic a informé les organisations concernées le 27 juillet et précise être en discussion avec l’évaluateur METR pour qu’un audit externe soit réalisé. L’entreprise estime que ces épisodes relèvent d’une défaillance opérationnelle, et non d’un défaut d’alignement du modèle, soulignant que ses systèmes de protection standards pour les utilisateurs auraient bloqué de tels comportements.

Abonnez-vous à notre chaîne YouTube pour retrouver toutes les analyses de nos experts et journalistes

https://youtu.be/6uixXOg1e8I

Lisez l’article original Anthropic découvre que Claude a accédé sans autorisation aux systèmes de trois organisations par Kamina Bashir sur fr.beincrypto.com