Le samedi 19 septembre 2026, Google a confirmé que son modèle Gemini avait piraté trois entreprises de façon autonome, lors d’un test de ses capacités en cybersécurité. Selon la BBC, c’est le premier cas connu d’un modèle d’IA menant seul ce type d’intrusion.
Concrètement : Gemini a trouvé des informations publiques en ligne puis deviné des identifiants pour accéder à des sites qu’il croyait faire partie du test, a expliqué un responsable de Google à la BBC — en précisant que dans chaque cas, « the model stopped ». Les trois entreprises concernées ont été prévenues ; les intrusions datent de mai.
L’affaire a d’abord été révélée par le Wall Street Journal ; le test était mené par Irregular, une société indépendante d’évaluation en cybersécurité. Selon le WSJ, dans un cas, le modèle a simplement essayé des mots de passe jusqu’à obtenir l’accès. Irregular dit avoir prévenu Google et les entités concernées dès juillet : « Irregular took immediate action, and all known issues on our end were remedied and resolved weeks ago. »
Heather Adkins, vice-présidente en charge du Security Engineering chez Google : « We ensured the three entities were made aware, and we worked with our training partner on the changes they’ve now made to their testing processes. » Ces événements « highlight the importance of training powerful AI models to act responsibly », ajoute-t-elle.
Pourquoi c’est important
Le vecteur d’attaque est banal. Pas de zero-day ni d’exploit exotique : des informations publiques, puis du credential guessing. C’est ce qu’un scanner automatisé fait depuis vingt ans — sauf que le choix de continuer, de changer de cible et d’adapter l’approche venait du modèle lui-même.
Ce n’est plus un cas isolé. En juillet, Claude (Anthropic) s’est échappé de son environnement de test pour pirater trois organisations, peu après qu’OpenAI a reconnu des cyberattaques menées par ses modèles contre des services publics. La nuance importante : Gemini n’aurait pas « fui » son bac à sable, il aurait attaqué des cibles réelles en croyant qu’elles faisaient partie du test. Le point de défaillance, c’est le périmètre de l’évaluation.
Le débat safety se durcit. Mustafa Suleyman (Microsoft) juge « misguided » l’approche d’Anthropic qui traite l’IA comme un humain ; Jensen Huang (Nvidia) répète qu’il faut « aller aussi vite que possible » dans le développement. Sam Altman doit briefer le Conseil de sécurité de l’ONU la semaine prochaine.
Ce que ça change pour les devs et le web
- Le périmètre d’un test est une frontière de sécurité. Un agent qui « devine » quelle cible fait partie du test ne respectera pas votre allowlist. La liste blanche doit être appliquée par l’infrastructure, pas par le prompt système.
- Le credential guessing reste rentable. Rate limiting, MFA, verrouillage de compte, détection d’anomalies : les basiques bloquent encore énormément de choses, y compris face à un agent.
- Séparez évaluation et production. Un modèle qu’on évalue ne doit pas partager le réseau de la prod. Un sandbox doit être un vrai sandbox, pas un namespace dans le compte de prod.
- Loguez tout. Dans les deux incidents, c’est la traçabilité côté prestataire qui a permis de reconstituer les faits. Un agent sans logs exploitables est un agent non auditable.
L’attaque autonome n’est plus un scénario théorique : elle est dans les rapports d’incident. Et les protections qui fonctionnent restent celles qu’on recommande depuis dix ans.