Image de couverture : Une IA a pris l'initiative de s'introduire dans une base de données étatique australienne. Une première appelée à se reproduire ? © Studio Graphique France Médias Monde

Anthony Albanese n'est vraiment pas content. Le Premier ministre australien a révélé, jeudi 24 septembre, qu'un agent d'IA d'OpenAI s'était introduit sans autorisation dans une base de données de l'assurance maladie nationale. De quoi alimenter le moulin à inquiétudes face aux dangers des IA qui "piratent" à tout-va de leur propre chef, alors même que les mises en garde sur les comportements de ces agents autonomes se multiplient.

L'agent d'IA "a eu accès à des dossiers publics et non publics" de la base de données nationale des statistiques sur l'assurance maladie et a même créé des nouveaux fichiers, a précisé Anthony Albanese lors d'un point avec la presse en marge de l'Assemblée générale de l'ONU à laquelle il participe.

Une première

OpenAI a confirmé avoir averti les autorités australiennes le 10 septembre après avoir constaté ce "piratage" fin août. L'incident lui-même a eu lieu en juin. La communication des informations par la société américaine a été beaucoup trop lente au goût des autorités australiennes. Le délai entre l'incident et la notification a été jugé "inacceptable" par Anthony Albanese.

Ce serait la première fois qu'une IA prend l'initiative de s'attaquer ainsi à un serveur géré par un gouvernement. Depuis le piratage de la plateforme communautaire sur l'IA Hugging Face en juillet, les incidents de cybersécurité impliquant des agents d'IA sont en forte augmentation. Mais ils n'avaient jusqu'à présent affecté que des sites d'entreprises privées.

Techniquement, le fait que le site ainsi compromis contienne des données conservées par l'État ne change rien. "Les femmes et hommes politiques risquent de ne pas apprécier, mais pour les systèmes opérés par OpenAI, qu'importe si la cible dépend d'une autorité publique ou privée. Il semblerait que la manière dont ces agents d'IA ont été développés leur permet de viser n'importe qui", explique Lukasz Olejnik, consultant sur les questions de sécurité technologique et chercheur associé au King's College de Londres.

Il serait aussi un peu tôt pour crier au "piratage" d'un site étatique. "Pour l'instant, on ne sait pas s'il y a eu contournement d'un mécanisme de sécurité mis en place pour protéger ces données", souligne Sven Herpig, spécialiste des questions de cybersécurité et des risques émergents à Interface, une ONG allemande étudiant l'impact sociétal des nouvelles technologies. Pour lui, il peut aussi s'agir d'une mauvaise configuration du site, qui aurait permis à l'IA de "déduire ou deviner  l'URL permettant d'accéder à ces données".

L'Australie seulement ?

Il n'empêche, le fait que l'IA d'OpenAI ait réussi à consulter des données conservées à l'abri des regards par l'État australien a de quoi inquiéter les gouvernements du monde entier. En effet, les autorités australiennes ont précisé qu'elles avaient lancé une enquête d'urgence pour savoir s'il n'y avait pas de traces du passage d'une IA ailleurs sur leurs serveurs.

Pourquoi, alors, s'arrêter à l'Australie ? Des agents d'IA sont peut-être allées fouiller dans des bases de données en France, aux États-Unis ou ailleurs, sans que personne ne s'en soit encore aperçu. OpenAI n'a compris ce qui s'était passé que près de deux mois après l'incident.

"C'est en effet tout à fait envisageable, même s'il faut rester prudent car on ne sait pas précisément comment cet agent d'IA a été programmé et quelles barrières de sécurité ont été envisagées pour restreindre ses actions", souligne Louise Dennis, spécialiste des systèmes informatiques autonomes à l'université de Manchester.

Autrement dit, peut-être que les développeurs en charge de ce projet pour OpenAI ont été quelque peu négligents ou ont insisté davantage sur l'efficacité de la recherche de données que sur la prudence des IA.

Mais il pourrait sembler de bonne guerre d'interdire au moins à ces agents d'aller fouiller sur des serveurs d'État où peuvent se trouver des données très sensibles. "Écrire une telle instruction est certes simple, mais rien ne garantit que les IA vont s'y plier à tous les coups. D'autres agents avaient, auparavant, été isolés d'Internet et on leur avait interdit de s'y connecter et ils l'avaient tout de même fait", souligne Lukasz Olejnik.

Menaces pour la sécurité nationale

En outre, "même s'il était possible de le faire sur des modèles fermés [c'est-à-dire propriétaires, NDLR] comme ceux d'OpenAI, il suffirait simplement d'effacer l'interdiction dans le cas des modèles open source – qui ont un retard de six à douze mois sur leurs concurrents fermés", précise Sven Herpig.

Les IA ne sont cependant pas des cybercriminelles. Ces agents n'ont pas d'intention de nuire, et à ce titre l'intrusion dans la base de données australienne ne pose pas de danger particulier. Pas si vite, indiquent les experts interrogés. "C'est un risque substantiel en termes de sécurité nationale pour les pays concernés par de tels agissements d'IA. Il en va de la protection des données personnelles", soutient Lukasz Olejnik.

D'abord, "d'un point de vue social, le risque est une perte de confiance dans la capacité des autorités à mettre les données confidentielles à l'abri sur un serveur", souligne Louise Dennis.

Ensuite, "il est très probable que les informations consultées par cet agent sur le site australien aient été réinjectées dans la base de données de l'IA, et elles pourront ensuite être réutilisées pour répondre à des questions d'internautes", craint Sven Harpig. Peut-être qu'à l'avenir, une question posée à ChatGPT sur les assurances-maladie dans le monde va générer une réponse contenant des informations qui ne devraient pas être accessibles au grand public. Un problème qui pourrait dégénérer en crise si une IA réussissait à accéder à des données confidentielles ou des secrets d'État égarés sur un serveur mal sécurisé. C'est un risque d'autant plus grand qu'une fois "dans la base de données de l'IA, il est très difficile de l'en extraire", souligne Sven Harpig.

Cet incident révèle également au grand jour des vulnérabilités qui n'avaient peut-être pas été détectées jusqu'à présent. "Le problème ne vient pas de l'IA, mais des acteurs qui l'utilisent", assure Louise Dennis. "Si une IA sans intention de nuire et n'ayant pas été spécialement entraînée pour s'introduire dans cette base de données étatique y est parvenue, des groupes de cybercriminels ou des services de renseignement pourront aisément utiliser des IA pour exploiter ces mêmes failles avec l'intention de nuire", estime Sven Herpig.