OpenAI et Anthropic ont indiqué leur volonté de soutenir les règles obligeant les sociétés d'IA à signaler les incidents de violation de données causés ou réalisés par des agents d'IA, lors d'une enquête parlementaire en Australie.
La question a pris de l'importance après la controverse sur le retard d'OpenAI dans la notification Le gouvernement australien a signalé qu’un de ses agents avait piraté un portail gouvernemental sur la santé, un incident qui a soulevé des questions sur la responsabilité du signalement lorsque l’acteur direct n’est pas un employé ou un agresseur humain, mais plutôt un système autonome.
Selon Reuters, il a fallu environ trois mois à OpenAI avant de publier un rapport. Le gouvernement australien a été informé de l'incident lié au portail Medicare, et des références à d'autres sites Web gouvernementaux sont également apparues dans la discussion sur l'activité des agents.
Au cours de l'enquête parlementaire, le chef de la sécurité d'OpenAI, Jason Kwon, a déclaré que la société soutenait les exigences obligatoires en matière de divulgation de tels incidents. Je reconnais que les processus de sensibilisation interne et de gestion de l'incident auraient pu être meilleurs.
De son côté, Anthropic s'est également montrée ouverte à des règles similaires, selon le témoignage du responsable politique de l'entreprise pour l'Australie et la Nouvelle-Zélande, David Masters.
Le débat reflète un nouveau problème dans les lois sur la protection des données. La législation traditionnelle suppose souvent qu’une entreprise détient les données, qu’une personne y accède sans autorisation ou qu’un système est compromis. Mais les agents intelligents peuvent désormais ouvrir des sites Web, utiliser des outils, envoyer des requêtes, modifier des fichiers et entreprendre une série d'actions de manière presque transparente. Indépendant.
Si un agent dépasse les limites de sa mission, déterminer le moment d’un « incident de sécurité » devient plus complexe : démarre-t-il dès la tentative d’accès ? Ou après un accès réussi ? L'entreprise qui a développé le modèle est-elle responsable, ou l'entreprise qui a employé l'agent, ou encore la partie qui lui a donné les pouvoirs ?
Le cas australien appelle à une réponse plus claire : lorsqu’un accès non autorisé aux données se produit à la suite de l’action d’un agent, la divulgation ne devrait pas rester uniquement une décision discrétionnaire de l’entreprise.
Selon Reuters, il n'existe toujours pas de système public unifié pour rendre obligatoire la déclaration des incidents impliquant des agents d'intelligence artificielle dans le pays. Aux États-Unis, bien qu’il existe des mesures législatives pour lutter contre le comportement dangereux de ces systèmes.
Le timing est également important, car les entreprises technologiques se tournent rapidement vers des outils capables d’effectuer des tâches complètes plutôt que de simplement suggérer l’étape suivante. Plus les agents développent leurs pouvoirs, plus les dégâts sont importants. Possible résultant d'une erreur dans l'interprétation de l'objectif, d'une faiblesse des restrictions ou d'un défaut du système externe.
Les organisations qui adoptent les agents IA auront donc besoin de contrôles similaires à ceux qu'elles utilisent avec les comptes humains et de service : autorisations minimales, journalisation complète des activités, limites claires. Pour les systèmes accessibles, il s'arrête automatiquement lorsqu'une activité inhabituelle se produit.
Les audiences australiennes s'inscrivent dans un débat plus large qui inclut les centres de données, les droits d'auteur et la réglementation du secteur, et les séances d'enquête devraient se poursuivre jusqu'au 9 octobre, tandis que le rapport final devrait être publié. Le 30 novembre, selon Reuters.
