OpenAI y Anthropic han manifestado su voluntad de apoyar las normas que exigen a las empresas de IA informar sobre incidentes de violación de datos causados o llevados a cabo por agentes de IA, durante una investigación parlamentaria en Australia.
El tema cobró importancia tras la polémica por el retraso de OpenAI en notificar El gobierno australiano informó que uno de sus agentes había pirateado un portal de salud gubernamental, incidente que generó dudas sobre quién tiene la responsabilidad de informar cuando el actor directo no es un empleado o un atacante humano, sino un sistema autónomo.
Según Reuters, OpenAI tardó unos tres meses en informar El gobierno australiano fue notificado del incidente relacionado con el portal de Medicare, y también aparecieron referencias a otros sitios web gubernamentales en la discusión sobre la actividad de los agentes.
Durante la investigación parlamentaria, el jefe de seguridad de OpenAI, Jason Kwon, dijo que la empresa apoya los requisitos obligatorios para revelar este tipo de incidentes. Reconozco que los procesos de concientización interna y manejo del incidente podrían haber sido mejores.
Por su parte, Anthropic también se ha mostrado abierto a reglas similares, según el testimonio del responsable de políticas de la empresa para Australia y Nueva Zelanda, David Masters.
El debate refleja un nuevo problema en las leyes de protección de datos. La legislación tradicional a menudo supone que una empresa posee los datos, que una persona accede a ellos sin autorización o que un sistema está comprometido. Pero los agentes inteligentes ahora pueden abrir sitios web, utilizar herramientas, enviar solicitudes, modificar archivos y realizar una serie de acciones casi sin problemas. Independiente.
Si un agente excede los límites de la misión, determinar el momento de un “incidente de seguridad” se vuelve más complejo: ¿comienza cuando se intenta acceder? ¿O tras un acceso exitoso? ¿Es responsable la empresa que desarrolló el modelo, o la empresa que contrató al agente, o la parte que le dio los poderes?
El caso australiano exige una respuesta más clara: cuando el acceso no autorizado a datos se produce como resultado de la acción de un agente, la divulgación no debe seguir siendo únicamente una decisión corporativa discrecional.
Según Reuters, todavía no existe un sistema público unificado para la notificación obligatoria de incidentes de agentes de inteligencia artificial en Estados Unidos, aunque hay medidas legislativas para abordar el comportamiento peligroso de estos sistemas.
El tiempo también es importante porque las empresas de tecnología están avanzando rápidamente hacia herramientas que puedan realizar tareas completas en lugar de simplemente sugerir el siguiente paso. Cuanto más se expanden los poderes de los agentes, mayor será el alcance del daño. Posiblemente resultante de un error en la interpretación del objetivo, debilidad en las restricciones o un defecto en el sistema externo.
Por lo tanto, las organizaciones que adopten agentes de IA necesitarán controles similares a los que utilizan con las cuentas humanas y de servicio: permisos mínimos, registro completo de actividades, límites claros. Para los sistemas accesibles, se apaga automáticamente cuando ocurre una actividad inusual.
Las audiencias australianas se enmarcan en una discusión más amplia que incluye centros de datos, derechos de autor y regulación del sector, y se espera que las sesiones de investigación continúen hasta el 9 de octubre, mientras se espera que se emita el informe final. El 30 de noviembre, según Reuters.
