Por qué un «interruptor de apagado» de IA no es una solución universal
Los recientes incidentes de ciberseguridad relacionados con agentes de IA, como el incidente de Hugging Face y OpenAI, han llevado a los responsables de políticas públicas a considerar si es necesario un «interruptor de apagado» de IA para evitar que sistemas cada vez más capaces causen daños significativos e inminentes. Pero la expresión sugiere una simplicidad que no existe. Un «interruptor de apagado» podría significar cualquier cosa, desde revocar los permisos de un agente hasta suspender un modelo o desactivar la infraestructura que sustenta un servicio. Antes de exigir tales mecanismos, los responsables de políticas públicas deberían plantearse una pregunta más fundamental: ¿qué riesgos abordaría realmente un requisito de apagado y qué nuevos riesgos podría generar?
Por ejemplo:
- Las salvaguardas de emergencia podrían consistir en distintos mecanismos que varían en alcance y efecto. Las salvaguardas podrían cortar el acceso de un usuario individual, revocar los permisos de un agente, suspender un modelo, servicio o despliegue concreto, o desactivar la infraestructura que aloja un modelo o a través de la cual se presta un servicio. La implementación de estos controles combinaría mecanismos técnicos, operativos y administrativos. Quién controla la activación es una consideración aparte, ya que un proveedor puede actuar de forma independiente o en respuesta a una orden gubernamental, o bien otra parte puede activar el mecanismo. La forma en que se diseña la salvaguarda y qué entidad tiene la capacidad de invocarla tienen implicaciones muy diferentes para la seguridad y la continuidad del servicio.
- Es posible que las salvaguardas de emergencia no detengan todas las actividades. Por ejemplo, suspender un modelo concreto no significa automáticamente que cesen las tareas delegadas ya iniciadas. Tampoco desactivaría necesariamente las copias del modelo que se descargan y ejecutan de forma independiente.
- La implementación eficaz de una salvaguarda de emergencia depende del momento oportuno. Una intervención de emergencia requiere que se detecte o anticipe un problema y que se actúe con la rapidez suficiente para limitar el daño. En muchos casos, incluso la activación rápida de una salvaguarda podría dar lugar a daños si no existen otras medidas de gestión de riesgos.
- La introducción de mecanismos de salvaguarda de emergencia puede generar nuevos riesgos. Una suspensión amplia podría interrumpir los servicios de usuarios que no tienen ninguna relación con la actividad que la motivó. Las empresas que dependen de un servicio afectado podrían sufrir interrupciones en sus propias operaciones. Además, incorporar la capacidad técnica de desactivar a distancia un producto o servicio podría crear nuevas vías de interferencia maliciosa o comprometer de otro modo la seguridad y la resiliencia. Las intervenciones de política que prescriben implementaciones técnicas específicas pueden volverse menos adecuadas a medida que evolucionan los modelos y los despliegues, lo que introduce vulnerabilidades e impide que los productos y servicios evolucionen.
- Si los requisitos de apagado de emergencia subsanarían deficiencias en los controles de ciberseguridad existentes. Dados los riesgos operativos y empresariales que puede introducir un mecanismo de apagado, los responsables de políticas públicas que consideren nuevos requisitos deberían determinar primero los daños específicos que buscan prevenir o mitigar y en qué aspectos resultan insuficientes los requisitos y prácticas existentes. Las propuestas de nuevos requisitos deberían evaluar los costos y la posible introducción de riesgos desproporcionados. Los responsables de políticas públicas también deberían comprender que las obligaciones contradictorias entre estados o a nivel internacional agravan estos desafíos. Cuando los requisitos tuvieran un impacto extraterritorial, los clientes podrían preocuparse por la continuidad del servicio, y los productos y servicios estadounidenses podrían perder confianza y competitividad.
- Las salvaguardas de emergencia deberían considerarse una parte de un enfoque integral de gestión de riesgos de la IA. Los desarrolladores, integradores e implementadores de IA deberían mantener controles eficaces, proporcionados y seguros para abordar el uso indebido y el comportamiento inseguro de los modelos y agentes de IA. La capacidad de interrumpir o desactivar un sistema puede ser una salvaguarda importante, pero su eficacia depende de medidas y controles complementarios, como las pruebas, las restricciones de acceso, los límites a los permisos de los agentes de IA, la supervisión continua y la planificación de la respuesta y recuperación ante incidentes. Muchas de estas prácticas se describen en marcos y normas de gestión de riesgos existentes, como el NIST AI Risk Management Framework y la ISO/IEC 42001. La mera disponibilidad de una capacidad de apagado es insuficiente para evaluar la seguridad general de un sistema.
Las salvaguardas de emergencia pueden desempeñar un papel importante en la gestión de riesgos de la IA y, en muchos casos, ya se contemplan en programas consolidados de gestión de riesgos. Sin embargo, son solo una parte de un enfoque más amplio. Antes de imponer un mandato de apagado independiente, los responsables de políticas públicas deberían identificar la deficiencia que subsanaría, sopesar los nuevos riesgos que podría generar y determinar quién está en mejor posición para actuar. La gestión de riesgos de la IA no puede depender de un único interruptor; requiere la implementación de una variedad de medidas y controles.