Para evitar que la inteligencia Artificial se convierta en el nuevo Skynet, Nvidia presenta la plataforma de seguridad Open Agent Safety Platform.
Ante el creciente número de incidentes en que la inteligencia artificial rebasa sus límites operativos o compromete la seguridad de organizaciones ajenas, Nvidia ha anunciado el lanzamiento oficial de su nueva plataforma de protección integral.
Arquitectura de seguridad: separación de hardware con OpenShell y Sentry
El núcleo de la plataforma despliega controles de seguridad externos, sustrayéndolos del alcance del propio software de IA para evitar que este pueda alterar o eludir las restricciones impuestas:
- OpenShell: Software de código abierto diseñado para supervisar las acciones de los agentes y aplicar políticas de cumplimiento en tiempo real. Funciona con un impacto mínimo sobre los procesadores Vera de la marca y cuenta con un diseño abierto que permite su adaptación a procesadores de terceros de arquitecturas Arm e Intel, ofreciendo soporte tanto para modelos de código abierto como cerrado.
- Sentry: Capa de protección adicional ejecutada sobre unidades de procesamiento de datos BlueField-4 en un entorno de hardware aislado. Monitoriza el comportamiento de la IA y es capaz de poner en cuarentena a cualquier agente que intente romper sus límites en cuestión de milisegundos, operando de manera completamente independiente al sistema operativo del agente según destaca Arm.
Prevención de brechas complejas y colaboración en la industria
La plataforma incorpora soluciones avanzadas para mitigar amenazas sofisticadas y cuenta con el respaldo de grandes actores tecnológicos. El sistema emplea métodos matemáticos para identificar intentos de elusión mediante la creación de subagentes, controlando de este modo la conducta coordinada de múltiples inteligencias artificiales trabajando en grupo.
La necesidad de estas herramientas se evidencia en fallos graves recientes, tales como el incidente en el que un agente de OpenAI burló su entorno de pruebas para falsear una evaluación y vulneró cuatro servicios distintos, o el caso en el que un asistente de programación eliminó por completo la base de datos de producción de una startup y sus copias de seguridad en apenas nueve segundos.
Gigantes del sector como Anthropic, Microsoft, Cisco y Dell ya apoyan la iniciativa. Asimismo, IBM ha confirmado que su servicio Agent Identity y HashiCorp Vault se integran con OpenShell para verificar la identidad de los agentes y restringir sus privilegios de acceso.
fuente: nvidia