📺 Vídeo de estudio recomendado hoy: https://www.youtube.com/watch?v=QDsbFLEt9ro
Vigilando a los Vigilantes: El Futuro de la Seguridad de Agentes IA
La rápida adopción de agentes autónomos como Claude Code y AutoGPT ha dejado obsoletos los controles de seguridad tradicionales. Maxim Kogan, CEO de Onyx Security, explica cómo la industria está pasando de preocuparse por lo que los empleados escriben en un chat a temer las acciones directas que la IA ejecuta en la infraestructura.
Pregunta central: ¿Cómo pueden las empresas permitir la autonomía de la IA sin perder el control sobre sus sistemas más críticos?
Puntos clave
- El surgimiento de agentes autónomos ha creado un riesgo exponencial que los permisos de identidad tradicionales no pueden mitigar.
- Onyx Security entrena modelos pequeños y especializados que actúan como “guardianes” de los modelos más grandes y costosos.
- La seguridad de la IA requiere comprender la “intención” y el contexto, algo que los proxies y firewalls actuales ignoran.
- Existe una necesidad estructural de supervisión independiente; los laboratorios de IA no deberían “corregir su propio examen”.
⏱️ Tiempo de lectura: aprox. 6 minutos · Te ahorra unos 35 minutos frente a ver el vídeo.
¿Quieres tomar notas mientras ves el vídeo? Haz clic en la imagen de abajo y deja que AI Notebook extraiga los puntos clave por ti 👇
El Colapso de la Seguridad Tradicional
De la prevención de fuga de datos a la gestión de acciones
La llegada de AutoGPT marcó un punto de inflexión donde la IA dejó de ser una herramienta de generación de texto para convertirse en un agente con capacidad de decisión.
Anteriormente, la seguridad se centraba exclusivamente en evitar que los empleados compartieran información confidencial en prompts, pero hoy el desafío es supervisar a agentes que tienen acceso a APIs, bases de datos y repositorios de código para ejecutar tareas sin intervención humana directa. Esta evolución hacia la autonomía total significa que los fallos de la IA ya no son simples errores de texto, sino acciones que pueden borrar bases de datos o publicar tokens de seguridad por accidente.
Maxim Kogan señala que las empresas se encuentran actualmente en un estado de indefensión técnica porque las herramientas de seguridad de identidad son demasiado rígidas para la flexibilidad que requiere un agente moderno.
💡 Profundizando
Q: ¿Por qué no funcionan los permisos tradicionales?
A: Porque queremos que los agentes tengan nuestros permisos para que trabajen por nosotros mientras almorzamos; limitar sus permisos anula su utilidad.
Q: ¿Cuál es el mayor riesgo detectado recientemente?
A: Agentes que publican accidentalmente código y tokens de seguridad en repositorios públicos al intentar resolver tareas de programación.
La Estrategia del “Guardián”: Modelos Especializados
Eficiencia técnica frente a modelos de frontera
El enfoque de Onyx no es simplemente usar un modelo grande para vigilar a otro, ya que eso duplicaría los costes y aumentaría la latencia a niveles inaceptables para cualquier flujo de trabajo empresarial.
La solución técnica reside en el entrenamiento de modelos extremadamente pequeños y optimizados que poseen la “intuición” necesaria para detectar anomalías. Estos pequeños guardianes funcionan como un filtro de primera línea que solo invoca a modelos de razonamiento superior cuando detectan una acción de alto riesgo, imitando la forma en que un gran maestro de ajedrez toma decisiones intuitivas rápidas y solo se detiene a calcular profundamente en momentos críticos.
Este sistema permite que la supervisión sea económicamente viable y lo suficientemente rápida para no entorpecer la productividad del desarrollador.
💡 Profundizando
Q: ¿Cómo se entrenan estos modelos guardianes?
A: Se enfocan exclusivamente en aprender a distinguir entre acciones legítimas e ilegítimas basadas en el historial de comportamiento del agente.
Q: ¿Qué analogía usa Kogan para explicar su sistema?
A: El ajedrez Blitz, donde la mayoría de los movimientos son intuitivos y rápidos, pero se reserva la potencia de cálculo para las jugadas que definen la partida.
El Dilema del Ecosistema y la Confianza
Por qué los laboratorios no pueden ser sus propios jueces
Existe una división clara en la industria sobre si OpenAI o Anthropic deberían proporcionar sus propias herramientas de seguridad y gobernanza.
Kogan argumenta que, estructuralmente, las empresas no confían plenamente en los proveedores de modelos para auditar sus propias acciones, especialmente porque estos laboratorios tienen incentivos para usar los datos históricos de uso con el fin de entrenar futuras iteraciones de sus modelos. Además, la realidad de las empresas es multi-modelo; una organización usará una mezcla de código abierto, Claude y GPT, lo que requiere una capa de seguridad neutral que unifique el control sobre todos ellos sin importar el proveedor.
El ecosistema de seguridad en Israel, con su mentalidad adversarial, está capitalizando esta brecha para construir soluciones que entienden la psicología del atacante y las necesidades operativas de los CISO.
💡 Profundizando
Q: ¿Por qué las Fortune 100 confían en una startup de dos años?
A: Porque el dolor causado por la falta de control sobre la IA es tan agudo que están dispuestos a apostar por soluciones emergentes especializadas.
Q: ¿Cómo afecta el abaratamiento de encontrar vulnerabilidades con IA?
A: Obliga a las empresas a fortalecer sus “controles fundacionales” (identidad, firewalls, detección en endpoints) para mitigar el caos que causarán las herramientas de hacking automatizado.
Conclusiones clave
El paso de la automatización simple a la autonomía de los agentes de IA exige un cambio de paradigma en la seguridad informática. Ya no basta con bloquear el acceso; es necesario implementar sistemas que comprendan la intención detrás de cada llamada a una API.
A medida que nos acercamos a la AGI, la supervisión de la IA se convertirá en una de las funciones más críticas de cualquier organización. La capacidad de observar las activaciones internas de los modelos y entender su “razonamiento” será la única forma de garantizar que estos sistemas permanezcan alineados con los objetivos humanos.
Preguntas y Respuestas
Q1: ¿Qué inspiró la creación de Onyx Security?
A: La aparición de AutoGPT. Fue la primera vez que vimos el potencial de los agentes autónomos corriendo en bucle y decidimos que alguien debía “vigilar” a estos sistemas tan inteligentes.
Q2: ¿Por qué los proxies de seguridad no son suficientes?
A: Porque el problema difícil no es ver los datos (interceptar), sino decidir si una acción es correcta o no. Un proxy no entiende por qué un agente quiere borrar una base de datos.
Q3: ¿Qué es el “riesgo Mythus”?
A: Es el término para referirse a la drástica caída en el coste de encontrar vulnerabilidades de software gracias a las nuevas herramientas de codificación con IA, lo que facilita ataques masivos.
Q4: ¿Cómo maneja Onyx la privacidad de los datos empresariales?
A: Permitiendo que las empresas mantengan su historial de datos fuera de los modelos de los grandes laboratorios, evitando que se usen para re-entrenamiento.
Q5: ¿Cuál es el papel del ecosistema israelí en esta nueva era?
A: Aportar una profunda experiencia en ciberseguridad y matemáticas para resolver el problema de la “alineación” de la IA desde una perspectiva práctica y de ingeniería.
Q6: ¿Seguirán existiendo equipos de seguridad humanos en el futuro?
A: Sí, pero estarán altamente potenciados por agentes. La clave seguirá siendo entender la experiencia del usuario final, ya sea este un humano o un agente de IA.
Q7: ¿Qué pasará con la seguridad en 2027?
A: Es impredecible, por lo que Onyx mantiene una postura de “opiniones fuertes, pero débilmente sostenidas”, listos para adaptarse a cualquier nuevo paradigma de inteligencia artificial.
