Garantiza la seguridad y la gobernanza de los agentes de IA
Pon en marcha un plan integral antes de realizar una implementación a gran escala de los agentes
El interés por la "IA agéntica" está creciendo a un ritmo acelerado. Los líderes tecnológicos reconocen el tremendo potencial para mejorar la eficiencia en sus organizaciones mediante el uso de agentes de IA para ejecutar tareas y tomar decisiones de manera autónoma, con una intervención mínima o nula de los humanos.
Probablemente estés escuchando y leyendo sobre la IA agéntica en todas partes. Parece que la IA agéntica será el siguiente paso en una rápida progresión de la adopción democratizada de la IA, que se aceleró drásticamente con el auge de los servicios de la IA generativa. Los patrones de tráfico de Internet muestran la rapidez con la que las empresas y los particulares están adoptando estas nuevas tecnologías. En Cloudflare, observamos un aumento del 250 % en el tráfico que fluye a través de nuestra red hacia los servicios de IA desde marzo de 2023 hasta marzo de 2024.
La implementación de agentes de IA ha sido modesta hasta ahora, pero es probable que se expanda significativamente en los próximos años. Según un informe reciente, el 96 % de los líderes de TI planean expandir su uso de agentes de IA en los próximos 12 meses. Otro informe muestra que el 80 % de los desarrolladores encuestados cree que los agentes de IA serán tan esenciales para el desarrollo de software como las herramientas de software tradicionales. Muchas de las aplicaciones que desarrollan los programadores incluirán IA agéntica. Gartner informa que para 2028, un tercio de las aplicaciones de software empresarial incluirán IA agéntica. Esas aplicaciones impulsadas por IA tomarán el 15 % de las decisiones cotidianas de trabajo de manera autónoma.
Aunque muchas organizaciones están a punto de comenzar a implementar agentes de IA en breve, aún no han establecido medidas de seguridad ni de gobernanza adecuadas. Ahora, es cierto que la seguridad y la gobernanza a menudo se quedan rezagadas respecto a las grandes transformaciones empresariales. Sin embargo, dada la magnitud de los riesgos que implican los agentes de IA, todos debemos definir nuestro enfoque para asegurar y gobernar los agentes de IA antes de realizar implementaciones a gran escala.
El marco adecuado de seguridad y gobernanza puede ayudar a guiar las capacidades y los procesos que los equipos necesitan implementar. Porque salvaguardar una organización en la era de la IA no es solo responsabilidad del CISO.
La exposición de los agentes de IA al auge de los ataques
Aunque los agentes de IA pueden proporcionar importantes beneficios a las organizaciones de todos los sectores, también se convierten en nuevos objetivos para los atacantes. En la prisa por implementar agentes de IA, muchas empresas no refuerzan la seguridad lo suficiente para proteger los modelos, los datos y otras herramientas utilizadas para desarrollar esos agentes.
Los atacantes ya están apuntando a los modelos lingüísticos de gran tamaño (LLM) que sirven como base para los agentes de IA. Están manipulando las instrucciones utilizadas para los LLM para robar información, tomar decisiones erróneas y poner en marcha planes de ingeniería social. También están envenenando los datos utilizados para entrenar los LLM, lo que provoca resultados inexactos y acciones erróneas por parte de los agentes de IA.
Ya pasamos por la misma experiencia anteriormente cuando comenzamos a utilizar el código abierto a gran escala. La rápida adopción sin las debidas comprobaciones de seguridad provocó vulnerabilidades en la cadena de suministro. Con los agentes de IA, estamos repitiendo este patrón, pero enfrentamos riesgos más complejos, ya que los ataques pueden ser sutiles y más difíciles de detectar que las explotaciones de código tradicionales.
Además, los atacantes están apuntando a las vulnerabilidades dentro de la cadena de suministro de las aplicaciones basadas en IA. Dado que muchas organizaciones adoptan modelos y herramientas de terceros para desarrollar sus agentes de IA, deben ser conscientes de que esos agentes son tan seguros como el eslabón más débil de la cadena.
Determina la responsabilidad de las decisiones y acciones de los agentes
Mientras nos defendemos de las amenazas externas, también debemos prepararnos para los problemas causados por los propios agentes. La proliferación de agentes de IA está generando nuevos desafíos operativos más allá de la seguridad, similar a cómo los agentes de puntos finales para soluciones antivirus y de detección y respuesta de puntos finales (EDR) sobrecargaron los recursos de los sistemas hace unos años. Ahora las organizaciones deben gestionar docenas de agentes de IA que operan simultáneamente, cada uno consumiendo recursos de procesamiento significativos.
Los agentes de IA también son imperfectos. Si los humanos proporcionan objetivos imprecisos o poco claros, o no incluyen directrices específicas sobre cómo operar, los agentes cometerán errores.
¿Quién es responsable de asegurar que los agentes de IA actúen como deben? ¿Quién es responsable cuando algo sale mal? Contempla algunos escenarios:
Compras: supongamos que un agente de compras de IA responde a una escasez de suministros solicitando nuevos componentes, pero esos componentes tienen un sobreprecio del 300 %. ¿Quién es responsable? ¿El gerente que estableció la prioridad del agente para "garantizar la continuidad de la producción" o los equipos de compras que no incorporaron las medidas de sensibilidad al precio y los controles comerciales necesarios?
Finanzas: ¿Qué ocurre si un agente de IA en finanzas aprueba todas las facturas por debajo de ciertos umbrales de gasto, incluidas las facturas que han sido marcadas como sospechosas? El resultado podría ser pagos a proveedores fraudulentos.
Tecnología: un agente de IA con acceso de administrador podría implementar automáticamente revisiones de software en toda la infraestructura crítica. Pero, ¿qué ocurre si el agente empieza a acceder a los metadatos del correo electrónico de los empleados, a los patrones de tráfico de red o a los registros del sistema financiero para "optimizar" su programa de revisión? El agente podría retrasar la aplicación de revisiones de seguridad críticas en los servidores financieros durante el trabajo de cierre mensual, y exponer inadvertidamente a la organización a vulnerabilidades conocidas mediante el uso de datos a los que nunca se le autorizó el acceso.
Para estos y otros escenarios, necesitamos mecanismos de gobernanza o supervisión que vayan más allá de los controles humanos. Los agentes de IA aprenden y se adaptan con el tiempo, ampliando su alcance más allá de los parámetros originales. Un agente diseñado para optimizar la implementación de revisiones podría comenzar a incorporar patrones de tráfico de red, métricas de rendimiento y datos de comportamiento de los usuarios para perfeccionar las decisiones. Aunque esto mejora los resultados, también significa que el perfil de riesgo del agente crece continuamente. Las organizaciones necesitan estrategias de gobernanza que supervisen periódicamente a qué datos acceden los agentes, cómo evoluciona su toma de decisiones y si las capacidades ampliadas siguen alineándose con los objetivos empresariales, ya que es posible que los supervisores humanos no comprendan todo el contexto de las fuentes de datos adicionales que ha incorporado el agente.
Marco de tres pilares para la adopción a gran escala de agentes de IA
Una vez que la tecnología para construir y operacionalizar agentes de IA madure, no hay duda de que la adopción será rápida. Las organizaciones deberían comenzar a trabajar ahora para implementar un marco que permita tanto el uso de agentes de IA como la mitigación de riesgos. Ese marco debería desarrollarse sobre los tres pilares clave de la seguridad técnica, la seguridad operativa y la gobernanza y la conformidad.
1. Seguridad técnica
Los CISO y los directores de informática deben garantizar que se dispone de las capacidades técnicas de seguridad adecuadas para proteger todos los elementos de los sistemas de agentes de IA.
Control de entrada y acceso: valida las entradas, evita las inyecciones de instrucciones y controla quién y qué puede interactuar con los agentes de IA. Implementar políticas de acceso de mínimos privilegios será esencial.
Transparencia en el acceso a los datos: visibilidad clara de los datos a los que acceden los agentes de IA, los analizan e incorporan a sus procesos de toma de decisiones.
Protección de modelos y datos: protege los modelos de IA e implementa la encriptación de datos para la información procesada o almacenada en el entorno del agente.
Seguridad de la interfaz: integra la seguridad en las API, las interfaces de los agentes y la autenticación para las interacciones entre agentes. A medida que las organizaciones implementan aplicaciones y agentes de IA en el perímetro para mejorar las experiencias de los usuarios, también deben proteger esas aplicaciones y agentes en el perímetro.
Integridad de la cadena de suministro: dado que las organizaciones suelen utilizar múltiples elementos de terceros para construir e implementar agentes de IA, deben asegurarse de verificar esos componentes y dependencias de terceros mediante una supervisión continua (en lugar de validaciones y certificaciones puntuales).
2. Seguridad operativa
Los responsables de informática y seguridad deben colaborar con los directores de operaciones para proteger el funcionamiento de los agentes y procesos en tiempo real.
Supervisión y detección: visibilidad en tiempo real de las actividades de los agentes, identificando cualquier anomalía o patrón potencialmente malicioso, incluidos los patrones en las acciones y decisiones de los agentes de IA.
Respuesta a incidentes: establece procedimientos para abordar los incidentes de seguridad. También deberían crear procesos para actualizar o modificar agentes en estrecha colaboración con los líderes empresariales, de modo que puedan mejorar la seguridad tras los incidentes.
Protección de recursos: establecer límites en el uso de recursos puede prevenir ataques de denegación de servicio (DoS) y ayudar a garantizar niveles de rendimiento suficientes.
Gestión de excepciones: define procesos para gestionar casos extremos y escenarios inesperados que se salen del marco de las operaciones normales.
3. Gobernanza y conformidad
Los líderes de informática, seguridad y operaciones deben gobernar el uso de agentes de IA mientras colaboran con los responsables de conformidad para asegurar la adherencia a las regulaciones.
Marco de decisión: establece límites claros para las acciones autónomas con puntos definidos de escalamiento e intervención.
Estructura de responsabilidad: asigna la responsabilidad de las acciones de los agentes y clasifica los riesgos según el impacto potencial de dichas acciones. Puede haber varias personas responsables, incluidos desarrolladores externos, los equipos que implementan los agentes, los equipos que utilizan los agentes y los usuarios externos.
Auditoría y conformidad: las herramientas para registrar y revisar las acciones de los agentes y supervisar la conformidad pueden ayudar a las organizaciones a adherirse a las políticas y regulaciones pertinentes.
Mejora continua: realiza evaluaciones periódicas de los controles de seguridad e implementar mecanismos de retroalimentación para reforzar la postura de seguridad.
El avance con los agentes de IA
Los agentes de IA tienen un potencial significativo para mejorar la velocidad y la eficiencia de diversas tareas, desde brindar atención al cliente hasta detectar fraudes. A medida que estos sistemas evolucionen, accederán y analizarán cada vez más datos fuera de su alcance original, lo que generará tanto oportunidades como riesgos que requerirán una gestión cuidadosa.
El marco de tres pilares de seguridad técnica, seguridad operativa y gobernanza y conformidad que describí proporciona una base para abordar este desafío. Sin embargo, el futuro puede residir en que las empresas desarrollen sistemas de IA que se autogobiernen, ajustando automáticamente los controles de seguridad y manteniendo la conformidad a medida que evolucionan, en lugar de depender de enfoques de supervisión tradicionales que a menudo se quedan rezagados en la ejecución.
Cloudflare ofrece una amplia gama de capacidades para ayudar a tu organización a crear, escalar y proteger agentes de IA. Por ejemplo, Cloudflare Workers AI permite a los desarrolladores crear e implementar aplicaciones de IA en el perímetro, cerca de los usuarios. Los desarrolladores pueden desarrollar servidores MCP (protocolo de contexto de modelo remotos para permitir que los agentes de IA accedan a herramientas y recursos de servicios externos.
Mientras tanto, los amplios servicios de seguridad de Cloudflare, disponibles en cada ubicación perimetral, permiten a las organizaciones proteger a los agentes de IA y las aplicaciones basadas en IA contra ataques en cualquier parte. En particular, la suite Cloudflare para IA ofrece visibilidad, seguridad y control exhaustivos para las aplicaciones de IA. Cloudflare también ofrece herramientas para verificar y controlar cómo los modelos de IA acceden al contenido de los sitios web. Juntas, todas estas capacidades permiten a las organizaciones desarrollar e implementar rápidamente agentes de IA mientras minimizan los riesgos que plantean.
Este artículo forma parte de un conjunto de publicaciones sobre las últimas tendencias y temas que afectan a los responsables de la toma de decisiones sobre tecnología en la actualidad.
Más información sobre este tema
Descubre cómo prepararte para implementar de forma segura las capacidades de IA en toda tu empresa con la guía Garantizar prácticas seguras para el uso de la IA para los CISO.
Autor
Grant Bourzikas — @grantbourzikas
Director de seguridad, Cloudflare
CONCLUSIONES CLAVE
Después de leer este artículo podrás entender:
Las principales amenazas de ciberseguridad que afectan a los agentes de IA
Por qué es fundamental establecer la gobernanza y la responsabilidad de los agentes de IA
Los 3 pilares clave de un marco de seguridad y gobernanza para los agentes de IA