Assegurar segurança e governança para agentes de IA
Implementar um plano abrangente antes da implantação em larga escala de agentes
O interesse na “IA agêntica” está crescendo rapidamente. Os líderes de tecnologia reconhecem o enorme potencial para aumentar a eficiência em suas organizações ao usar agentes de IA para executar tarefas e tomar decisões de forma autônoma, com mínima ou nenhuma intervenção humana.
Você provavelmente está ouvindo e lendo sobre IA agêntica em todos os lugares. Parece que a IA agêntica será o próximo passo em uma progressão rápida da adoção de IA democratizada, que acelerou drasticamente com o surgimento dos serviços de IA generativa (GenAI). Os padrões de tráfego da internet mostram como essas novas tecnologias estão sendo rapidamente adotadas por empresas e indivíduos. Na Cloudflare, observamos um aumento de 250% no tráfego que passou por nossa rede para serviços de IA, de março de 2023 a março de 2024.
A implementação de agentes de IA tem sido modesta até agora, mas provavelmente vai explodir nos próximos anos. De acordo com um relatório recente, 96% dos líderes de TI planejam expandir o uso de agentes de IA nos próximos 12 meses. Outro relatório mostra que 80% dos desenvolvedores entrevistados acreditam que os agentes de IA se tornarão tão essenciais para o desenvolvimento de software quanto as ferramentas de software tradicionais. Muitos dos aplicativos que os desenvolvedores criam incluirão IA agêntica: a Gartner relata que, até 2028, um terço dos aplicativos de software empresariais incluirá IA agêntica. Esses aplicativos orientados por IA tomarão 15% das decisões diárias de trabalho de forma autônoma.
Embora muitas organizações estejam prontas para começar a implementar agentes de IA em breve, elas não estabeleceram a governança ou segurança adequadas. É verdade que segurança e governança frequentemente ficam para trás em grandes transformações empresariais. Mas, dada a magnitude dos riscos envolvidos com os agentes de IA, todos precisamos definir nossa abordagem para proteger e governar os agentes de IA antes de realizar implantações em larga escala.
A estrutura certa de segurança e governança pode ajudar a guiar os recursos e processos que as equipes precisam implementar. Porque proteger uma organização na era da IA não é responsabilidade exclusiva do CISO.
Deixar agentes de IA expostos a ataques cada vez mais rápidos
Embora os agentes de IA possam oferecer benefícios importantes para organizações de todos os setores, eles também são novos alvos para invasores. Na pressa para implementar agentes de IA, muitas empresas não reforçam a segurança para proteger adequadamente os modelos, dados e outras ferramentas utilizadas no desenvolvimento desses agentes.
Os invasores já estão visando os grandes modelos de linguagem (LLMs) que servem como base para os agentes de IA. Eles estão manipulando os prompts usados pelos LLMs para roubar informações, produzir decisões erradas e lançar esquemas de engenharia social. Eles também estão envenenando os dados usados para treinar LLMs, o que gera resultados imprecisos e ações errôneas por parte dos agentes de IA.
Passamos pela mesma experiência anteriormente quando começamos a utilizar código aberto em grande escala. A rápida adoção sem a devida verificação de segurança levou a vulnerabilidades na cadeia de suprimentos. Com agentes de IA, estamos repetindo esse padrão, mas enfrentando riscos mais complexos, pois os ataques podem ser sutis e mais difíceis de detectar do que explorações de código tradicionais.
Além disso, os invasores estão mirando vulnerabilidades na cadeia de suprimentos para aplicativos orientados por IA. Como muitas organizações adotam modelos e ferramentas de terceiros para construir seus agentes de IA, elas precisam estar cientes de que esses agentes são apenas tão seguros quanto o elo mais fraco da cadeia.
Estabelecer a responsabilidade pelas decisões e ações dos agentes
À medida que nos defendemos contra ameaças externas, também devemos nos preparar para problemas gerados pelos próprios agentes. A proliferação de agentes de IA está criando novos desafios operacionais além da segurança, semelhante à forma como as soluções de agentes de endpoint para antivírus e de detecção e resposta de endpoint (EDR) sobrecarregaram os recursos do sistema há alguns anos. As organizações agora precisam gerenciar dezenas de agentes de IA que operam simultaneamente, cada um consumindo recursos computacionais significativos.
Os agentes de IA também são imperfeitos. Se os humanos fornecerem objetivos vagos ou desalinhados, ou não incluírem diretrizes específicas sobre como operar, os agentes vão cometer erros.
Quem é responsável por garantir que os agentes de IA desempenhem suas funções conforme esperado? Quem é responsável quando algo dá errado? Considere alguns cenários:
Compras: digamos que um agente de compras de IA responda a uma escassez de suprimentos solicitando novos componentes, mas esses componentes têm uma margem de 300%. Quem é responsável: o gerente que definiu a prioridade do agente para “garantir a continuidade da produção” ou as equipes de compras que não estabeleceram limites de sensibilidade a preços e controles empresariais necessários?
Financeiro: e se um agente de IA em finanças aprovar todas as faturas abaixo de certos limites de gastos, incluindo faturas que foram sinalizadas como suspeitas? O resultado pode ser pagamentos a fornecedores fraudulentos.
Tecnologia: um agente de IA com acesso de administrador poderia implementar automaticamente correções de software em toda a infraestrutura crítica. Mas e se o agente começar a acessar metadados de e-mail de funcionários, padrões de tráfego de rede ou registros do sistema financeiro para “otimizar” seu cronograma de correções? O agente pode atrasar correções de segurança críticas nos servidores financeiros durante o processamento de fim de mês, expondo inadvertidamente a organização a vulnerabilidades conhecidas ao usar dados que nunca foi autorizado a acessar.
Para esses e outros cenários, precisamos de mecanismos de governança ou supervisão que vão além dos controles humanos no circuito. Os agentes de IA aprendem e se adaptam ao longo do tempo, ampliando seu escopo além dos parâmetros originais. Um agente projetado para otimizar a implantação de correções pode começar a incorporar padrões de tráfego de rede, métricas de desempenho e dados de comportamento do usuário para refinar as decisões. Embora isso melhore os resultados, também significa que o perfil de risco do agente está em constante crescimento. As organizações precisam de estratégias de governança que auditem regularmente quais dados os agentes acessam, como a sua tomada de decisão evolui e se as capacidades expandidas ainda se alinham aos objetivos da empresa, porque os analistas humanos podem não compreender o contexto completo das fontes de dados adicionais que o agente incorporou.
Estrutura de três pilares para adoção de agentes de IA em larga escala
Assim que a tecnologia para desenvolver e operacionalizar agentes de IA amadurecer, não há dúvida de que a adoção será rápida. As organizações devem começar a trabalhar agora para implementar uma estrutura que permita o uso de agentes de IA e mitigue riscos. Essa estrutura deve ser construída sobre os três pilares principais de segurança técnica, segurança operacional e governança e conformidade.
1. Segurança técnica
CISOs e CIOs precisam garantir que os recursos técnicos de segurança corretos estejam em vigor para proteger cada elemento dos sistemas de agentes de IA.
Controle de entrada e acesso: validar entradas, impedir injeções de prompts e controlar quem e o que pode interagir com os agentes de IA. Implementar políticas de acesso de menor privilégio será essencial.
Transparência no acesso a dados: visibilidade clara de quais dados os agentes de IA estão acessando, analisando e incorporando em seus processos de tomada de decisão.
Proteção de modelos e dados: proteger os modelos de IA e implementar a criptografia de dados para informações processadas ou armazenadas no ambiente de agentes.
Segurança de interface: incorporar segurança em APIs, interfaces de agentes e autenticação para interações entre agentes. À medida que as organizações implementam aplicativos e agentes de IA na borda para melhorar as experiências do usuário, elas também precisam proteger esses aplicativos e agentes na borda.
Integridade da cadeia de suprimentos: como as organizações frequentemente utilizam múltiplos elementos de terceiros na criação e implantação de agentes de IA, é crucial que verifiquem esses componentes e dependências de terceiros através de monitoramento contínuo (ao contrário de validações e certificações pontuais).
2. Segurança operacional
Os líderes de TI e segurança devem colaborar com os COOs para proteger a operação de agentes e processos em tempo real.
Monitoramento e detecção: visibilidade em tempo real das atividades dos agentes, identificando quaisquer anomalias ou padrões potencialmente maliciosos, incluindo padrões nas ações e decisões dos agentes de IA.
Resposta a incidentes: estabelecer procedimentos para lidar com incidentes de segurança. Eles também devem criar processos para atualizar ou modificar agentes em estreita colaboração com os líderes empresariais, de modo que possam melhorar a segurança após os incidentes.
Proteção de recursos: impor limites ao uso de recursos pode evitar ataques de negação de serviço (DoS) e ajudar a garantir níveis de desempenho suficientes.
Tratamento de exceções: definir processos para gerenciar casos extremos e cenários inesperados que estão fora das operações normais.
3. Governança e conformidade
Os líderes de TI, segurança e operações precisam governar o uso de agentes de IA e, ao mesmo tempo, trabalhar com responsáveis pela conformidade para garantir a adesão às regulamentações.
Estrutura de decisão: definir limites claros para ações autônomas com pontos de escala e intervenção definidos.
Estrutura de responsabilidade: alocar a responsabilidade pelas ações dos agentes e classificar os riscos com base no possível impacto das ações. Pode haver várias partes responsáveis, incluindo desenvolvedores terceirizados, as equipes que implantam agentes, as equipes que utilizam agentes e usuários externos.
Auditoria e conformidade: ferramentas para registrar e analisar ações de agentes e monitorar a conformidade podem ajudar as organizações a aderir a políticas e regulamentos relevantes.
Melhoria contínua: realizar avaliação regular dos controles de segurança e implementar mecanismos de feedback para reforçar a postura de segurança.
Seguir em frente com agentes de IA
Os agentes de IA têm um potencial significativo para melhorar a velocidade e a eficiência de várias tarefas, desde o fornecimento de suporte ao cliente até a identificação de fraudes. À medida que esses sistemas evoluem, eles acessarão e analisarão cada vez mais dados além de seu escopo original, criando tanto oportunidades quanto riscos que exigem uma gestão cuidadosa.
A estrutura de três pilares de segurança técnica, segurança operacional e governança e conformidade que descrevi fornece uma base para enfrentar esse desafio. No entanto, o futuro pode estar em empresas que desenvolvem sistemas de IA capazes de se autogovernar, ajustando automaticamente os controles de segurança e mantendo a conformidade à medida que evoluem, em vez de depender de abordagens tradicionais de supervisão que frequentemente ficam para trás na execução.
A Cloudflare oferece uma ampla gama de recursos para ajudar sua organização a criar, escalar e proteger agentes de IA. Por exemplo, o Cloudflare Workers AI permite que os desenvolvedores criem e implementem aplicativos de IA na borda, perto dos usuários. Os desenvolvedores podem construir servidores de model context protocol (MCP) remotos para permitir que agentes de IA acessem ferramentas e recursos a partir de serviços externos.
Enquanto isso, os extensos serviços de segurança da Cloudflare, disponíveis em todos os locais na borda, permitem que as organizações protejam agentes de IA e aplicativos baseados em IA contra ataques em qualquer lugar. Em particular, a suíte Cloudflare para IA oferece visibilidade, segurança e controle abrangentes para aplicativos de IA. A Cloudflare também oferece ferramentas para auditar e controlar como os modelos de IA acessam o conteúdo em todos os sites. Juntos, todos esses recursos permitem que as organizações construam e implantem rapidamente agentes de IA, minimizando os riscos que eles introduzem.
Este artigo é parte de uma série sobre as tendências e os assuntos mais recentes que influenciam os tomadores de decisões de tecnologia hoje em dia.
Saiba mais sobre esse assunto
Saiba como se preparar para a implantação segura de recursos de IA em toda a empresa no guia para CISOs Ensuring safe AI practices.
Autoria
Grant Bourzikas — @grantbourzikas
Chief Security Officer, Cloudflare
Principais conclusões
Após ler este artigo, você entenderá:
Principais ameaças cibernéticas que visam agentes de IA
Por que estabelecer a governança e a responsabilidade dos agentes de IA é fundamental
Três pilares principais de uma estrutura de segurança e governança para agentes de IA