Garantir la sécurité et la gouvernance des agents IA
Mettre en œuvre un plan complet avant le déploiement à grande échelle des agents
L'intérêt porté à l'« IA agentique » croît rapidement. Les leaders de la technologie reconnaissent l'énorme gain d'efficacité que peuvent apporter les agents IA à leur organisation dans l'exécution des tâches et la prise de décisions de manière autonome, avec peu ou pas d'intervention humaine.
Vous avez probablement entendu ou lu beaucoup de choses à propos de l'IA agentique partout où vous allez. L'IA agentique s'annonce comme la prochaine étape d'une progression rapide de l'adoption démocratisée de l'IA, qui s'est accélérée de manière spectaculaire avec l'essor des services d'IA générative (GenAI). Les logiques du trafic Internet montrent à quelle vitesse ces nouvelles technologies sont adoptées par les entreprises et les particuliers. Chez Cloudflare, nous avons constaté une augmentation de 250 % du trafic circulant sur notre réseau vers les services d'IA entre mars 2023 et mars 2024.
La mise en œuvre des agents IA a été modeste jusqu'à présent, mais elle devrait connaître une forte croissance dans les prochaines années. Selon un rapport récent, 96 % des responsables informatiques prévoient d'étendre leur utilisation des agents IA au cours des 12 prochains mois. Un autre rapport indique que 80 % des développeurs interrogés pensent que les agents IA deviendront aussi essentiels au développement de logiciels que les outils logiciels traditionnels. De nombreuses applications que les développeurs créent incluront elles-mêmes l'IA agentique : Gartner rapporte que d'ici 2028, un tiers des applications logicielles d'entreprise feront intervenir l'IA agentique. Ces applications pilotées par l'IA prendront 15 % des décisions quotidiennes concernant le travail de manière autonome.
Bien que de nombreuses organisations soient prêtes à lancer le déploiement des agents IA bientôt, elles n'ont pas établi de sécurité ou de gouvernance adéquates. Il est vrai que la sécurité et la gouvernance prennent souvent du retard par rapport aux grandes transformations des entreprises. Cependant, compte tenu de l'ampleur des risques associés aux agents d'IA, nous devons tous définir notre approche pour sécuriser et gouverner les agents IA avant de procéder à des déploiements à grande échelle.
Le cadre de sécurité et de gouvernance, s'il est adéquat, peut faciliter l'orientation des capacités et des processus que les équipes doivent mettre en œuvre. En effet, la protection d'une organisation à l'ère de l'IA n'est pas la seule responsabilité du RSSI.
Laisser les agents IA exposés à des attaques de plus en plus fréquentes
Si les agents IA peuvent apporter des avantages importants aux entreprises de tous les secteurs, ils sont également de nouvelles cibles pour les acteurs malveillants. Dans la précipitation liée à la mise en œuvre des agents IA, de nombreuses entreprises ne renforcent pas suffisamment la protection des modèles, des données et des autres outils utilisés pour créer ces agents.
Les attaquants ciblent déjà les grands modèles de langage (LLM) qui servent de fondement aux agents IA. Ils manipulent les invites utilisées pour les LLM afin de voler des informations, prendre de mauvaises décisions et lancer des attaques par ingénierie sociale. Ils empoisonnent également les données utilisées pour l'entraînement des LLM, ce qui génère des résultats inexacts et des actions erronées de la part des agents d'IA.
Nous avons traversé la même expérience auparavant lorsque nous avons commencé à exploiter du code open source à grande échelle. Une adoption rapide sans vérification de sécurité adéquate a conduit à des vulnérabilités dans la chaîne d'approvisionnement. Avec les agents d'IA, nous répétons ce schéma, mais nous faisons face à des risques plus complexes, car les attaques peuvent être subtiles et plus difficiles à détecter que les exploitations de code traditionnelles.
En outre, les attaquants ciblent des vulnérabilités au sein de la chaîne d'approvisionnement des applications pilotées par l'IA. De nombreuses organisations adoptant des modèles et des outils tiers pour créer leurs agents d'IA, elles doivent être conscientes de ce que ces agents ne sont pas plus sécurisés que le maillon le plus faible de la chaîne.
Établir la responsabilité pour les décisions et actions des agents
Tandis que nous nous défendons contre les menaces externes, nous devons également nous préparer aux problèmes causés par les agents eux-mêmes. La prolifération des agents d'IA engendre de nouveaux défis opérationnels au-delà de la sécurité. Cela rappelle la manière dont les agents de point de terminaison pour les solutions antivirus et de détection et de réponse aux points de terminaison (EDR) ont sollicité les ressources système il y a quelques années. Les organisations doivent désormais gérer des dizaines d'agents IA fonctionnant simultanément, chacun consommant d'importantes ressources de calcul.
Les agents IA ne sont pas non plus parfaits. Si les humains fournissent des objectifs vagues ou mal alignés, ou s'ils ne prévoient pas de directives spécifiques sur la manière d'opérer, les agents feront des erreurs.
Qui est responsable de faire en sorte que les agents d'IA fonctionnent comme prévu ? Qui est responsable en cas de problème ? Envisagez quelques scénarios :
Achats : supposons qu'un agent IA consacré à l'approvisionnement réponde à une pénurie d'approvisionnement par la commande de nouveaux composants, mais que ces composants sont majorés à 300 %. Qui est responsable ? Le manager qui a donné comme priorité à l'agent «d'assurer la continuité de la production » ou les équipes d’achat qui n’ont pas mis en place des garde-fous en fonction du prix et les contrôles opérationnels nécessaires ?
Finance : que se passe-t-il si un agent IA du domaine financier approuve toutes les factures inférieures à certains seuils de dépenses, y compris celles qui ont été signalées comme suspectes ? Cela pourrait donner lieu à des paiements auprès de fournisseurs frauduleux.
Technologie : un agent IA doté d'un accès administrateur pourrait déployer automatiquement des correctifs logiciels sur des infrastructures critiques. Mais que se passe-t-il si l'agent commence à accéder aux métadonnées des e-mails des employés, aux modèles de trafic réseau ou aux journaux des systèmes financiers pour « optimiser » son calendrier d'application des correctifs ? L'agent peut retarder l'application de correctifs de sécurité critiques sur les serveurs financiers pendant le traitement de fin de mois, exposant ainsi par inadvertance l'organisation à des vulnérabilités connues tout en utilisant des données auxquelles elle n'a jamais été autorisée à accéder.
Ces scénarios, ainsi que d'autres, soulignent la nécessité de mécanismes de gouvernance ou de surveillance qui vont au-delà des contrôles impliquant des humains dans la boucle. Les agents d'IA apprennent et s'adaptent au fil du temps, élargissant leur champ d'action au-delà des paramètres initiaux. Un agent conçu pour optimiser le déploiement des correctifs peut commencer à incorporer des modèles de trafic réseau, des indicateurs de performance et des données sur le comportement des utilisateurs pour affiner les décisions. Si cela améliore les résultats, cela signifie également que le profil de risque de l'agent ne cesse de croître. Les organisations ont besoin de stratégies de gouvernance qui vérifient régulièrement les données auxquelles les agents accèdent, la manière dont leur prise de décision évolue, et l'alignement des capacités étendues avec les objectifs commerciaux. En effet, il peut arriver que les examinateurs humains ne comprennent pas le contexte global des sources de données supplémentaires que l'agent a intégrées.
Un cadre de sécurité à trois piliers pour l'adoption à grande échelle des agents d'IA
Une fois que la technologie pour construire et mettre en œuvre les agents IA sera mature, il ne fait aucun doute que leur adoption sera rapide. Les organisations doivent commencer dès maintenant à mettre en place un cadre permettant à la fois l'utilisation des agents d'IA et l'atténuation des risques. Ce cadre doit s'appuyer sur les trois piliers clés que sont la sécurité technique, la sécurité opérationnelle, et la gouvernance et conformité.
1. Sécurité technique
Les RSSI et DSI doivent faire en sorte que les capacités de sécurité technique appropriées soient en place pour protéger chaque élément des systèmes d'agents IA.
Contrôle des saisies et des accès : validez les saisies, empêchez les injections d'Invites et contrôlez qui peut interagir avec les agents IA. Il sera essentiel de mettre en œuvre une politique d'accès respectant le principe du moindre privilège.
Transparence de l'accès aux données : visibilité claire sur les données auxquelles les agents d'IA accèdent, analysent et intègrent dans leurs processus de prise de décision.
Protection des modèles et des données : protégez les modèles d'IA et mettez en œuvre le chiffrement des données pour les informations traitées ou stockées au sein de l'environnement de l'agent.
Sécurité des interfaces : intégrez la sécurité aux API, aux interfaces des agents et à l'authentification pour les interactions entre agents. Tandis que les organisations mettent en œuvre des applications et des agents IA à la périphérie pour améliorer l'expérience utilisateur, elles doivent également sécuriser ces applications et agents à la périphérie.
Intégrité de la chaîne d'approvisionnement : les organisations utilisant souvent plusieurs éléments tiers pour construire et déployer des agents IA, elles doivent veiller à vérifier ces composants et dépendances tiers par une surveillance continue (plutôt que par des validations et certifications ponctuelles).
2. Sécurité opérationnelle
Les responsables informatiques et de la sécurité doivent collaborer avec les COO pour protéger le fonctionnement des agents et des processus en temps réel.
Surveillance et détection : visibilité en temps réel sur les activités des agents, permettant d'identifier les anomalies ou schémas potentiellement malveillants — y compris dans les actions et décisions des agents IA.
Réponse aux incidents : établir des procédures pour régler les incidents de sécurité. Elles doivent également élaborer des processus permettant de mettre à jour ou modifier les agents en étroite collaboration avec les dirigeants d'entreprise, afin d'améliorer la sécurité à la suite d'incidents.
Protection des ressources : limiter l'utilisation des ressources peut prévenir les attaques par déni de service (DoS) et contribuer à garantir des niveaux de performance suffisants.
Gestion des exceptions : définir des processus pour gérer les cas limites et les scénarios inattendus qui sortent du cadre des opérations normales.
3. Gouvernance et conformité
Les responsables de l'informatique, de la sécurité et des opérations doivent gouverner l'utilisation des agents IA tout en collaborant avec les responsables de la conformité pour assurer le respect des réglementations.
Cadre de décision : établissez des limites claires pour les actions autonomes avec des points d'escalade et d'intervention précis.
Hiérarchie des responsabilités : attribuez la responsabilité des actions des agents et classez les risques en fonction des répercussions potentielles des actions. Plusieurs parties peuvent être responsables, y compris les développeurs tiers, les équipes déployant des agents, les équipes utilisant des agents et les utilisateurs externes.
Audit et conformité : les outils permettant d'enregistrer et d'examiner les actions des agents et de surveiller la conformité peuvent aider les organisations à respecter les politiques et réglementations concernées.
Amélioration continue : procédez à une évaluation régulière des contrôles de sécurité et mettez en place des mécanismes de retour d'information pour renforcer le niveau de sécurité.
Aller de l'avant avec les agents IA
Les agents IA apportent un potentiel d'amélioration considérable pour la rapidité et l'efficacité de diverses tâches, qu'il s'agisse de fournir une assistance client ou d'identifier des fraudes. À mesure que ces systèmes évoluent, ils accéderont et analyseront de plus en plus de données au-delà de leur portée initiale, et créeront des opportunités et des risques exigeant une gestion prudente.
Le cadre de sécurité à trois piliers de la sécurité technique, de la sécurité opérationnelle et de la gouvernance et conformité que j'ai décrit fournit une base de travail pour venir à bout de ces difficultés. Cependant, l'avenir pourrait résider dans la création par les entreprises de systèmes d'IA capables de s'autogérer, en ajustant automatiquement les contrôles de sécurité et maintenant la conformité à mesure qu'ils évoluent, plutôt qu'en s'appuyant sur des techniques de surveillance traditionnelles souvent à la traîne par rapport à l'exécution.
Cloudflare propose une large gamme de fonctionnalités pour assister votre organisation dans le développement, l'évolution et la protection des agents IA. Par exemple, Cloudflare Workers AI permet aux développeurs de créer et de déployer des applications d'IA à la périphérie, à proximité des utilisateurs. Les développeurs peuvent créer des serveurs MCP (model context protocol) à distance pour permettre aux agents IA d'accéder aux outils et ressources des services externes.
Parallèlement, les services de sécurité étendus de Cloudflare, disponibles dans chaque emplacement à la périphérie, permettent aux organisations de protéger les agents IA et les applications basées sur l'IA contre les attaques où qu'elles se produisent. La suite Cloudflare for AI apporte notamment un maximum de visibilité, sécurité et contrôle aux applications IA. Cloudflare propose également des outils pour l'audit et le contrôle de la manière dont les modèles d'IA accèdent au contenu des sites web. Ensemble, toutes ces capacités permettent aux organisations de créer et de déployer rapidement des agents IA tout en réduisant au minimum les risques qu'ils introduisent.
Cet article fait partie de notre série consacrée aux nouvelles tendances et évolutions susceptibles d'affecter les décideurs en matière de technologies d'aujourd'hui.
Approfondir le sujet
Découvrez comment préparer le déploiement sécurisé des capacités d'IA à l'échelle de l'entreprise dans le guide Garantir des pratiques sûres concernant l'IA à l'intention des RSSI.
Auteur
Grant Bourzikas – @grantbourzikas
Chief Security Officer, Cloudflare
Conclusions essentielles
Cet article vous permettra de mieux comprendre les aspects suivants :
Principales menaces de cybersécurité ciblant les agents IA
Les raisons pour lesquelles la gouvernance et la responsabilité sont essentielles en matière d'agents IA
Les 3 piliers essentiels d'un cadre de sécurité et de gouvernance pour les agents IA