AIエージェントのセキュリティとガバナンスを確保する
大規模なエージェント展開の前に、包括的な計画を策定する
「エージェンティックAI」への関心が急速に高まっています。テクノロジーリーダーは、AIエージェントを活用して、タスクを実行し、自律的に意思決定を行うことで、人間の介入をほとんど、あるいはまったく必要とせずに、組織全体の効率を大幅に向上させる可能性を認識しています。
今は、あらゆる場所でエージェンティックAIについて耳にしたり目にしたりしていることでしょ う。エージェンティックAIは、生成AI（GenAI）サービスの台頭によって急激に加速し、いまや一般化したAIの普及と導入における次のステップになると見なされています。インターネットトラフィックのパターンからも、これらの新しいテクノロジーが企業や個人にどれほど迅速に採用されているかがわかります。Cloudflareでは、2023年3月～2024年3月にかけて、ネットワークを経由してAIサービスに送信されるトラフィックが250%増加しました。
AIエージェントの導入は今のところまだ控えめな状況ですが、今後数年で爆発的に増加する可能性があります。最近のレポートによると、ITリーダーの96％が今後12か月以内にAIエージェントの利用を拡大する計画を立てています。別のレポートによると、調査対象となった開発者の80%が、AIエージェントは従来のソフトウェアツールと同様にソフトウェア開発において不可欠になると考えています。今後、開発者が構築する多くのアプリにはエージェンティックAIが搭載されるようになるでしょう。Gartnerは、2028年までに企業向けソフトウェアアプリケーションの3分の1にエージェンティックAIが含まれると報告しています。これらのAI駆動型アプリは、日常業務の意思決定の15%を自律的に行うようになるでしょう。
多くの組織はAIエージェントの導入を開始する態勢を整えていますが、十分なセキュリティやガバナンスをまだ確立できていません。確かに、大規模なビジネス変革においてセキュリティやガバナンスが遅れをとることが多いのは事実です。しかし、AIエージェントに伴うリスクの大きさを考慮すると、大規模な導入を実施する前に、AIエージェントのセキュリティとガバナンスのためのアプローチを定義する必要があります。
適切なセキュリティおよびガバナンスのフレームワークは、チームが実装する必要がある機能とプロセスの指針となります。 AI時代において組織を保護することは、CISOだけの責任ではないからです。
AIエージェントは加速する攻撃にさらされている
AIエージェントはさまざまな業界の組織に重要なメリットをもたらす可能性がありますが、同時に攻撃者の新たな標的にもなります。AIエージェントの実装を急ぐあまり、多くの企業は、エージェントの構築に使用されるモデル、データ、その他のツールを十分に保護するためのセキュリティを強化していません。
攻撃者はすでに、AIエージェントの基盤となる大規模言語モデル（LLM）を標的にしています。LLMに使用されるプロンプトを操作して、情報を盗んだり、誤った意思決定を行わせたり、ソーシャルエンジニアリングによるスキームを仕掛けたりしています。また、LLMの学習データをポイズニングし、AIエージェントに不正確な結果や誤った行動を引き起こさせています。
以前、オープンソースコードを大規模に活用し始めた際にも、同様の問題に直面しました。適切なセキュリティ審査を行わずに性急に導入したことで、サプライチェーンの脆弱性が生じました。AIエージェントでも同様のパターンが繰り返されていますが、攻撃は従来のコード悪用よりも巧妙で検出が難しいため、より複雑なリスクに直面しています。
さらに、攻撃者はAI駆動型アプリのサプライチェーン内の脆弱性も標的にしています。多くの組織がサードパーティのモデルやツールを使用してAIエージェントを構築しているため、これらのエージェントのセキュリティは、チェーンの中で最も弱い部分と同程度でしかないという点を認識する必要があります。
エージェントの意思決定と行動に対する責任を明確にする
外部の脅威から身を守ると同時に、エージェント自体が引き起こす問題にも備える必要があります。AIエージェントの急速な普及により、セキュリティの枠を超えた新たな運用上の課題が生み出されています。これは、数年前にウイルス対策やエンドポイント検出・対応（EDR）ソリューションのエンドポイントエージェントがシステムリソースを圧迫した状況と似ています。現在、組織は、同時に数十のAIエージェントを管理しなければならず、それぞれが多くのコンピューティングリソースを消費しています。
AIエージェントは決して完璧ではありません。人間が曖昧な目的や整合性のない目的を提示したり、運用方法について具体的なガイドラインを提供しなかったりすると、エージェントはミスを犯してしまいます。
AIエージェントが期待通りに機能することを保証する責任は誰にあるのでしょうか？何か問題が発生した場合、誰が責任を負うのでしょうか？いくつかのシナリオを考えてみましょう：
調達：AIの調達エージェントが供給不 足に対応するために新しいコンポーネントを注文したとします。しかし、そのコンポーネントの価格は300%も値上げされています。この場合、エージェントの優先順位を「生産継続性の確保」に設定したマネージャー、または価格感度のガードレールや必要なビジネス管理を構築しなかった購買チームのどちらに責任がありますか？
財務：財務部門のAIエージェントが、疑わしいとフラグが立てられた請求書を含め、特定の支出基準を下回る請求書をすべて承認する設定になっていた場合はどうでしょうか。結果として、不正なベンダーへの支払いが行われる可能性があります。
テクノロジー：管理者権限を持つAIエージェントは、重要なインフラストラクチャ全体にソフトウェアパッチを自動的に適用できます。しかし、エージェントがパッチ適用スケジュールを「最適化」するために、従業員のメールメタデータ、ネットワークトラフィックパターン、または財務システムのログにアクセスし始めたらどうなるでしょうか？エージェントは月末処理中に財務サーバーへの重要なセキュリティパッチの適用を遅らせる可能性があり、その結果、本来はアクセスが許可されていないデータを使用している間に、誤って企業を既知の脆弱性にさらしてしまうかもしれません。
これらのシナリオおよび他のシナリオに対応するには、ヒューマン・イン・ザ・ループ制御を超えたガバナンスまたは監視メカニズムが必要です。AIエージェントは時間と共に学習・適応し、当初のパラメータを超えてその範囲を拡大していきます。パッチ展開を最適化するために設計されたエージェントは、ネットワークトラフィックパターン、パフォーマンス指標、ユーザー行動データを取り入れて意思決定の精度を向上させる可能性があります。これにより成果は改善されますが、同時にエージェントのリスクプロファイルは絶えず増大していきます。組織は、エージェントがアクセスするデータ、意思決定を進化させる方法、拡張された機能がビジネス目標と一致しているかを定期的に監査するガバナンス戦略を必要としています。なぜなら、人間のレビュー担当者は、エージェントが取り入れた追加のデータソースの全体像を完全には理解できない可能性があるからです。
大規模なAIエージェント導入にむけた3本柱のフレームワーク
AIエージェントを構築・運用するための技術が成熟すれば、導入を急速に進めることができるでしょう。企業は今すぐ、AIエージェントの利用を可能にし、リスクを軽減するためのフレームワークの実装に取り組く必要があります。このフレームワークは、技術的セキュリティ、運用セキュリティ、ガバナンスおよびコンプライアンスの3つの主要な柱に基づいて構築しなければなりません。
1. 技術的セキュリティ
CISOとCIOは、AIエージェントシステムのすべての要素を保護するために、適切な技術的セキュリティ機能を導入する必要があります。
入力とアクセス制御：入力を検証し、プロンプトインジェクションを防止し、誰または何がAIエージェントと対話できるかを制御します。最小特権化されたアクセスポリシーを実装することが不可欠です。
データアクセスの透明性：AIエージェントがアクセス、分析、意思決定プロセスに組み込んでいるデータを明確に可視化します。
モデルとデータの保護：AIモデルを保護し、エージェント環境内で処理・保存された情報のデータ暗号化を実装します。
インターフェースセキュリティ：API、エージェントインターフェース、エージェント間インタラクションの認証にセキュリティを組み込みます。組織がユーザーエクスペリエンスの向上を目的としてエッジにAIアプリやエージェントを導入する際には、それらをエッジで保護することも求められます。
サプライチェーンの完全性：組織はAIエージェントの構築と展開において複数のサードパーティ要素を使用することが多いため、（ポイントインタイムの検証や認証ではなく）継続的な監視を通じてそれらサードパーティのコンポーネントや依存関係を検証する必要があります。
2. 運用セキュリティ
ITおよびセキュリティリーダーは、COOと協力して、エージェントとプロセスの運用をリアルタイムで保護する必要があります。
監視と検出：エージェントのアクティビティをリアルタイムで可視化し、AIエージェントの行動や意思決定のパターンなど、異常や潜在的に悪意のあるパターンを特定します。
インシデント対応：セキュリティインシデントに対処するための手順を確立します。また、インシデント発生後にセキュリティを強化するために、ビジネスリーダーと緊密に協力してエージェントの更新または修正のプロセスを構築する必要があります。
リソースの保護：リソースの使用量に制限を設けることで、サービス妨害（DoS）攻撃を防止し、十分なパフォーマンスレベルを確保することができます。
例外処理：通常の運用範囲外のエッジケースや予期せぬシナリオを管理するためのプロセスを定義します。
3. ガバナンスとコンプライアンス
IT、セキュリティ、運用のリーダーは、AIエージェントの利用を管理すると同時に、コンプライアンス担当者と協力して規制を確実に順守する必要があります。
意 思決定フレームワーク：エスカレーションポイントと介入ポイントの定義により、自律的なアクションの明確な境界を設定します。
説明責任体制：エージェントの行動に対する責任を割り当て、その行動がもたらす潜在的な影響に基づいてリスクを分類します。サードパーティの開発者、エージェントを導入するチーム、エージェントを使用するチーム、外部ユーザーなど、複数の責任者が存在する可能性があります。
監査とコンプライアンス：エージェントの行動を記録およびレビューし、コンプライアンスを監視するためのツールを使用することで、組織は関連するポリシーや規制を遵守できます。
継続的な改善：セキュリティ対策を定期的に評価し、フィードバックメカニズムを導入してセキュリティ体制を強化します。
AIエージェントの今後に向けて
AIエージェントは、カスタマーサポートの提供から不正行為の特定まで、さまざまなタスクの速度と効率を高める大きな可能性を秘めています。これらのシステムが進化するに つれて、本来の範囲を超えてデータにアクセスし分析することが増えるため、チャンスとなる一方で、慎重な管理が必要なリスクも生じます。
ここまで概説した技術的セキュリティ、運用セキュリティ、ガバナンスとコンプライアンスという3本柱のフレームワークは、この課題に対処するための基盤となります。しかし将来的には、従来の後追い型の監視アプローチに頼るのではなく、進化に合わせて自律的にセキュリティ制御やコンプライアンスの維持を行える、自己管理可能な AI システムの構築が求められるかもしれません。
Cloudflareは、組織がAIエージェントを構築、拡張、保護するための幅広い機能を提供しています。例えば、Cloudflare Workers AIを使えば、開発者は、ユーザーに近いエッジでAIアプリケーションを構築およびデプロイできます。開発者は、AIエージェントが外部サービスからツールやリソースにアクセスできるように、リモートモデルコンテキストプロトコル（MCP）サーバーを構築することができます。また、あらゆるエッジロケーションで利用可能なCloudflareの広範なセキュリティサービスにより、組織は場所に関わらず、AIエージェントとAIベースのアプリケーションを攻撃から保護することができます。特に、Cloudflare for AIスイートは、AIアプリケーシ ョンに包括的な可視性、セキュリティ、および制御を提供します。Cloudflareは、AIモデルがウェブサイト全体のコンテンツにアクセスする方法を監査および制御するツールも提供しています。これらの機能をすべて組み合わせることで、組織はAIエージェントがもたらすリスクを最小限に抑えつつ、迅速にAIエージェントを構築およびデプロイすることができます。
この記事は、技術関連の意思決定者に影響を及ぼす最新のトレンドとトピックについてお伝えするシリーズの一環です。
このトピックを深く掘りさげてみましょう。
企業全体でAI機能を安全にデプロイするための準備方法については、CISOのガイドにある「AIの安全利用に向けて」をご覧ください。
著者
Grant Bourzikas — @grantbourzikas
最高セキュリティ責任者、Cloudflare
記事の要点
この記事では、以下のことがわかるようになります。
AIエージェントを狙う主要なサイバーセキュリティ脅威
AIエージェントのガバナンスと説明責任を確立することが重要である理由
AIエージェントのためのセキュリティおよびガバナンスフレームワークの3つの重要な柱