確保 AI 主體的安全性和治理
在大規模部署智慧體之前制定一個全面的計畫
人們對「自主式 AI」的興趣正在迅速增長。技術領導者認識到，透過讓 AI 主體自主執行任務與做出決策，幾乎或完全不需要人類介入，可以極大地提升組織內部的營運效率。
您可能無論去到哪裡，都能聽到或讀到有關自主式 AI 的資訊。看起來，自主式 AI 將是民主化 AI 採用快速發展過程中的下一步，而這一進程隨著生成式 AI (GenAI) 服務的興起已大幅加速。網際網路流量模式顯 示出企業與個人採用這些新技術的速度有多快。在 Cloudflare，我們觀察到從 2023 年 3 月到 2024 年 3 月，流經我們網路的 AI 服務流量增長了 250%。
截至目前，AI 主體的實施仍屬有限，但在未來幾年內很可能會呈爆炸式增長。根據最近一份報告，96% 的 IT 領導者計畫在未來 12 個月內擴大對 AI 主體的使用。另一份報告則顯示，80% 的受訪開發人員認為，AI 主體將像傳統軟體工具一樣，成為軟體開發中不可或缺的一部分。許多開發人員所建置的應用程式本身就將內建自主式 AI：Gartner 報告指出，到 2028 年，三分之一的企業軟體應用程式將包含自主式 AI，而這些由 AI 驅動的應用程式將能自主做出 15% 的日常工作決策。
儘管許多組織已準備好即將開始實施 AI 主體，但它們尚未建立足夠的安全機制與治理框架。誠然，安全與治理往往會落後於大型業務轉型。但鑑於 AI 主體所涉及的風險規模，我們所有人都需要在進行大規模部署之前，明確如何保護與治理 AI 主體。
正確的安全和治理框架可以為團隊做出指引，讓其瞭解需要實施的功能和流程。因為在 AI 時代，保護組織安全不只是 CISO 一個人的責任。
AI 主體面臨日益加劇的攻擊
雖然 AI 主體能為各個產業的組織帶來重要效益，但它們也成為了攻擊者的新目標。在急於導入 AI 主體的過程中，許多企業並未相應地加強安全措施，以充分保護用於建置這些智慧體的模型、資料及其他工具。
攻擊者已經開始針對作為 AI 主體基礎的大型語言模型 (LLM) 發動攻擊。他們操縱 LLM 所使用的提示詞，以竊取資訊、產生錯誤決策，並發動社交工程詐騙。他們還對用於訓練 LLM 的資料進行「資料投毒」，導致 AI 主體產生不準確的結果與錯誤的行動。
我們在過去大規模採用開源程式碼時，也曾歷經類似的情況。由於快速導入卻未進行適當的安全審查，導致供應鏈出現漏洞。而現在面對 AI 主體，我們正在重蹈覆轍，但所面臨的風險更加複雜——因為這類攻擊可能更為隱晦，也比傳統的程式碼漏洞更難以偵測。
此外，攻擊者還鎖定 AI 驅動應用程式供應鏈中的漏洞。由於許多組織採用第三方模型與工具來建置其 AI 主體，他們必須意識到，這些智慧體的安全性，取決於整個供應鏈中最薄弱的環節。
建立智慧體決策和行動的問責制
在我們防禦外部威脅的同時，也必須為智慧體自身所產生的問題做好準備。AI 主體的快速擴展，正在帶來超越安全層面的新營運挑戰——類似於幾年前防毒軟體和端點偵測與回應 (EDR) 解決方案的端點代理程式曾對系統資源造成的沉重負擔。如今，組織必須同時管理數十個同時執行的 AI 主體，每個都消耗大量的運算資源。
AI 主體也不完美。如果人類提供的目標模糊或不一致，或未能明確指導其運作方式，智慧體就可能犯錯。
那麼，誰該負責確保 AI 主體按預期運作？當出現問題時，誰又該承擔責任？讓我們考慮以下幾個情境：
採購：假設某個 AI 採購智慧體因應供應短缺，開始採購新元件——但這些元件的價格比正常高出 300%。誰該負責？是那位將智慧體優先級設定為「確保生產連續性」的經理？還是那個沒有設定價格敏感度防護措施與必要商業控管的採購團隊？
財務：如果某個財務部門的 AI 主體核准了所有低於特定金額門檻的發票——包括那些已被標記為可疑的發票，結果可能是向詐騙供應商付款。
技術：擁有管理員權限的 AI 智慧體可能會自動在關鍵基礎架構上實施軟體修補程式。但如果該智慧體開始存取員工電子郵件中繼資料、網路流量模式或財務系統記錄，以「最佳化」其更新排程呢？該智慧體可能會使用它未獲權存取的資料，決定在月底結帳期間延遲處理財務伺服器上的關鍵安全修補程式更新，無意中讓組織暴露於已知漏洞之中。
對於這些以及其他場景，我們需要超越人為控制的治理或監督機制。AI 主體會隨著時間的推移進行學習和適應，將其範圍擴展到原始參數之外。旨在最佳化修補程式部署的智慧體可能會開始整合網路流量模式、效能指標和使用者行為資料來優化決策。雖然這可以改善結果，但也意味著智慧體的風險狀況會持續成長。組織需要治理策略來定期稽核智慧體存取的資料、其決策如何演變以及擴展的功能是否仍然符合業務目標——因為人工審核人員可能無法理解智慧體所包含的其他資料來源的完整背景。
大規模採用 AI 主體的三大支柱框架
一旦建置與執行 AI 主體的技術趨於成熟，其採用速度勢必迅猛。組織現在就應該著手建立一套框架，既能促進 AI 主體的使用，又能有效降低相關風險。該框架應建立在三大關鍵支柱之上：技術安全、營運安全，以及治理與合規。
1. 技術安全
CISO 和 CIO 需要確保部署適當的技術安全功能，來保護 AI 主體系統中的每一個元素。
輸入和存取控制：驗證輸入、防止提示詞插入，並控制可以與 AI 主體互動的人員和內容。實作最低權限存取原則至關重要。
資料存取透明度：清楚瞭解 AI 主體正在存取、分析哪些資料，並將其納入其決策流程。
模型和資料保護：保護 AI 模型，並針對智慧體環境內處理或儲存的資訊實施資料加密。
介面安全性：在 API、智慧體介面和智慧體間互動驗證中建置安全性。隨著組織在邊緣實施 AI 應用程式和智慧體以改善使用者體驗，他們也需要在邊緣保護這些應用程式和智慧體。
供應鏈完整性：由於組織在建置與部署 AI 主體時常使用多個第三方元件，因此必須透過持續監控（而非僅限於單一時間點的驗證與認證），確保這些第三方組件與相依項的安全性。
2. 營運安全
IT 和安全領導者應與 COO 合作，以即時保護智慧體和流程的營運。
監控和偵測：對智慧體活動進行即時監控，識別任何異常或潛在惡意模式——包括 AI 主體行為與決策中的可疑模式。
事件回應：建立處理安全事件的程序，並制定與業務領導者密切合作更新或修改智慧體的流程，以便在事件發生後強化安全性。
資源保護：限制資源使用量可以防止阻斷服務 (DoS) 攻擊，並有助於確保足夠的效能等級。
異常處理：定義流程，以管理邊緣情況和正常操作之外的意外場景。
3. 治理與合規性
IT、安全和營運領導者需要監管 AI 主體的使用，同時還需要與合規官員合作以確保遵守法規。
決策架構：為自主行動設定明確的界限，並定義上報和乾預點。
問責結構：釐清對智慧體行為的責任歸屬，並根據行動潛在影響對風險進行分類。可能涉及多個責任主體，包括第三方開發人員、部署智慧體的團隊、使用智慧體的團隊，以及外部使用者。
稽核與合規性：運用記錄與審查智慧體行為的工具，並監控合規情況，協助組織遵循相關政策與法規。
持續改進：定 期評估安全控制措施並製定意見反應機制，以加強安全狀態。
推進 AI 主體的發展
AI 主體在提升各類任務的速度與效率方面具有巨大潛力，從提供客戶支援到識別詐騙行為皆然。隨著這些系統的不斷演進，它們將越來越多地存取與分析超出其原始範疇的資料，從而帶來需要謹慎管理的機遇與風險。
我所提出的技術安全、營運安全以及治理與合規這三個支柱框架，為應對這一挑戰奠定了基礎。然而，未來可能會走向企業打造能夠自我治理的 AI 系統——也就是說，這些系統能夠隨著自身演進自動調整安全控制措施並維持合規性，而不只是依賴傳統的監督方式，後者往往落後於實際執行。
Cloudflare 提供廣泛的功能，可協助您的組織建置、擴展和保護 AI 主體。例如，Cloudflare Workers AI 支援開發人員在靠近使用者的邊緣建置和部署 AI 應用程式。開發人員可以建立遠端模型上下文通訊協定 (MCP) 伺服器，使 AI 主體能夠存取來自外部服務的工具和資源。
同時，Cloudflare 的廣泛安全服務涵蓋所有邊緣位置，使組織能夠保護 AI 主體和基於 AI 的應用程式免受各種攻擊。尤其是 Cloudflare for AI 套件，它為 AI 應用程式提 供了全面的可見性、安全性和控制力。Cloudflare 還提供用於稽核和控制 AI 模型如何跨網站存取內容的工具。所有這些功能共同使組織能夠快速建置和部署 AI 主體，同時最大限度地降低其帶來的風險。
Cloudflare 就影響當今技術決策者的最新趨勢和主題發表了一系列文章，本文為其中之一。
深入探討這個主題。
閱讀面向 CISO 的《AI 安全指南》，瞭解如何在企業中為安全部署 AI 功能做好準備。
作者
——Cloudflare 資安長 Grant Bourzikas (@rantbourzikas)
重點
閱讀本文後，您將能夠瞭解：
針對 AI 主體的主要網路安全威脅
為什麼建立 AI 主體治理和問責制度至關重要
AI 主體安全性和治理的三大支柱