Sorgen Sie für Sicherheit und Governance bei KI-Agenten
Implementieren Sie einen umfassenden Plan, bevor Sie Agenten im großen Maßstab einsetzen
Das Interesse an agentenbasierter KI nimmt rasant zu. Führungskräfte in der Tech-Branche tragen dem enormen Potenzial zur Effizienzsteigerung in ihren Unternehmen Rechnung, indem sie KI-Agenten Aufgaben ausführen und Entscheidungen autonom treffen lassen, wobei menschliches Eingreifen entweder gar nicht oder nur in sehr geringem Maß erforderlich ist.
Wahrscheinlich begegnet Ihnen das Thema agentenbasierte KI überall. Diese stellt allem Anschein nach den nächsten Schritt einer rasanten Entwicklung hin zu einer allgemeinen Nutzung von KI dar, die sich durch die Verbreitung von Diensten mit generativer KI noch einmal stark beschleunigt hat. An Internet-Trafficmustern wird deutlich, wie schnell diese neuen Technologien von Unternehmen und Nutzern gleichermaßen übernommen werden. Bei Cloudflare haben wir einen Anstieg des Datenverkehrs um 250 Prozent verzeichnet, der zwischen März 2023 und März 2024 durch unser Netzwerk zu KI-Diensten geleitet wurde.
Bisher ist die Implementierung von KI-Agenten noch überschaubar, doch in den nächsten Jahren wird sie voraussichtlich stark zunehmen. Laut einem aktuellen Bericht planen 96 Prozent der IT-Führungskräfte, ihren Einsatz von KI-Agenten in den nächsten zwölf Monaten auszuweiten. Einem weiteren Report zufolge glauben 80 Prozent der befragten Entwickler, dass KI-Agenten irgendwann genauso wichtig für die Softwareentwicklung sein werden wie herkömmliche Tools. Viele der von Entwicklern erschaffenen Anwendungen werden selbst agentenbasierte KI enthalten: Gartner berichtet, dass 2028 in einem Drittel der Firmensoftwareanwendungen agentenbasierte KI integriert sein wird. Diese KI-gestützten Applikationen werden 15 Prozent der im Arbeitsalltag zu fällenden Entscheidungen eigenständig treffen.
Viele Unternehmen sind zwar bereit, bald mit der Implementierung von KI-Agenten zu beginnen, haben aber noch keine angemessenen Sicherheits- oder Steuerungsmechanismen dafür geschaffen. Es ist durchaus richtig, dass bei großen Transformationen in Unternehmen die Themen Sicherheit und Governance oft erst einmal hintangestellt werden. Doch angesichts des Ausmaßes der mit KI-Agenten verbundenen Gefahren müssen wir alle zunächst einen Ansatz zur Absicherung und Verwaltung von KI-Agenten entwickeln, bevor diese in großem Stil eingesetzt werden.
Das richtige Sicherheits- und Steuerungskonzept kann Orientierungshilfe bezüglich der einzuführenden Funktionen und Prozesse bieten. Denn die Absicherung eines Unternehmens im KI-Zeitalter liegt nicht allein in der Verantwortung des CISO.
Angriffe auf KI-Agenten erfolgen immer schneller
KI-Agenten können Unternehmen in jeder Branche wichtige Vorzüge bieten, bilden aber auch ein neues Ziel für Angreifer. Viele Firmen haben es mit der Einführung von KI-Agenten so eilig, dass sie ihre Sicherheitsvorkehrungen zum Schutz der Modelle, Daten und anderen Werkzeuge, die zur Entwicklung dieser Agenten verwendet werden, nicht ausreichend verstärken.
Schon jetzt werden die Large Language Models (LLM) angegriffen, die den KI-Agenten als Grundlage dienen. Dabei werden von den LLM genutzte Prompts manipuliert, um Informationen zu stehlen, Fehlentscheidungen zu verursachen und Social Engineering zu betreiben. Außerdem werden die für das Training von LLM verwendeten Daten kontaminiert, was falsche Ergebnisse und fehlerhafte Aktionen von KI-Agenten zur Folge hat.
Wir haben dieselbe Erfahrung bereits gemacht, als wir begonnen haben, quelloffenen Programmcode in großem Umfang zu nutzen. Eine schnelle Einführung ohne angemessene Überprüfung hat zu Sicherheitslücken entlang der Lieferkette geführt. Mit KI-Agenten wiederholt sich dieses Muster nun. Die Gefahren sind in diesem Fall aber komplexerer, weil die Angriffe subtiler und schwerer zu erkennen sind als bei der herkömmlichen Ausnutzung von Schwachstellen im Quellcode.
Darüber hinaus zielen die Angreifer auf Sicherheitslücken innerhalb der Lieferkette KI-gestützter Anwendungen ab. Viele Unternehmen verwenden Modelle und Werkzeuge von Drittanbietern zur Erstellung ihrer KI-Agenten. In diesem Fall müssen sie sich darüber im Klaren sein, dass diese Agenten nur so sicher sind wie das schwächste Glied in der Kette.
Festlegung der Verantwortlichkeit für Entscheidungen und Aktionen von Agenten
Wir müssen uns nicht nur vor externen Bedrohungen schützen, sondern auch Vorbereitungen für Probleme treffen, die von den Agenten selbst verursacht werden. Die Verbreitung von KI-Agenten schafft neue betriebliche Herausforderungen, die über Sicherheitsfragen hinausgehen. Dies ist vergleichbar mit den Endpunkt-Agenten für Antivirus- und EDR (Endpoint Detection and Response)-Lösungen, die vor einigen Jahren Systemressourcen stark beansprucht haben. Unternehmen müssen jetzt Dutzende von KI-Agenten gleichzeitig verwalten, von denen jeder beträchtliche Rechenressourcen belegt.
Außerdem sind KI-Agenten keineswegs unfehlbar. Werden vom Nutzer vage oder nicht aufeinander abgestimmte Ziele vorgeben oder keine spezifischen Richtlinien für die Vorgehensweise festgelegt, machen Agenten zwangsläufig Fehler.
Wer achtet darauf, dass KI-Agenten auch so arbeiten, wie sie sollen? Wer ist verantwortlich, wenn etwas schiefgeht? Schauen wir uns die folgenden Szenarien an:
Beschaffung: Nehmen wir an, ein in der Beschaffung eingesetzter KI-Agent reagiert auf einen Lieferengpass, indem er neue Komponenten bestellt, für die aber ein Preisaufschlag von 300 Prozent fällig wird. Wer ist verantwortlich: Der Manager, der bei dem Agenten die Priorität „Sicherung der Produktionskontinuität“ festgelegt hat, oder die Einkaufsabteilungen, die keine Leitplanken für die Preissensibilität und notwendigen Geschäftskontrollen eingezogen haben?
Finanzen: Was wäre, wenn ein KI-Agent im Finanzbereich alle Rechnungen unterhalb bestimmter Ausgabengrenzen genehmigt – einschließlich solcher, die als verdächtig gekennzeichnet wurden? Die Folge könnte sein, dass Zahlungen an Betrüger geleistet werden.
Technologie: Ein KI-Agent mit Administratorzugriff könnte automatisch Patches bei kritischer Infrastruktur implementieren. Doch was, wenn er beginnt, zur „Optimierung“ seines Patching-Zeitplans auf E-Mail-Metadaten der Mitarbeitenden, Netzwerkverkehrsmuster oder Finanzsystemprotokolle zuzugreifen? Womöglich sorgt er für eine Verzögerung bei der Anwendung kritischer Sicherheitspatches auf Finanzservern während des Monatsabschlusses, wodurch das Unternehmen unbeabsichtigt bekannten Schwachstellen ausgesetzt wäre, während er Daten verwendet, zu deren Zugriff er nie berechtigt war.
Für diese und andere Szenarien ist Kontrolle erforderlich, mit anderen Worten: Überwachungsmechanismen, die über die Einbindung eines Menschen in die Abläufe hinausgehen. KI-Agenten lernen und passen sich im Lauf der Zeit an, wobei sie ihren Aktionsradius über die ursprünglichen Parameter hinaus erweitern. Ein auf die Optimierung der Patch-Anwendung ausgelegter Agent könnte Netzwerk-Datenverkehrsmuster, Performance-Kennzahlen und Daten zum Nutzerverhalten einbeziehen, um seine Entscheidungsfindung zu optimieren. Dadurch würden sich zwar die Ergebnisse verbessern, aber auch das Risikoprofil des Agenten würde kontinuierlich größer werden. Unternehmen brauchen Kontrollstrategien, damit regelmäßig geprüft wird, auf welche Daten Agenten zugreifen, wie sich ihre Entscheidungsfindung entwickelt und ob erweiterte Funktionen noch mit den Unternehmenszielen übereinstimmen. Wird die Überprüfung von einzelnen Menschen vorgenommen, fehlt diesem möglicherweise der Gesamtüberblick über alle zusätzlichen von dem Agenten herangezogenen Datenquellen.
Drei-Säulen-Konzept für die groß angelegte Einführung von KI-Agenten
Sobald die Technologie zur Entwicklung und Operationalisierung von KI-Agenten ausgereift ist, wird die Akzeptanz ohne Zweifel nicht auf sich warten lassen. Unternehmen sollten deshalb jetzt mit der Implementierung eines Konzepts beginnen, das sowohl den Einsatz von KI-Agenten ermöglicht als auch Risiken nach Möglichkeit neutralisiert. Dieses sollte auf drei Hauptsäulen aufbauen: technische Sicherheit, Betriebssicherheit sowie Governance und Compliance.
1. Technische Sicherheit
CISO und CIO müssen sicherstellen, dass die richtigen technischen Sicherheitsfunktionen zum Schutz jedes Elements von KI-Agenten-Systemen vorhanden sind.
Eingabe- und Zugriffskontrolle: Validieren Sie Eingaben, verhindern Sie Prompt Injections und kontrollieren Sie, wer und was mit KI-Agenten interagieren kann. Die Einführung von Zugriffsrichtlinien nach dem Prinzip der geringstmöglichen Rechte wird maßgeblich sein.
Vollständiger Überblick über den Datenzugriff: Erforderlich ist ein umfassender Überblick darüber, auf welche Daten KI-Agenten zugreifen, welche Daten sie analysieren und welche sie in ihre Entscheidungsprozesse einbeziehen.
Schutz von Modellen und Daten: Schützen Sie die KI-Modelle und implementieren Sie Datenverschlüsselung für Informationen, die innerhalb der Agenten-Umgebung verarbeitet oder gespeichert werden.
Schnittstellensicherheit: Integrieren Sie Sicherheit in API, Agenten-Schnittstellen und die Authentifizierung für Interaktionen zwischen Agenten. Wenn KI-Anwendungen und -Agenten am Netzwerkrand implementiert werden, um die Nutzererfahrung zu verbessern, müssen diese Anwendungen und Agenten auch am Netzwerkrand geschützt werden.
Integrität der Lieferkette: Da Unternehmen bei der Entwicklung und Bereitstellung von KI-Agenten häufig mehrere Elemente von Drittanbietern verwenden, müssen sie sicherstellen, dass die entsprechenden Komponenten und Abhängigkeiten durch kontinuierliche Überwachung verifiziert werden (im Gegensatz zu punktuellen Validierungen und Zertifizierungen).
2. Betriebssicherheit
IT- und Sicherheitsverantwortliche sollten mit COO zusammenarbeiten, um Agenten und Prozesse in Echtzeit zu schützen.
Überwachung und Erkennung: Notwendig ist ein Echtzeit-Überblick über die Aktivitäten von Agenten, um Anomalien oder potenziell bösartige Muster zu identifizieren – einschließlich der Muster in den Aktionen und Entscheidungen von KI-Agenten.
Vorfallreaktion: Legen Sie Verfahren für den Umgang mit Sicherheitsvorfällen fest. Sie sollten auch in enger Zusammenarbeit mit anderen Führungskräften Prozesse zur Aktualisierung oder Anpassung von Agenten entwickeln, um die Sicherheit nach solchen Vorkommnissen zu erhöhen.
Schutz von Ressourcen: Wenn Sie den Ressourcenverbrauch einschränken, können Sie DoS (Denial-of-Service)-Angriffe verhindern und ein ausreichendes Performance-Niveau gewährleisten.
Umgang mit Ausnahmen: Definieren Sie Prozesse für die Handhabung von Sonderfällen und unerwarteten Szenarien, die außerhalb der normalen Abläufe liegen.
3. Governance und Compliance
Führungskräfte in den Bereichen IT, Sicherheit und Betrieb müssen den Einsatz von KI-Agenten regeln und gleichzeitig mit Compliance-Beauftragten zusammenarbeiten, um die Einhaltung rechtlicher Vorschriften zu gewährleisten.
Entscheidungsrahmen: Setzen Sie klare Grenzen für autonome Aktionen mit definierten Eskalations- und Eingriffspunkten.
Verantwortlichkeitsstruktur: Weisen Sie Verantwortung für die Aktionen der Agenten zu und teilen Sie die Risiken basierend auf den potenziellen Auswirkungen der Aktionen in Kategorien ein. Es könnte mehrere verantwortliche Parteien geben, darunter Drittentwickler, Teams, die Agenten bereitstellen, Teams, die sie verwenden, und externe Nutzer.
Audit und Compliance: Tools zur Aufzeichnung und Überprüfung von Agenten-Aktionen und zur Überwachung der Rechtskonformität können Unternehmen bei der Befolgung einschlägiger Richtlinien und Vorschriften helfen.
Kontinuierliche Verbesserung: Führen Sie regelmäßige Bewertungen der Sicherheitskontrollen durch und richten Sie Feedback-Mechanismen ein, um das Sicherheitsniveau zu erhöhen.
Die Verwendung von KI-Agenten vorantreiben
KI-Agenten haben großes Potenzial, die Geschwindigkeit und Effizienz bei der Erledigung diverser Aufgaben zu steigern. Die Anwendungsgebiete reichen von der Kundenbetreuung bis zur Betrugserkennung. Im Zuge der Weiterentwicklung dieser Systeme werden sie zunehmend auf Daten zugreifen, die außerhalb ihres ursprünglichen Aktionsradius liegen, und diese analysieren. Das birgt sowohl Chancen als auch Risiken und muss daher mit bedacht gehandhabt werden.
Das von mir skizzierte Konzept mit den drei Säulen – technische Sicherheit, betriebliche Sicherheit sowie Governance und Compliance – bietet ein Fundament bei der Bewältigung dieser Herausforderungen. Die Zukunft könnte jedoch darin liegen, dass Unternehmen KI-Systeme entwickeln, die sich selbst steuern können – die also Sicherheitskontrollen automatisch anpassen und die Einhaltung von sich verändernden Rechtsvorschriften gewährleisten, anstatt auf traditionelle Überwachungsansätze zurückzugreifen, deren Umsetzung oft erst mit Verzögerung erfolgt.
Cloudflare bietet eine breite Palette von Funktionen, die Ihrem Unternehmen bei der Erstellung, Skalierung und Absicherung von KI-Agenten helfen. Mit Workers AI von Cloudflare können Entwickler beispielsweise KI-Anwendungen an der Edge – und damit in der Nähe der Nutzer – erschaffen und bereitstellen. Entwickler können Remote-Model Context-Protokoll (MCP)-Server einrichten, um KI-Agenten Zugriff auf Tools und Ressourcen von externen Diensten zu erlauben.
Mittlerweile können Unternehmen mit den umfangreichen Sicherheitsdiensten von Cloudflare, die an jedem Edge-Standort verfügbar sind, KI-Agenten und KI-gestützte Anwendungen überall vor Angriffen schützen. Insbesondere bietet die Produktreihe Cloudflare for AI umfassende Übersicht, Sicherheit und Kontrolle für KI-Anwendungen. Cloudflare stellt auch Tools zur Überprüfung und Steuerung des Zugriffs von KI-Modellen auf Website-Inhalte bereit. Gemeinsam ermöglichen all diese Funktionen Unternehmen, KI-Agenten schnell zu entwickeln und einzusetzen, während gleichzeitig die damit verbundenen Risiken auf ein Mindestmaß begrenzt werden.
Dieser Beitrag ist Teil einer Serie zu den neuesten Trends und Themen, die für Entscheidungsträger aus der Tech-Branche heute von Bedeutung sind.
Vertiefung des Themas:
In dem CISO-Leitfaden „Sicherer Umgang mit KI“ erfahren Sie, wie Sie sich auf die sichere Verwendung von KI-Funktionen im gesamten Unternehmen vorbereiten können.
Autor
Grant Bourzikas — @grantbourzikas
Chief Security Officer, Cloudflare
Wichtigste Eckpunkte
Folgende Informationen werden in diesem Artikel vermittelt:
Die größten Cybersicherheitsbedrohungen für KI-Agenten
Warum Kontrolle über KI-Agenten und Verantwortungszuweisung unabdingbar sind
Drei Eckpfeiler eines Sicherheits- und Governance-Konzepts für KI-Agenten