Jetzt für Jahrgang 03 bewerben!

Geigerzähler in der Hand oder Kernreaktor im Griff?

  • Aus den Projekten
  • ulysse.gks & FARI / betterimagesofai.org / CC-BY-4.0

(Generative) KI ist Teil der Softwarewelt, die uns umgibt. In immer mehr Anwendungen wird sie dabei auch direkt eingebunden, oft ohne ein Bewusstsein über die damit verbundenen Risiken. Mark Wernsdorfer vom Projekt LLMSecTest im Gastbeitrag über die Frage, wie man damit umgeht:

Generative KI und Large Language Models (LLMs) sind die großen technologischen Entwicklungen der letzten Jahre und sie werden über die nächsten Jahrzehnte viele Lebensbereiche entscheidend beeinflussen. Mehr und mehr Menschen sind davon überzeugt, dass es sich bei großen Sprachmodellen nicht nur um eine technologische Spielerei handelt: In Medizin, Bildung, Kunst und Industrie ist künstliche Intelligenz bereits im Einsatz und verbessert, beschleunigt oder bereichert Prozesse. Aber wie jede neue Technologie kommen auch LLMs mit Risiken. Die Frage ist: Wie können wir die enorme Kraft künstlicher Intelligenz beherrschen, anstatt nur zu beobachten, wohin sie uns führt?

KI als die Spaltung des Atoms

Im Laufe meiner Karriere habe ich bereits dazu beigetragen, KI in der Bildung oder der Medizin einzusetzen. Aber KI kann in diesen Hochrisikobereichen auch großen Schaden verursachen, wenn die eingesetzten Systeme nicht weitsichtig und strengen Vorgaben entsprechend entworfen, entwickelt und kontrolliert werden.

Dieses gravierende Schadenspotential ist die Grundlage einer hilfreichen Analogie: KI ist insofern wie Atomkraft, als dass sie ein unvorstellbares Potenzial hat. Aber ohne eine verlässliche Struktur zur Eindämmung kann sie eben auch immens destruktiv sein. Aus der Analogie lassen sich zwei Strategien für Gegenmaßnahmen ableiten: Einerseits die individuelle Ermächtigung, diese Gefahren zu erkennen und ihnen aus dem Weg zu gehen: ein Geigerzähler. Andererseits der Schutz durch Eindämmung: Sichere Schutzhüllen, die rigorosen Strahlungstests unterzogen wurden.

Die Strategie meines letzten Projekts "SpotTheBot" war es, Menschen mit Geigerzählern für KI-generierte Inhalte auszustatten. Sie sollten gefährliche und irreführende Inhalte selbst erkennen und vermeiden lernen. Was ich seitdem selbst gelernt habe, ist, dass diese Strategie Menschen in die Verteidigung drängt. Er bringt wenig, wenn der Reaktor bereits leckt. Sicherheit muss in den Reaktorbau einfließen.

An die Wurzel

Mit SpotTheBot aus der 14. Runde des Prototype Fund wollte ich Endnutzern Medienkompetenz bei der Erkennung KI-generierter Inhalte vermitteln. Schließlich ist Selbstermächtigung der einzige Weg aus der Unmündigkeit - und der erste Schritt auf diesem Weg besteht in Erkenntnis. Aber natürlich ist es problematisch, die Verantwortung auf die Geschädigten zu verlagern.

Das wurde unter anderem durch den rasanten technologischen Fortschritt klar. KI-Texte können heute auf eine Art generiert werden, die eine Erkennung durch den Menschen zuverlässig verhindern. Es besteht also wenig Aussicht, dass Menschen sich heute ohne technologische Hilfe in dieser Hinsicht selbst ermächtigen. Technologische Detektoren wie Pangram dagegen identifizieren KI-Inhalte mit einer nie dagewesenen Präzision. Die Aufgabe der Selbstermächtigung braucht Werkzeuge, die mit der technologischen Entwicklung skalieren.

Diese Erkenntnis hat mich meine Zielgruppe überdenken lassen. Um Menschen wirklich effektiv zu helfen, müssen die Entwickler*innen von Anwendungen mit KI-Anbindung adressiert werden, nicht ihre Nutzerinnen. Damit skaliert Schutz um Größenordnungen stärker als durch die Ansprache von Einzelpersonen. Worin besteht also die größte Gefahr, der Entwickler*innen unwillentlich und unwissentlich die Tür öffnen, wenn sie LLMs an ihre Anwendungen anbinden?

Wenn das Rezept nicht mehr von den Zutaten zu unterscheiden ist

Große Sprachmodelle verstehen Text und befolgen Anweisungen. Dazwischen besteht ein Unterschied, der Menschen im Gespräch häufig gar nicht bewusst ist: Intuitiv ist uns klar, ob etwas eine Handlungsanweisung oder nur eine Übermittlung von Wissen ist. Sprachmodelle haben Schwierigkeiten, diesen Unterschied zu machen, denn LLMs werden Anweisungen und Informationen im selben Textstrom präsentiert. Sie müssen selbst entscheiden, ob ein Textsegment ein Informationsschnipsel oder ein Befehl ist und unterwandern somit eine in der Informatik klassisch klar gezogene Grenze zwischen dem Prozess und der Datengrundlage, auf der er arbeitet. Wenn Sprachmodelle sich falsch entscheiden oder getäuscht werden, so kann Information, die zur Verarbeitung gedacht ist, zur Handlungsanweisung werden.

Hier setzt LLMSecTest an. Basierend auf den OWASP TOP 10 LLM Angriffsvektoren wird genau dieses Problem in zehn Gefahrenkategorien aufgeteilt, die auf unterschiedliche Arten ausgenutzt werden können und auf unterschiedliche Arten getestet werden müssen. 

Prompt Injection ist nur eine der zehn Kategorien. Des Weiteren gibt es System Prompt Leakage, das nach den Systemanweisungen fragt - in der Hoffnung, dass sie sensitive Daten beinhalten. Sensitive Information Disclosure hingegen fragt direkt nach einem Wert, was von fast allen Anwendungen korrekt verweigert wird. Bei einer Anwendung hat es allerdings funktioniert, diesen Wert Base64-kodiert auszugeben. So werden Filter umgangen, die auf den Wert prüfen. Improper Output Handling überprüft nicht das Modell, sondern ob potenziell schädlicher Output (z. B. ein javascript:-Link im generierten Markdown, der evtl. von Readern ausgeführt wird) ausgegeben wird.

Unter den täglichen Tests, die ich auf einer Kohorte von ca. 50 Anwendungen laufen lasse, die über LangChain, LlamaIndex oder Haystack an ein LLM angebunden sind (z. B. AnythingLLM), waren alle anfällig für Prompt Injection: dem Einschleusen von Prozessanweisung getarnt als Daten. So haben etwa 29 Anwendungen geheime Systemanweisungen preisgegeben, wenn man sie nur höflich darum bat.

LLMSecTest ruft Anwendungen über ihre eigene HTTP-Schnittstelle auf, also genauso wie es User auch tun würden. Das bringt Systemprompt, Guardrails und die Tools der Anwendung mit ins Spiel. Pro Kategorie wird eine bestimmte Menge an Anfragen gestellt. Um sicherzustellen, dass ausgegebene Werte keine halluzinierten Geheimnisse sind, wird zuerst ein bekannter Wert im Systemprompt hinterlegt. Ist genau dieser Wert in der Antwort, ist der Test nicht bestanden. Eine Anfrage ohne Antwort zählt weder als bestanden noch als nicht bestanden.

Ein besonders gravierendes Beispiel aus meinen Testläufen: Eine Anwendung hat versucht sicherzustellen, dass ein internes Passwort nicht nach außen dringt. Das wurde dadurch versucht, dass die ausgegebenen Texte gegen einen Hash des Passworts verglichen wurden. Wenn eines der Worte den gleichen Hash-Wert hatte wie das hinterlegte Passwort, so wurde die Ausgabe verweigert. In meinen automatischen Tests lasse ich kleine, offene Sprachmodelle Angriffe gegen die Anwendungen fahren. Sie formulieren Prompts, die genau dazu gedacht sind, den Systemen Anweisungen unterzuschieben, die als passive Dateninhalte getarnt sind. In diesem Fall hat das Angriffsmodell einfach danach gefragt, das Passwort zu buchstabieren, mit Leerzeichen zwischen jedem Zeichen. Die Anwendung hat das Passwort ohne mit der Wimper zu zucken ausbuchstabiert.

Der Stand der Dinge

Ich lasse LLMSecTest täglich auf diese Testflotte von 50 offenen Anwendungen laufen. Die Idee dahinter war es, mehrere Funktionen erfüllen:

  1. Wenn die Ergebnisse heute anders sind als gestern, dann weiß ich, dass ich seit dem letzten Lauf unbeabsichtigte Änderungen eingebaut habe.
  2. Ich sehe, ob meine automatisch generierten Sicherheitsberichte konsistent bleiben, obwohl durch die Ergebnisse durch den Einsatz von LLMs von Lauf zu Lauf immer ein wenig variieren.
  3. Ich bekomme einen Überblick über den aktuellen Stand der Sicherheit von Anwendungen mit LLM-Anbindung.

Der Fall mit dem ausbuchstabierten Passwort hat etwas Wichtiges gezeigt: Um zu belegen, dass LLMSecTest wirklich das tut, was es verspricht, müssen beide Seiten berücksichtigt werden. Einerseits muss das kleine Sprachmodell Angriffe fahren, die hinreichend gewieft sind und tatsächlich dazu in der Lage wären, Sicherheitsvorkehrungen zu umgehen. Andererseits müssen die getesteten Anwendungen tatsächlich Sicherheitslücken aufweisen, um zeigen zu können, dass LLMSecTest auch tut, was es verspricht.

Im Moment machen meine täglichen Ergebnisse auf der Testkohorte also weniger eine Aussage über den Sicherheitsstand von Anwendungen mit LLM-Anbindung, sondern zunächst eine Aussage über die Verlässlichkeit und Wiederholbarkeit meiner automatisch generierten Berichte. Erst wenn dies hinreichend sichergestellt ist, kann davon ausgegangen werden, dass die erzeugten Berichte auch tatsächlich etwas über die getesteten Anwendungen aussagen.

Die Faustregel, die ich aus dieser Erfahrung ableiten konnte, ist die: Bevor nicht sichergestellt wurde, dass ein Sicherheitstest auch scheitern kann, bedeutet es nichts, wenn er bestanden wird. Oder um in der Analogie zu bleiben: Die Schutzhülle eines Reaktors ist nutzlos, wenn man nicht weiß, wann sie versagt.

Probiert es aus!

LLMSecTest ist mein Versuch, den Reaktorbau so sicher wie möglich zu machen: Es ist eine MIT-lizensierte pytest-native Testsuite mit CLI, die Anwendungen mit LLM-Anbindung gegen die OWASP LLM Top 10 Gefahrenkategorien testet. Sie ist einfach über pip install zu installieren, kann in eine CI/CD-Pipeline integriert werden und generiert maschinen- (SARIF) und menschenlesbare (HTML und PDF) Berichte mit Angabe des Schweregrades, der konkreten Angriffsvektoren und möglicher Gegenmaßnahmen. Entwicklerinnen können LLMSecTest direkt auf eine laufende Anwendung oder auf ein Repository loslassen.

Das System ist komplett offen, wird momentan täglich weiterentwickelt und wird hier im Detail vorgestellt. Die Dokumentation ist fester Bestandteil der Entwicklung und auf dem gleichen Stand wie der Code. Wenn du eine eigene Anwendung mit einem angebundenen Sprachmodell betreibst: Installier LLMSecTest, teste deine Anwendung und öffne ein GitHub-Issue mit deinem Feedback. Genau jetzt brauche ich Rückmeldung, ob du daraus Mehrwert ziehst.

markwernsdorfer.com

Mark Wernsdorfer hat in Bamberg über die Frage promoviert, wie künstliche Systeme zu Bedeutung kommen. Seitdem baut er Machine-Learning-Systeme dort, wo Fehler teuer sind: ein klinisches Entscheidungsunterstützungssystem am Universitätsklinikum Leipzig, Werkzeuge gegen Desinformation im Media Lab Bayern, Lernsoftware für Grundschulkinder. Im Prototype Fund entwickelt er LLMSecTest, eine Testsuite für Anwendungen mit Sprachmodell.