Jetzt für Jahrgang 03 bewerben!

LLMSecTest: Sicherheits-Tests für LLMs in deiner App

Über das Projekt

Team-Mitglieder

Mark Wernsdorfer

Lizenz

MIT

Förderzeitraum

Gefördert seit 01/06/2026

Was macht das Projekt aus?

Immer mehr Apps und Endnutzer*innensoftware werden durch LargeLanguageModels (LLM) unterstützt. Mit diesen neuen Möglichkeiten halten jedoch auch neue Einfallstore und Sicherheitslücken Einzug in die Software, beispielsweise Prompt Injection oder manipulierte Tool-Aufrufe. Proprietäre Lösungen zur Absicherung von LLMs in Anwendungen sind für viele Entwickler*innen und kleinere Software-Teams schlicht unerschwinglich, Alternativen sind oft nur unzählige einzelne Skripte. Diese Lücke füllt LLMSecTest: Eine Testsuite, die nahtlos in CI/CD-Pipelines integriert werden kann, um automatisierte Sicherheitsberichte mit spezifischen Schwachstellen, ihrem Schweregrad, Empfehlungen zur Behebung und OWASP-konformen Sicherheitsberichten zu erhalten.

Welches Publikum spricht das Projekt an?

Die Hauptnutzer*innengruppe sind Anwendungsentwickler*innen, beispielsweise Python/JavaScript-Entwickler*innen, die Chatbots, KI-Assistenten oder RAG-Apps bauen. Außerdem gehören Sicherheitsverantwortliche von Softwareteams, KI-Forscher*innen und DevOps-Personen zur Zielgruppe.

Was soll erreicht werden?

LLMSecTest besteht aus Modulen, die via pytest-Plugin direkt in die gewohnte Testumgebung von Entwickler*innen eingebunden werden können. Dadurch kann es direkt problemlos in CI/CD Pipelines genutzt werden. Die Ergebnisse landen als SARIF-Bericht direkt im GitHub Security-Tab oder einem vergleichbaren Tool.