Leitfaden für Penetrationstests von LLMs

LLM und Penetrationstest

Die Allianz für Cyber-Sicherheit hat einen Leitfaden veröffentlicht, der sich mit Penetrationstests für Large Language Models (LLMs) befasst. Ziel ist es, klassische Prüfmethoden aus dem Bereich der IT-Sicherheit auf die spezifischen Eigenschaften und Risiken von LLMs zu übertragen. Für Datenschutz- und Compliance-Verantwortliche ist das Dokument besonders interessant, da Schwachstellen in KI-Systemen unmittelbare Auswirkungen auf die Vertraulichkeit und Integrität personenbezogener Daten haben können.

Schwerpunkte des Leitfadens

Der Leitfaden orientiert sich am etablierten Vorgehen für Penetrationstests, adaptiert dieses jedoch auf die besonderen Angriffspunkte von LLMs. Behandelt werden unter anderem Prompt-Injektionen, also gezielte Manipulationen durch Eingaben, die zu ungewollten oder vertraulichen Ausgaben führen können. Auch Szenarien wie adversariale Angriffe, Modellvergiftung oder der Zugriff auf interne Datenstrukturen werden berücksichtigt. Ein weiterer Fokus liegt auf der Sicherheit von Schnittstellen und APIs, die häufig zentrale Einfallstore darstellen.

Neben technischen Angriffsszenarien geht es auch um organisatorische Rahmenbedingungen. So wird empfohlen, Penetrationstests klar zu dokumentieren, Ergebnisse nachvollziehbar zu bewerten und die Nachbereitung in bestehende Sicherheits- und Compliance-Prozesse einzubetten.

Bedeutung für den Datenschutz

Aus datenschutzrechtlicher Sicht hebt der Leitfaden hervor, dass nur notwendige Daten in LLM-Systeme eingespeist werden sollten. Insbesondere sensible Informationen dürfen nicht unkontrolliert verarbeitet oder durch Tests offengelegt werden. Betreiber sollten daher strikte Zugriffskontrollen etablieren und eine klare Trennung zwischen Test- und Produktionsumgebungen vorsehen. Ebenso wichtig sind vertragliche Regelungen mit externen Prüfern, die Geheimhaltung, Löschpflichten und den Umgang mit Testdaten verbindlich festlegen.

Fazit

Der Leitfaden verdeutlicht, dass Penetrationstests für LLMs ein unverzichtbares Instrument sind, um Risiken frühzeitig zu erkennen und Datenschutzverletzungen zu vermeiden. Für Verantwortliche empfiehlt es sich, die Ergebnisse solcher Tests systematisch in bestehende Sicherheitsstrategien einzubinden und gegebenenfalls Datenschutz-Folgenabschätzungen zu aktualisieren.

(Foto: Taposh Barmon – stock.adobe.com)

Letztes Update:01.10.25

  • MS bietet Datenschutz-Hilfen für MS 365

    Neue Datenschutz‑Hilfen von Microsoft für M365 und Copilot

    Microsoft hat im November 2025 ein Paket neuer Dokumentations‑ und Compliance‑Hilfen vorgestellt, das Unternehmen bei der datenschutzkonformen Nutzung von Cloud- und KI‑Diensten unterstützen soll. Inhalte der neuen Hilfsmittel Ziel und Selbstverständnis Microsoft gibt an, mit diesen Hilfen den Nachweis der DSGVO‑Konformität und Erfüllung von Rechenschaftspflichten zu erleichtern – gerade im Kontext von KI‑gestützten Anwendungen und

    Mehr erfahren
  • HBDI sagt: MS 365 ist zulässig

    HBDI gibt grünes Licht für Microsoft 365 – unter Bedingungen

    Der Hessische Beauftragte für Datenschutz und Informationsfreiheit (HBDI) hat mit seinem am 15. November 2025 veröffentlichten Bericht bestätigt, dass Microsoft 365 unter bestimmten Bedingungen datenschutzkonform genutzt werden kann. Hintergrund der Einschätzung Nach früherer Kritik der Datenschutzkonferenz (DSK), wonach das Vertragswerk (Data Protection Addendum, DPA) von Microsoft im Jahr 2022 nicht den Anforderungen des Art. 28 DS-GVO genügen

    Mehr erfahren
  • BSI: IT-Sicherheit 2025 Deutschland

    BSI: IT‑Sicherheitslage bleibt angespannt

    Das BSI hat am 11. November 2025 den neuen Jahresbericht „Die Lage der IT-Sicherheit in Deutschland 2025“ veröffentlicht. Die Bewertung der Behörde fällt klar aus: Deutschland bleibt trotz Verbesserungen bei der Cyberresilienz weiterhin eine angreifbare Zielstruktur für Cyberkriminelle und staatlich organisierte Angreifer. Wachsende Schwachstellen und vergrößerte Angriffsflächen Cyberbedrohungen in Vielfalt und Professionalisierung Fortschritte – aber

    Mehr erfahren
WordPress Cookie Hinweis von Real Cookie Banner