Leitfaden für Penetrationstests von LLMs

LLM und Penetrationstest

Die Allianz für Cyber-Sicherheit hat einen Leitfaden veröffentlicht, der sich mit Penetrationstests für Large Language Models (LLMs) befasst. Ziel ist es, klassische Prüfmethoden aus dem Bereich der IT-Sicherheit auf die spezifischen Eigenschaften und Risiken von LLMs zu übertragen. Für Datenschutz- und Compliance-Verantwortliche ist das Dokument besonders interessant, da Schwachstellen in KI-Systemen unmittelbare Auswirkungen auf die Vertraulichkeit und Integrität personenbezogener Daten haben können.

Schwerpunkte des Leitfadens

Der Leitfaden orientiert sich am etablierten Vorgehen für Penetrationstests, adaptiert dieses jedoch auf die besonderen Angriffspunkte von LLMs. Behandelt werden unter anderem Prompt-Injektionen, also gezielte Manipulationen durch Eingaben, die zu ungewollten oder vertraulichen Ausgaben führen können. Auch Szenarien wie adversariale Angriffe, Modellvergiftung oder der Zugriff auf interne Datenstrukturen werden berücksichtigt. Ein weiterer Fokus liegt auf der Sicherheit von Schnittstellen und APIs, die häufig zentrale Einfallstore darstellen.

Neben technischen Angriffsszenarien geht es auch um organisatorische Rahmenbedingungen. So wird empfohlen, Penetrationstests klar zu dokumentieren, Ergebnisse nachvollziehbar zu bewerten und die Nachbereitung in bestehende Sicherheits- und Compliance-Prozesse einzubetten.

Bedeutung für den Datenschutz

Aus datenschutzrechtlicher Sicht hebt der Leitfaden hervor, dass nur notwendige Daten in LLM-Systeme eingespeist werden sollten. Insbesondere sensible Informationen dürfen nicht unkontrolliert verarbeitet oder durch Tests offengelegt werden. Betreiber sollten daher strikte Zugriffskontrollen etablieren und eine klare Trennung zwischen Test- und Produktionsumgebungen vorsehen. Ebenso wichtig sind vertragliche Regelungen mit externen Prüfern, die Geheimhaltung, Löschpflichten und den Umgang mit Testdaten verbindlich festlegen.

Fazit

Der Leitfaden verdeutlicht, dass Penetrationstests für LLMs ein unverzichtbares Instrument sind, um Risiken frühzeitig zu erkennen und Datenschutzverletzungen zu vermeiden. Für Verantwortliche empfiehlt es sich, die Ergebnisse solcher Tests systematisch in bestehende Sicherheitsstrategien einzubinden und gegebenenfalls Datenschutz-Folgenabschätzungen zu aktualisieren.

(Foto: Taposh Barmon – stock.adobe.com)

Letztes Update:01.10.25

  • E-Mail Ausscheiden Breschäftigter

    Umgang mit E-Mail-Postfächern bei Abwesenheit und Ausscheiden von Beschäftigten

    Der Umgang mit personalisierten E-Mail-Konten ausgeschiedener oder länger abwesender Mitarbeitender zählt zu den häufig nachgefragten Beratungsthemen im Beschäftigtendatenschutz. Im Zentrum steht die Frage, ob und unter welchen Voraussetzungen Arbeitgeber:innen auf betroffene Postfächer zugreifen dürfen. Prävention durch klare Prozesse Verantwortliche sollten datenschutzrechtlichen Konflikten bereits durch organisatorische Weichenstellungen vorbeugen. Zu prüfen ist zunächst, ob personalisierte Postfächer überhaupt

    Mehr erfahren
  • Auskunftsrecht gegenüber Anwälten

    Auskunftsrecht nach Art. 15 DS-GVO gegenüber Rechtsanwält:innen

    Beschwerden über unbeantwortete oder unvollständig beantwortete Auskunftsersuchen gegenüber Kanzleien und Einzelanwält:innen gehören zu den regelmäßig auftretenden Fallkonstellationen der Aufsichtspraxis. Im Fokus steht zumeist die Frage der Reichweite des Auskunftsrechts betroffener Personen gegenüber Berufsgeheimnisträger:innen. Grundsatz: DS-GVO gilt auch für Rechtsanwält:innen Rechtsanwält:innen unterliegen als Verantwortliche im Sinne der DS-GVO grundsätzlich uneingeschränkt deren Vorgaben und müssen geeignete Maßnahmen

    Mehr erfahren
  • Juristische Personen können keine Aussage verweigern

    Kein Auskunftsverweigerungsrecht juristischer Personen gegenüber Aufsichtsbehörden

    Das VG Berlin (VG Berlin, Urteil vom 9. Oktober 2025, VG 1 K 607/22) hat in einem noch nicht rechtskräftigen Urteil die aufsichtsbehördlichen Auskunftsbefugnisse nach Art. 58 Abs. 1 lit. a DS-GVO bestätigt und konkretisiert. Ausgangsfall: Adressvermietung ohne Rechtsgrundlage Hintergrund war die Verwarnung eines Buchverlags, der Kundendaten ohne Einwilligung und ohne sonstige gesetzliche Grundlage zu

    Mehr erfahren
WordPress Cookie Hinweis von Real Cookie Banner