Leitfaden für Penetrationstests von LLMs

LLM und Penetrationstest

Die Allianz für Cyber-Sicherheit hat einen Leitfaden veröffentlicht, der sich mit Penetrationstests für Large Language Models (LLMs) befasst. Ziel ist es, klassische Prüfmethoden aus dem Bereich der IT-Sicherheit auf die spezifischen Eigenschaften und Risiken von LLMs zu übertragen. Für Datenschutz- und Compliance-Verantwortliche ist das Dokument besonders interessant, da Schwachstellen in KI-Systemen unmittelbare Auswirkungen auf die Vertraulichkeit und Integrität personenbezogener Daten haben können.

Schwerpunkte des Leitfadens

Der Leitfaden orientiert sich am etablierten Vorgehen für Penetrationstests, adaptiert dieses jedoch auf die besonderen Angriffspunkte von LLMs. Behandelt werden unter anderem Prompt-Injektionen, also gezielte Manipulationen durch Eingaben, die zu ungewollten oder vertraulichen Ausgaben führen können. Auch Szenarien wie adversariale Angriffe, Modellvergiftung oder der Zugriff auf interne Datenstrukturen werden berücksichtigt. Ein weiterer Fokus liegt auf der Sicherheit von Schnittstellen und APIs, die häufig zentrale Einfallstore darstellen.

Neben technischen Angriffsszenarien geht es auch um organisatorische Rahmenbedingungen. So wird empfohlen, Penetrationstests klar zu dokumentieren, Ergebnisse nachvollziehbar zu bewerten und die Nachbereitung in bestehende Sicherheits- und Compliance-Prozesse einzubetten.

Bedeutung für den Datenschutz

Aus datenschutzrechtlicher Sicht hebt der Leitfaden hervor, dass nur notwendige Daten in LLM-Systeme eingespeist werden sollten. Insbesondere sensible Informationen dürfen nicht unkontrolliert verarbeitet oder durch Tests offengelegt werden. Betreiber sollten daher strikte Zugriffskontrollen etablieren und eine klare Trennung zwischen Test- und Produktionsumgebungen vorsehen. Ebenso wichtig sind vertragliche Regelungen mit externen Prüfern, die Geheimhaltung, Löschpflichten und den Umgang mit Testdaten verbindlich festlegen.

Fazit

Der Leitfaden verdeutlicht, dass Penetrationstests für LLMs ein unverzichtbares Instrument sind, um Risiken frühzeitig zu erkennen und Datenschutzverletzungen zu vermeiden. Für Verantwortliche empfiehlt es sich, die Ergebnisse solcher Tests systematisch in bestehende Sicherheitsstrategien einzubinden und gegebenenfalls Datenschutz-Folgenabschätzungen zu aktualisieren.

(Foto: Taposh Barmon – stock.adobe.com)

Letztes Update:01.10.25

  • BSI IT-Grundschutz++

    BSI veröffentlicht Methodikleitfaden für Grundschutz++

    Das Bundesamt für Sicherheit in der Informationstechnik hat Anfang April 2026 die erste Version seines Leitfadens zur Methodik des Grundschutz++ veröffentlicht. Das Dokument markiert einen weiteren Schritt bei der Ablösung des klassischen IT-Grundschutzes durch den modernisierten Nachfolgestandard. Inhalt und Zielsetzung Der Leitfaden bildet einen zukunftsgerichteten Ordnungsrahmen für den systematischen Aufbau und die Weiterentwicklung eines Informationssicherheitsmanagementsystems.

    Mehr erfahren
  • Podcast-Folge 91 der Data Agenda mit Prof. Dr. Schwartmann und Céleste Spahić im Experten-Talk über Daten und Digitalisierung.

    Folge 91: KI-Kompetenz und KI-Kompetenzen

    KI ist ein Werkzeug, welches vielfältig eingesetzt wird. Das erfordert Verständnis für die neue Technik und Kompetenz für den Einsatz. Allerdings kann KI auch Kompetenzen in Menschen entfalten und gezielt eingesetzt werden, um sich seiner selbst bewusster zu werden. Wie das gehen kann, erklärt die Buchautorin Céleste Spahić im DataAgenda Datenschutz Podcast. Weitere ThemenFolge 82:

    Mehr erfahren
  • Arbeitszeiterfassung datenschutzkonform

    Datenschutzkonforme Anwesenheitsübersicht im Zeiterfassungssystem

    Ein Fallbeispiel aus dem sächsischen Tätigkeitsbericht 2025 zeigt, wie die flächendeckende Freischaltung einer „Anwesenheitsübersicht“ in einem elektronischen Zeiterfassungssystem gegen den Grundsatz der Datenminimierung verstoßen kann – und welche Konsequenzen drohen, wenn Verantwortliche die datenschutzrechtliche Erforderlichkeit nicht hinreichend begründen können. Ausgangslage In sächsischen Finanzämtern war die Funktion „Anwesenheitsübersicht“ eines Zeiterfassungssystems zunächst so konfiguriert, dass sämtliche Beschäftigte

    Mehr erfahren
WordPress Cookie Hinweis von Real Cookie Banner