Einsatz von KI trotz fraglicher Trainingsdaten

Zulässigkeit der Verwendung von KI-Trainingsdaten

Darf man ein Sprachmodell nutzen, dessen Trainingsdaten möglicherweise rechtswidrig erhoben wurden? Der Hamburgische Datenschutzbeauftragte zeigt am eigenen Einsatz des Verwaltungs-Chatbots LLMoin, wie das gelingen kann. Den Schwerpunkt legt er auf Schutzmaßnahmen auf Systemebene.

Der Hamburgische Beauftragte für Datenschutz und Informationsfreiheit (HmbBfDI) hat am 05.11.2026 eine Fallstudie zum KI-Chatbot LLMoin veröffentlicht. LLMoin ist ein Chatbot der Hamburger Verwaltung. Er beruht auf einem OpenAI-Sprachmodell, das im Rahmen einer Auftragsverarbeitung über Microsoft Azure betrieben wird. Der HmbBfDI setzt ihn selbst schrittweise in der Beschwerdebearbeitung ein, allerdings nur als Formulierungshilfe.

Ausgangspunkt: EDSA-Stellungnahme 28/2024

Maßstab der Fallstudie ist die Stellungnahme 28/2024 des EDSA zu KI-Modellen. Ob ein Modell anonym ist, lässt sich in der Praxis kaum prüfen. Der HmbBfDI geht daher pragmatisch davon aus, dass es nicht anonym ist. Ein anderer Verantwortlicher setzt also ein möglicherweise rechtswidrig trainiertes Modell ein. Weil sich das Modell mit „Unlearning“ derzeit nicht zuverlässig korrigieren lässt, verlagert sich der Schutz auf die Systemebene. Entscheidend ist, die Ausgabe rechtswidrig verarbeiteter personenbezogener Daten zu verhindern.

Die Fallstudie beschreibt dafür ein Bündel von Maßnahmen:

  • Ein- und Ausgabefilter sowie Inhaltsfilter
  • ein restriktiver Systemprompt, der die Ausgabe personenbezogener Daten begrenzt und Entscheidungen ausschließt
  • Retrieval-Augmented Generation mit kuratierten Quellen und eine Anweisung an das Modell, sich auf diese bereitgestellten Inhalte zu stützen
  • Nutzungsregeln: keine Daten mit hohem Schutzbedarf, keine automatisierten Entscheidungen, menschliche Prüfung vor jeder Verwendung
  • Red Teaming als fortlaufender Prozess, Schulungen zu Halluzinationen und Automation Bias
  • eine Datenschutz-Folgenabschätzung, transparente Datenschutzhinweise und eine gestufte Einführung, beginnend mit nicht-personenbezogenen Daten

Die Senatskanzlei hat LLMoin nur für Daten mit normalem Schutzbedarf freigegeben. Anwendungsfälle, die nach der KI-Verordnung als Hochrisiko gelten würden, sind ausgeschlossen.

 

Was Verantwortliche aus der Fallstudie übernehmen können

Die Fallstudie ist eine der ersten Veröffentlichungen einer Aufsichtsbehörde, die die EDSA-Vorgaben zu möglicherweise rechtswidrig trainierten Modellen auf einen konkreten Einsatz anwendet. Wer Sprachmodelle von Drittanbietern einsetzt, kann den Maßnahmenkatalog als Prüfraster nutzen. Dabei hilft es, das eigene Projekt nach den Bereichen Filter, Systemprompt, RAG, Nutzungsregeln, Red Teaming, Schulung und DSFA durchzugehen und Lücken zu dokumentieren. Bemerkenswert ist der Ansatz, Einsatzzwecke zu beschränken: Hohe Risiken werden nicht durch zusätzliche Technik aufgefangen, sondern durch einen engeren Anwendungsbereich vermieden.

(Foto: elenabsl – stock.adobe.com)

Letztes Update:20.11.26

  • Schadensersazt und Google Fonts

    Google Fonts: Generalanwalt verneint Schadensersatz bei provozierten Datenschutzverstößen

    Wer Datenschutzverstöße gezielt herbeiführt, um anschließend Geld zu verlangen, soll nach Auffassung von Generalanwalt Maciej Szpunar keinen Schadensersatz nach Art. 82 DS-GVO erhalten. Das geht aus seinen Schlussanträgen vom 5. November 2026 in der Rechtssache C-654/25 hervor. Hintergrund: die Abmahnwelle Vorgelegt hat der Bundesgerichtshof mit Beschluss vom 28. August 2025 (VI ZR 258/24). Ihm lag

    Mehr erfahren
  • Prüfaktikon KI im Recruiting

    KI im Recruiting: EDSA kündigt europaweite Prüfaktion für 2027 an

    Die europäischen Datenschutzaufsichtsbehörden nehmen 2027 automatisierte Entscheidungen bei der Personalauswahl ins Visier. Das hat der Europäische Datenschutzausschuss (EDSA) in seiner Plenarsitzung beschlossen und am 11. November 2026 bekannt gegeben. Sechste koordinierte Prüfaktion Das Thema der sechsten Aktion im Coordinated Enforcement Framework (CEF) ist die automatisierte Entscheidungsfindung im Recruiting, ausdrücklich auch mit KI. Im Mittelpunkt stehen

    Mehr erfahren
  • Auch Aufsichtsbehörde hat die Pflicht zur Auskunft

    Auskunftsrecht gilt auch gegenüber der Datenschutzaufsicht

    Wer sich bei einer Aufsichtsbehörde beschwert, kann von ihr Auskunft über die eigenen Daten verlangen. Der EuGH hat entschieden, dass die Behörde insoweit selbst Verantwortliche ist. Ein pauschaler Ausschluss des Auskunftsrechts im Landesrecht ist mit der DS-GVO nicht vereinbar. Der EuGH hat mit Urteil vom 05.11.2026 (C-205/25) über eine Vorlage des VG Ansbach entschieden. Ein

    Mehr erfahren
WordPress Cookie Hinweis von Real Cookie Banner