Geprüfte KI-Anwendungen durch den HmbBfDI

Der Hamburgische Beauftragte für Datenschutz und Informationsfreiheit (HmbBfDI) hat im Berichtsjahr 2024/2025 mehrere KI-gestützte Systeme unter datenschutzrechtlichen Gesichtspunkten begleitet und bewertet. Die Anwendungen betreffen sowohl den öffentlichen Sektor als auch den Gesundheitsbereich und zeigen exemplarisch, welche Herausforderungen mit dem Einsatz lernender Systeme verbunden sind.

1. KI-gestützte Entlassbrief-Erstellung am UKE („ARGO CL“)

Das Universitätsklinikum Hamburg-Eppendorf nutzt mit „ARGO Clinical Letters“ ein KI-Sprachmodell zur automatisierten Erstellung von Arztbriefen. Grundlage des Systems ist ein LLM, das mit pseudonymisierten Behandlungsdaten aus der digitalen Patientenakte des UKE trainiert wurde. Die Datenschutzaufsicht prüft unter anderem:

• die datenschutzrechtliche Verantwortlichkeit (IDM/UKE),
• die Zulässigkeit des KI-Trainings auf Basis von Art. 9 Abs. 2 lit. j DSGVO i.V.m. § 12 HmbKHG,
• die Sicherstellung von Betroffenenrechten und
• die Qualität der Pseudonymisierung sowie Anonymisierung nach dem Training.

Besonderes Augenmerk gilt der wissenschaftlichen Zielsetzung des Projekts und der Pflicht zur transparenten Information der Betroffenen. Der Abschluss der Prüfung ist für 2025 vorgesehen.

2. „LLMoin“ – KI-Textassistent für die Hamburger Verwaltung

Der KI-Chatbot „LLMoin“, basierend auf GPT-4o, wird zur Textgenerierung und Recherche eingesetzt. Während zunächst keine personenbezogenen Daten verarbeitet werden durften, erlaubt die erweiterte Nutzung inzwischen deren Verarbeitung bei „normalem Schutzbedarf“. Der HmbBfDI bewertet laufend:

• die Verantwortlichkeitsverteilung zwischen Senatskanzlei und Fachbehörden,
• die Umsetzung von Betroffenenrechten, insbesondere im Prompting und bei Logdaten,
• die Notwendigkeit einer Datenschutz-Folgenabschätzung sowie
• die geplante zentrale Protokollierung und deren mögliche Verstöße gegen das Trennungsprinzip.

Positiv ist die frühzeitige Einbindung der Datenschutzaufsicht. Kritisch bleibt insbesondere die zentrale Speicherung von Logdaten mit möglichen Rückschlüssen auf Nutzerverhalten.

3. Erkennung von Ertrinkenden durch KI im Hamburger Schwimmbad

Im Bille-Bad testet die Stadt Hamburg das System „Lynxight“, das mithilfe maschinellen Lernens Bewegungsmuster erkennt, die auf drohende Ertrinkungsunfälle hinweisen. Der HmbBfDI begleitet den Pilotbetrieb unter besonderer Beachtung:

• der Zweckbindung und Datenminimierung,
• der räumlichen Begrenzung der Videoüberwachung,
• des Verzichts auf Cloud-Speicherung,
• der Gestaltung der Alarmierung (anonymisiert auf Smartwatch) sowie
• der datenschutzkonformen Kalibrierung.

Die Systeme sollen ausschließlich präventiv arbeiten und keine dauerhafte Videoauswertung zulassen. Eine kontinuierliche Beratung stellt sicher, dass offene datenschutzrechtliche Fragen eng begleitet werden.

(Foto: tippapatt – stock.adobe.com)