MIT-Tests prüfen, ob KI Patientendaten preisgibt.
In Kürze
- Trennt Generalisierung von Memorization
- Höheres Risiko bei viel Vorwissen
- Soll Teil klinischer Prüfungen werden
Forscherinnen am MIT haben Prüfmethoden vorgestellt, mit denen sich testen lässt, ob große KI‑Modelle heimlich anonymisierte Patientendaten herausgeben können. Die Arbeit wurde auf der Fachkonferenz NeurIPS 2025 präsentiert und richtet sich an Entwickler:innen, Kliniker:innen und Datenschützer:innen, die KI‑Modelle mit elektronischen Gesundheitsdaten (EHRs) einsetzen oder bewerten.
Warum das relevant ist
Vertraulichkeit ist ein Grundprinzip in der Medizin – und genau deshalb ist es heikel, wenn ein Modell Details aus einzelnen Krankenakten „ausspuckt“. Große, vortrainierte Foundation‑Modelle lernen aus vielen Fällen. Problematisch wird es, wenn sie statt verallgemeinerter Muster Inhalte aus konkreten Patientendatensätzen reproduzieren – ein Effekt, den die Forschenden als „Memorization“ beschreiben.
Was die Studie zeigt
Das Team um Sana Tonekaboni und Marzyeh Ghassemi entwickelte strukturierte Tests, die messen, wie wahrscheinlich verschiedene Arten von Datenleck sind. Die Tests unterscheiden zwischen Ergebnissen, die echte Generalisierung widerspiegeln, und solchen, die auf patientenspezifischer Memorization basieren. Damit lässt sich systematisch prüfen, ob ein Modell Wissen verallgemeinert oder sich einzelne Patientendaten merkt und wiedergibt.
Praktische Erkenntnisse
- Die Gefahr hängt von der Vorinformation eines Angreifers ab: Je mehr jemand über eine Person bereits weiß (etwa zahlreiche Laborwerte), desto leichter lassen sich zusätzliche Details durch das Modell extrahieren. In solchen Fällen ist der zusätzliche Gewinn für einen Angreifer oft gering.
- Lecks haben unterschiedliche Schweregrade: Alters‑ oder demografische Angaben sind weniger schwerwiegend als die Offenlegung einer HIV‑Diagnose oder von Alkoholmissbrauch.
- Menschen mit sehr seltenen oder eindeutigen Erkrankungen sind besonders riskant, weil sie leichter identifizierbar sind.
- De‑Identifikation allein garantiert keinen Schutz: Selbst de‑identifizierte Datensätze bleiben abhängig vom Inhalt unterschiedlich schutzbedürftig.
Wie weiter vorgegangen werden soll
Die Autorinnen planen, das Testverfahren interdisziplinär auszuweiten und klinische, datenschutz‑ sowie rechtliche Expertise einzubinden. Solche Prüfungen könnten Teil eines Prüfprozesses werden, bevor Modelle in klinischen Anwendungen eingesetzt werden.
Kontext: Datenpannen sind ein reales Problem
Datenlecks im Gesundheitsbereich sind bereits weit verbreitet. Das US‑Gesundheitsministerium registrierte in den letzten 24 Monaten 747 Vorfälle mit Gesundheitsdaten, bei denen jeweils mehr als 500 Personen betroffen waren — überwiegend durch Hacking oder IT‑Zwischenfälle. In diesem Umfeld dienen Werkzeuge zur Bewertung von Leak‑Risiken als ergänzende Schutzmaßnahme.
Wort der Autorin
„There’s a reason our health data is private,“ kommentiert Sana Tonekaboni die Motivation hinter der Arbeit — die Tests sollen helfen, dass das so bleibt.
Unterstützung und Finanzierung
Die Studie wurde unter anderem gefördert vom:
- Eric and Wendy Schmidt Center am Broad Institute
- Wallenberg AI / Knut and Alice Wallenberg Foundation
- US National Science Foundation (NSF)
- Gordon and Betty Moore Foundation
- Google Research
- AI2050‑Programm von Schmidt Sciences
- Ressourcen aus Ontario/CIFAR
- Sponsoren des Vector Institute
Quellen
- Quelle: Abdul Latif Jameel Clinic for Machine Learning in Health
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
