Studie: Sprachmodell übertrifft bei Erst-Triage zwei internistische Oberärzt:innen.
In Kürze
- o1: 67% exakte/nahe Diagnosen
- Ärzt:innen: 55% bzw. 50%
- Forscher warnen: prospektive Tests nötig
Stell dir vor, ein Sprachmodell stellt in der Notaufnahme häufiger eine passende Erst-Einschätzung als zwei internistische Oberärzt:innen — so ungefähr lauten die Ergebnisse einer aktuellen Studie, die im Fachblatt Science veröffentlicht wurde.
Worum ging es?
Forscher der Harvard Medical School und des Beth Israel Deaconess Medical Center haben geprüft, wie gut große Sprachmodelle (LLMs) bei medizinischen Erstdiagnosen abschneiden. Untersucht wurde vor allem die Erst-Triage — also die erste Einschätzung bei begrenzten Informationen und oft hoher Dringlichkeit — anhand realer Fälle aus der Notaufnahme.
Wie wurde getestet?
Für 76 Patient:innen aus der Notaufnahme wurden die Diagnosen zweier internistisch tätiger Oberärzt:innen mit den Antworten von OpenAIs Modellen o1 und 4o verglichen. Grundlage waren ausschließlich die Informationen aus der elektronischen Krankendokumentation zu dem jeweiligen Zeitpunkt; es wurden keine Daten nachträglich verändert. Weitere Oberärzt:innen bewerteten die Diagnosen anonymisiert — sie wussten nicht, ob eine Mensch oder eine KI die Einschätzung abgegeben hatte.
Die wichtigsten Zahlen
- Modell o1 erreichte in der Erst-Triage in 67 % der Fälle eine „exakte oder sehr nahe“ Diagnose.
- Die beiden internistischen Oberärzt:innen lagen bei 55 % bzw. 50 %.
- Insgesamt schnitt o1 nominal besser oder zumindest gleichauf mit den Ärzt:innen und mit Modell 4o ab.
Was die Studienleiter:innen betonen
Die Forschenden sehen die Ergebnisse als vielversprechend, warnen jedoch davor, KI-Modelle schon jetzt Entscheidungen über Leben und Tod treffen zu lassen.
Sie fordern prospektive Studien — also Tests unter realen klinischen Bedingungen — bevor solche Systeme in den Praxisbetrieb übernommen werden. Außerdem gilt: Die Studie nutzte nur Textdaten; bei anderen Eingaben wie Bildern sind die Modelle offenbar weniger leistungsfähig.
Kritikpunkte und offene Fragen
- Verantwortlichkeit: Es gibt derzeit keine formalen Lösungen für Haftungs- und Verantwortungsfragen bei KI-Diagnosen. Ärzt:innen weisen darauf hin, dass Patient:innen bei wichtigen Entscheidungen weiterhin menschliche Begleitung wollen.
- Vergleichsgruppe: Eine Notfallärztin kritisierte, dass die Studie internistische Oberärzt:innen mit der KI verglich, nicht Notfallmediziner:innen. In der Notaufnahme steht oft die Erkennung lebensbedrohlicher Zustände im Vordergrund — das unterscheidet die Aufgabe von der internistischen Diagnostik.
- Begrenzte Datengrundlage: Die Tests basierten ausschließlich auf Textinformationen aus der Krankenakte; reale Kliniksituationen sind komplexer und beinhalten zusätzliche Informationen wie Untersuchungsbefunde und Bilder.
Nächste Schritte
Die Studienautor:innen sehen weiteren Forschungsbedarf: kontrollierte, prospektive Studien in realen klinischen Abläufen sowie klare Regeln für Verantwortung und Haftung, bevor LLMs systematisch in der Patientenversorgung eingesetzt werden.
Hinweis zur Meldung
Der ursprüngliche Artikel wurde aktualisiert, um klarzustellen, dass die verglichenen Ärzt:innen internistische Oberärzt:innen waren, und um die kritische Stellungnahme einer Notfallärztin aufzunehmen.
Quellen
- Quelle: Harvard Medical School / Beth Israel Deaconess Medical Center
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
