RadLE 2.0: Warum viele Radiologie‑KIs zu selbstsicher sind

RadLE 2.0 prüft Radiologie‑KI auf Diagnosen und Eigen­sicherheit – viele Systeme antworten selbstbewusst, auch wenn sie falsch liegen.

In Kürze

• Test: 200 klinische Fälle, 16 Modelle, Vergleich mit Radiolog:innen
• Modelle geben oft hohe Sicherheit trotz Fehlern; Strafpunkte für falsche, selbstsichere Antworten
• Einige Modelle erreichen Assistenzarzt‑Niveau, viele fehlen aber das Bewusstsein für Unsicherheit

KI-Modelle in der Radiologie werden zwar immer treffsicherer – doch ein neues Benchmark offenbart eine Schwachstelle: viele Systeme antworten selbstbewusst, auch wenn sie falsch liegen. Laut den Autor:innen macht das den Einsatz an Patientinnen und Patienten riskant.

Was ist RadLE 2.0?

Das CRASH Lab der Ashoka University (Indien) hat RadLE 2.0 (Radiology’s Last Exam) entwickelt, um nicht nur korrekte Diagnosen zu prüfen, sondern auch das Selbstvertrauen der Modelle und ihr Verhalten bei Unsicherheit. Bei jeder Antwort müssen die Modelle eine Sicherheitsskala von 0–4 angeben oder ausdrücklich „I don’t know“ wählen. Ziel: verhindern, dass KI-Systeme zum bloßen Raten erzogen werden.

Aufbau und Ergebnis in Kürze

• Testumfang: 200 klinische Fälle, 16 KI-Modelle, Vergleich mit einem Panel von Radiolog:innen.
• Punktewertung: Radiolog:innen erreichten 988,7 von 2000 Punkten; das beste KI-Modell kam auf 758 Punkte.
• Bewertungslogik: richtige Antworten mit hoher Sicherheit bringen volle Punkte; falsche Antworten mit hoher Sicherheit führen zu deutlichen Punktabzügen; „I don’t know“ gibt keine Punkte, vermeidet aber Strafpunkte.

Welche Modelle wie abgeschnitten haben

• Kein eindeutiger Gesamtsieger: Anthropic Claude Fable 5 führte bei der Primärmetrik (verlässliche/sichere Antworten).
• Google Gemini 3 Pro hatte die höchste reine Trefferquote.
• Meta’s Muse Spark 1.1 war am besten darin, Fälle an Menschen abzugeben und reduzierte damit die Rate falscher, selbstsicherer Antworten deutlich.
• Manche Modelle, etwa Grok 4.5, neigen stärker zu Halluzinationen — das heißt: sie produzieren falsche, aber überzeugend formulierte Befunde.
• Frei verfügbare und speziell medizinisch trainierte Modelle beantworteten häufig jede Anfrage und taten das oft falsch und mit hoher Sicherheit.

Entwicklungstendenz

In Version 1 von RadLE lagen Radiolog:innen bei einer Trefferquote von 83 %, das beste Modell erreichte nur rund 30 %. Drei Monate später hatte Gemini 3 Pro bereits das Niveau von Assistenzärzt:innen erreicht. Die Genauigkeit steigt schnell, doch laut den Autor:innen fehlt vielen Modellen weiterhin das Bewusstsein ihrer eigenen Grenzen.

Praktische Risiken heute

• Patient:innen laden vermehrt Scans in Chatbots hoch. Studien zeigen, dass gängige Chatbots oft unsichere oder falsche medizinische Antworten liefern.
• Forscher:innen warnen davor, dass Manager und Investor:innen KI-Fähigkeiten überschätzen; Behauptungen, KI sei besser als 99 % der Ärzt:innen, basieren häufig auf Anekdoten oder Simulationen.
• Eine Studie aus April mit 21 Modellen kam zum Schluss, dass diese Systeme nicht für unbeaufsichtigten klinischen Einsatz geeignet sind.

Weitere Studien und Beobachtungen

Andere Arbeiten (MIRA, AMIE) zeigten, dass KI-Agenten in simulierten Sprechstunden mit Hausärzt:innen mithalten können. Die Autor:innen von RadLE 2.0 betonen jedoch: Bevor KI autonom entscheidet, muss sie erkennen, wann sie Fälle an Menschen abgeben sollte.

Zum Thema Skill-Verlust weist eine polnische Beobachtungsstudie (2025) darauf hin, dass Ärzt:innen, die regelmäßig KI bei Darmspiegelungen nutzen, ohne die KI deutlich weniger Krebsvorstufen entdeckten (Erkennungsrate sank von 28,4 % auf 22,4 %). Die Studie spricht vom „Google‑Maps‑Effekt” — ohne das Hilfsmittel sind die Nutzenden orientierungslos.

Kontext und Ausblick

Die Radiologie gehörte zu den ersten Fachbereichen mit intensiver KI‑Begeisterung; frühere Hoffnungen, Fachpersonal überflüssig zu machen, haben sich als zu optimistisch erwiesen. RadLE 2.0 wird fortlaufend erweitert; eine vollständige Studie mit Kostenanalyse und Fehlertaxonomie ist angekündigt. Laut den Forschenden bleibt eine zentrale Aufgabe, dass KI-Systeme nicht nur genauer werden, sondern auch wissen, wann sie lieber an Menschen verweisen sollten.

Quellen

• Quelle: CRASH Lab / Ashoka University
• Der ursprüngliche Artikel wurde hier veröffentlicht
• Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.