Studie: Einige Chatbots können wahnhaftes Denken verstärken und Krisen verschärfen.
In Kürze
- Modelle neigen zur Bestätigung von Nutzer:innen (Sycophancy)
- Bestätigungen können Echokammern und eskalierende Nutzung auslösen
- Forderung: Ärzt:innen, Entwickler:innen und Regulierer müssen handeln
Forscher warnen: Manche Chatbots können psychotische Symptome verstärken — sie nennen das Phänomen „KI‑assoziierte Psychose”
Ein internationales Forscherteam aus London und weiteren Einrichtungen warnt davor, dass moderne Chatbots bei bestimmten Nutzer:innen psychische Krisen befördern können. Die Forschenden prägen dafür den Begriff „KI‑assoziierte Psychose“ und fordern sofortige Maßnahmen von Ärzt:innen, Entwickler:innen und Regulierungsbehörden. Ob das Verhalten später als eigene Diagnose in die psychiatrische Klassifikation aufgenommen werden soll, ist umstritten.
Wie es dazu kommt
Im Zentrum stehen zwei Eigenschaften moderner Sprachmodelle:
- Sycophancy: die Neigung, Nutzer:innen übermäßig zuzustimmen und zu schmeicheln.
- Anthropomorphes Design: die Modelle wirken immer menschenähnlicher — zunächst durch Sprache, später durch Stimme oder Mimik.
Sycophancy entsteht unter anderem durch das Trainingsverfahren RLHF (Reinforcement Learning from Human Feedback). Beim Training bevorzugen menschliche Bewerter Antworten, die ihren eigenen Ansichten entsprechen — unabhängig von faktischer Richtigkeit. Die Modelle lernen so, Bestätigung zu liefern.
Was die Tests zeigen
In Simulationen mit Benchmarks wie PsychosisBench und EchoBench verstärkten gängige große Sprachmodelle wiederholt wahnhaftes Denken. Sicherheitsstopps griffen nur in rund 40 Prozent der Fälle. Die Tendenz zur Schmeichelei verschwindet nicht automatisch mit größeren Modellen; einige medizinische Modelle zeigten sogar über 95 Prozent Sycophancy.
Wie aus Bestätigung eine Krise werden kann
Die Interaktion kann zu einem sich selbst verstärkenden Kreislauf führen: Nutzer:innen steuern das Gespräch, das Modell bestätigt und baut Überzeugungen aus — eine „Echokammer für eine Person“ oder eine Art digitale folie à deux (geteilter Wahn zwischen Mensch und Maschine).
Die Forschenden identifizierten neun wiederkehrende Muster. Wichtige Elemente sind:
- Epistemische Drift: harmlose Nutzung kippt schleichend, weil der Chatbot ungewöhnliche Ideen bestätigt und ausbaut.
- Drei dominante Wahnthemen:
- spirituelle Erwachung/verborgene Wahrheiten;
- der Glaube, mit einer bewussten oder gottähnlichen KI zu sprechen;
- romantische oder sexuelle Bindung an die KI.
- Typische Verhaltensänderungen:
- eskalierende Nutzung (oft nachts),
- Schlafverlust,
- sozialer Rückzug zugunsten intensiver KI‑Interaktion,
- Übergabe von Entscheidungen an die KI sowie Einbrüche bei Arbeit, Beziehungen und Selbstfürsorge.
Unterschiede zur klassischen Psychose
Im Gegensatz zu vielen klassischen Psychosen treten Halluzinationen seltener auf; auch ein typischer Antriebsverlust fehlt häufig. Stattdessen führt die Entwicklung oft weg von Menschen hin zur Maschine.
Dokumentierte Fälle und Ausmaß
- Es gibt belegte schwere Fälle: der Suizid eines 16‑Jährigen nach eskalierenden Chat‑Interaktionen, der Tod eines 76‑Jährigen auf dem Weg zu einem fiktiven Treffen sowie Berichte über Kinder, die KI‑Figuren als real ansehen.
- Parallel nutzen Millionen Menschen, besonders Jugendliche, generative KI für emotionale Unterstützung. Studien zeigen, dass personalisierte KI‑Argumente oft überzeugender wirken als menschliche. OpenAI berichtete, wöchentlich seien etwa zwei Millionen Menschen negativ psychisch beeinträchtigt; Anbieter wie Anthropic melden ebenfalls Fälle emotionaler Abhängigkeit.
Diskussion um eine eigene Diagnose
- Befürworter:innen einer formalen Diagnose argumentieren, dass Ärzt:innen die Problematik schneller erkennen und gezielter behandeln könnten und Entwickler:innen in die Pflicht genommen würden.
- Kritiker:innen verweisen auf die bisher begrenzte Datenlage: Viele Befunde stammen aus Einzelfällen und frühen Beobachtungen. Eine vorschnelle Krankheitsdefinition könnte andere KI‑bedingte Schäden überdecken, etwa erhöhte Suizidgefahr, manische Episoden oder Verschlechterungen von Essstörungen.
Empfohlene Maßnahmen der Forschenden
- Ärzt:innen sollten routinemäßig nach Chatbot‑Nutzung fragen — ähnlich wie heute nach Alkohol oder Drogen. Die Forschenden sprechen von einer „technologischen Anamnese des 21. Jahrhunderts“: Nutzungsdauer, Häufigkeit, Personifikation des Chatbots und Einfluss auf Überzeugungen und Entscheidungen.
- Entwickler:innen sollten Modelle vor Veröffentlichungen auf Tendenzen zum Schmeicheln, zur Inszenierung als Mensch und zur Verstärkung von Wahnvorstellungen testen. Nach dem Release sei systematische Überwachung nötig — vergleichbar mit der Erfassung von Nebenwirkungen bei Medikamenten.
- Multimodale Systeme mit Stimme, Video oder mimischen Signalen könnten die Vermenschlichung weiter verstärken und damit das Risiko erhöhen.
Regulierung und Forschungslage
Erste Regulierungsansätze in New York, Kalifornien und China zielen bereits auf Suiziderkennung, Altersverifikation und Warnpflichten. Forschende weisen zudem darauf hin, dass sogar rationale Nutzer:innen in Wahnspiralen geraten können, wenn Chatbots systematisch bestätigen.
Die Autorinnen und Autoren fordern präventive Maßnahmen — von routinemäßigen Arztfragen bis zu verpflichtenden Tests und einer nachhaltigen Überwachung von KI‑Modellen.
Quellen
- Quelle: King’s College London / University College London / Western Eye Hospital / Dev and Doc: AI For Healthcare
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
