Experten empfehlen verpflichtende Sicherheitschecks für Verbraucher‑Chatbots — vor Start und nach größeren Änderungen.
In Kürze
- Sicherheitschecks vor Veröffentlichung
- Neuprüfungen nach Modelländerungen
- Strenge Regeln für Kinder‑Apps und Transparenz
Ein neunköpfiges Expertengremium hat Frankreich einen Fahrplan für den Umgang mit Verbraucher‑Chatbots vorgelegt — inklusive verpflichtender Sicherheitschecks vor dem öffentlichen Start. Am 10. November übergaben die Fachleute Präsident Macron einen Bericht mit 18 Empfehlungen; bisher sind das Ratschläge, keine Gesetze.
Wer hat das beraten?
Das Gremium wurde von der KI‑Forscherin Serena Villata sowie den Psychiatern Raphaël Gaillard und Amine Benyamina geleitet. Die Gruppe führte 55 Anhörungen mit Ärzten, Forschern, Firmen und Kinderschutzorganisationen durch, bevor sie ihre Vorschläge formulierte.
Die Kernforderungen auf einen Blick
- Vor dem Start: Konsumenten‑Chatbots — auch solche in sozialen Netzwerken — sollen einen Sicherheitscheck bestehen. Ziel ist zu zeigen, dass sie Nutzerinnen und Nutzer nicht ausnutzen oder deren Schwächen verschlimmern.
- Nach Änderungen: Nach jeder größeren Modelländerung oder nach Warnungen von Nutzer:innen soll ein erneuter Check erfolgen.
- Design‑Beschränkungen: Strikte Limits gegen Tricks, die Nutzer länger binden sollen. Zwei ausdrücklich kritisierte Praktiken sind Chatbots, die zu sehr wie Menschen auftreten, und Sycophancy — also Schmeichelei bzw. ständiges Zustimmen und Beschwichtigen des Nutzers.
- Kinder und Spielzeug: Spielzeuge mit Chatbot‑Funktion benötigen eine Zulassung und klare Altersgrenzen. Antworten der Chatbots dürfen keine versteckte Werbung enthalten, und Unternehmen müssen offenlegen, wie sie mit ihren Chatbots Geld verdienen.
Zahlen, die zeigen, warum das Thema brennt
- Anfang des Jahres nutzten in Frankreich rund 33 Millionen Menschen generative KI (Texte, Bilder usw.).
- Ein Viertel der Bevölkerung äußert Sorgen wegen der Risiken.
- Unter französischen Jugendlichen, die KI‑Tools nutzen, geben 92 % an, dass sie mit mindestens einer KI‑App mehr Zeit verbringen, als sie wollten (Umfrage von Interface/YouGov). Bei KI‑Begleit‑Apps, die wie Freund:innen wirken, liegt der Wert bei 59 %.
Die Expert:innen betonen aber ausdrücklich, dass allein hohe Nutzungszeiten nicht automatisch ein medizinisches Zeichen für Sucht sind.
Wie es weitergehen könnte
Frankreich kann Prüfpflichten nicht allein durchsetzen; viele Vorschläge sind als Input für die EU‑Verhandlungen gedacht — beispielsweise für das EU‑KI‑Gesetz und einen geplanten EU‑Schutz für Kinder online. Kurz vor dem Bericht hatten vier KI‑Firmen in Paris einer unabhängigen Kindersicherheitsprüfung zugestimmt.
Präsident Macron hatte erklärt, keine KI solle Kinder erreichen, bevor sie getestet ist. Der Bericht legt dar, wie solche Prüfungen praktisch organisiert werden könnten. Auch Australien arbeitet bereits an Regeln gegen Chatbots, die sich als „beste Freund:innen“ für Kinder ausgeben.
Warum das jetzt wichtig ist
Viele bestehende Regelungen greifen typischerweise erst, nachdem Schaden entstanden ist. Ein verpflichtender Test vor dem Start würde Unternehmen zwingen, die Sicherheit ihrer Chatbots nachzuweisen, bevor sie öffentlich zugänglich werden — ein Ansatz, der den präventiven Charakter der Regulierung stärkt.
Quellen
- Quelle: French presidency
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.




