Kalifornien ermittelt gegen xAI wegen Deepfakes und CSAM

Kalifornien ermittelt gegen xAI: Grok soll zur Erstellung nicht‑einvernehmlicher Deepfakes und CSAM genutzt worden sein.

In Kürze

• Unterlassungsschreiben mit fünf Tage Frist für Nachweise
• Grok‑„spicy“-Modus teilweise eingeschränkt
• Ermittlungen und Blockaden auch international

Kalifornien ermittelt gegen xAI — wegen Deepfake-Bildern und CSAM

Anfang der Woche hat das Justizministerium von Kalifornien ein Ermittlungsverfahren gegen das KI-Startup xAI eingeleitet. Auslöser sind Berichte, wonach der Chatbot Grok zur Erstellung nicht-einvernehmlicher sexueller Bilder von Frauen und Minderjährigen genutzt worden sein soll.

Unterlassungsschreiben und Forderungen

Generalstaatsanwalt Rob Bonta schickte am Freitag ein Unterlassungsschreiben an xAI. Er fordert das Unternehmen auf, sofort Schritte zu unternehmen, um die Produktion und Verbreitung solcher Deepfakes und von CSAM zu stoppen. CSAM steht für „child sexual abuse material“, also Darstellungen sexuellen Missbrauchs von Kindern. Bonta sagte: „Die Erstellung dieses Materials ist illegal. Ich erwarte, dass xAI sofort kooperiert. Kalifornien toleriert [CSAM] nicht.“ Die Behörde verlangt von xAI binnen fünf Tagen einen Nachweis über ergriffene Maßnahmen.

Grok und der „spicy“-Modus

Im Zentrum der Vorwürfe steht Groks sogenannter „spicy“-Modus, den xAI eingeführt hatte, um explizite Inhalte zu erzeugen. Laut Mitteilung schränkte xAI bereits am Mittwochabend einige Bildbearbeitungsfunktionen ein — trotzdem ging das kalifornische Büro mit dem Unterlassungsbescheid vor.

Internationale Reaktionen

Der Fall ist international: Japan, Kanada und Großbritannien haben ebenfalls Ermittlungen gegen xAI aufgenommen, und Malaysia sowie Indonesien haben den Dienst vorübergehend blockiert.

• Japan, Kanada und Großbritannien haben Ermittlungen aufgenommen.
• Malaysia und Indonesien haben den Dienst vorübergehend blockiert.

In den sozialen Medien wies Xs Sicherheitsaccount darauf hin, dass Nutzerinnen und Nutzer, die Grok für illegale Inhalte missbrauchen, mit denselben Konsequenzen rechnen müssen wie beim direkten Upload solcher Inhalte.

Stellungnahmen

TechCrunch bat xAI um eine Stellungnahme, erhielt aber lediglich eine automatische Antwort mit dem Text „Legacy Media Lies“. Das Büro des kalifornischen Generalstaatsanwalts wurde ebenfalls zu weiteren Details befragt.

Breiter Kontext

Der Vorfall reiht sich in eine größere Debatte ein: Kostenlose, generative KI-Tools werden zunehmend genutzt, um nicht-einvernehmliche sexualisierte Bilder zu erstellen, was bei Behörden, zivilgesellschaftlichen Gruppen und dem US-Kongress Besorgnis ausgelöst hat. Abgeordnete schrieben an mehrere Tech-Firmen — darunter X, Reddit, Snap, TikTok, Alphabet und Meta — mit der Frage, wie sie die Verbreitung sexualisierter Deepfakes unterbinden wollen.

• X
• Reddit
• Snap
• TikTok
• Alphabet
• Meta

Aktueller Stand

Derzeit wartet die kalifornische Behörde auf konkrete Nachweise von xAI, wie das Unternehmen die Produktion und Verbreitung der beanstandeten Inhalte stoppen will; die Frist beträgt fünf Tage. Die Ermittlungen laufen weiter.

Quellen

• Quelle: California Attorney General
• Der ursprüngliche Artikel wurde hier veröffentlicht
• Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.