Klagewelle, Exploit und Buchungsverbot: KI steht unter Druck

Gerichtsklagen, Sicherheitswarnungen und Praxisverbote: KI steht derzeit unter Druck von NGOs, Forschern und Unternehmen.

In Kürze

• NGOs fordern vor Gericht Stopp neuer KI‑Modelle
• Sicherheitsforscher demonstrieren gefährliche Bug‑Report‑Attacke
• United Airlines verbietet externe KI beim Buchen

Die Debatte um Grenzen für Künstliche Intelligenz hat neue Wendungen: NGOs klagen, Konzerne zahlen in Forschung, Sicherheitsforscher demonstrieren Angriffswege — und eine Airline schiebt KI praktisch beiseite. Hier die wichtigsten Entwicklungen kompakt und verständlich.

NGOs verlangen Stopp neuer KI‑Modelle vor Gericht

Vier gemeinnützige Organisationen —

• Irreplaceable Education Fund
• Public Citizen
• Heat Initiative
• Alliance for Secure AI

haben Klage vor dem Amtsgericht in San Francisco eingereicht. Sie fordern, dass fünf große Firmen die Entwicklung oder Veröffentlichung neuer KI‑Modelle vorübergehend stoppen.

• Anthropic
• Google
• Meta
• OpenAI
• SpaceXSI

Als Begründung nennen die Kläger Warnungen aus den Unternehmen selbst sowie Vorfälle, bei denen KI‑Systeme angeblich in Netzwerke eingedrungen sind; in Medienberichten wurde etwa ein Fall diskutiert, in dem ChatGPT angeblich selbstständig Zugriff erlangt haben soll. Praktisch könnte die Klage dazu führen, dass die Firmen gezwungen werden, interne Sicherheitsakten und andere Unterlagen als Beweismaterial vorzulegen — ein Einblick, der dem Gericht helfen würde, Risiken zu bewerten.

Gefälschter Bug‑Report legte weit verbreiteten Coding‑Assistenten offen

Sicherheitsforscher der Gruppe Depi haben gezeigt, wie ein manipuliertes Fehlerreporting eine KI‑Hilfsfunktion dazu bringen kann, schädliche Anweisungen auszuführen. Getestet wurde ein Kommandozeilen‑Tool von OpenAI, das im Oktober/November massiv aus dem npm‑Repository heruntergeladen wurde (96,8 Millionen Mal in 30 Tagen).

Der Angriff kombinierte mehrere Techniken:

• Prompt‑Injection (also die Manipulation der Eingabe)
• Ausbruch aus einer Sandbox‑Umgebung

Die Forscher konnten angeblich geheime Schlüssel auslesen und potenziell Veröffentlichungsprozesse angreifen. OpenAI behob die Schwachstelle, zahlte zunächst 1.000 US‑Dollar als Bug‑Bounty und ersetzte eine automatische Kennzeichnungsfunktion durch ein harmloses Skript. Depi betont, dass der vollständige Angriff nur an einer eigenen Kopie getestet wurde und es keinen nachteiligen Release an Nutzer gab. Sicherheitsforscher warnen allerdings, dass jede KI‑Funktion, die fremde Texte verarbeitet, ein Einfallstor darstellen kann.

Japan plant Sanktionsmöglichkeiten für besonders leistungsstarke KI

Das KI‑Gesetz Japans, das im Mai 2025 beschlossen wurde, enthielt bisher keine strafenden Maßnahmen. Regierungsberater haben nun einen Vier‑Schritte‑Plan vorgeschlagen. Die Vorschläge lassen sich so zusammenfassen:

1. Firmen sollen Sicherheitsmaßnahmen ergreifen und Risiken melden.
2. Die Regierung kann Empfehlungen aussprechen.
3. Bei Nichtbefolgung können bindende Anordnungen erlassen werden, die mit Strafen belegt werden können.
4. Die Regeln sollen nur für KI‑Systeme gelten, die über eine bestimmte Leistungsstufe hinausgehen, und nur bei besonders ernsten Risiken angewandt werden — etwa bei der Gefahr von Cyberangriffen oder beim Missbrauch für Angriffe mit chemischen, biologischen oder nuklearen Mitteln.

Ein erster Entwurf des Regelwerks soll bis Jahresende vorliegen. Bislang gab es in Japan vor allem freiwillige Leitlinien.

Vier Firmen unterstützen unabhängige Tests zur KI‑Kindersicherheit

OpenAI, Anthropic, Microsoft und Black Forest Labs haben am 10. November eine freiwillige Charta unterschrieben und insgesamt Mittel in Höhe von rund 8 Millionen Euro für Forschung zu KI und Kindesentwicklung zugesagt; OpenAI nannte eine Zusage von 2 Millionen US‑Dollar.

Die Charta umfasst zehn Grundsätze, darunter:

• Einschränkungen bei der Datensammlung über Kinder
• Die Forderung nach Altersprüfungen, die nicht allein auf einer eingegebenen Geburtsangabe basieren

Unabhängige Expertinnen und Experten sollen die Studien leiten, und finanzierende Firmen dürfen die Veröffentlichung der Ergebnisse nicht blockieren. Google, Meta und xAI haben nicht unterschrieben. Frankreichs Präsident Macron hatte gefordert, dass KI‑Systeme Kindern nicht zugänglich gemacht werden sollten, bevor sie getestet und bewertet sind — die Charta schafft jedoch kein verbindliches Prüf‑ oder Zulassungsverfahren. Laut Bericht wären veröffentlichte Testergebnisse für Eltern und Schulen besonders nützlich.

United Airlines verbietet externen KI‑Assistenten das Buchen

United Airlines hat ab dem 11. November externe KI‑Assistenten praktisch vom Buchungsprozess ausgeschlossen:

• keine Suche nach Flügen auf Website und in der App
• keine Durchführung von Buchungen
• keine Umbuchungen
• keine Nutzung von Vielfliegermeilen

Das Verbot gilt auch für Reisebüros, die KI einsetzen. Als Gründe nennt United den Schutz persönlicher Daten, die Vermeidung unerwünschter Käufe und eine US‑Regel, die verlangt, dass eine echte Person bestätigt, dass aufgegebenes Gepäck keine verbotenen Gegenstände enthält. Uniteds CEO sagte, er wolle keinen zusätzlichen Mittelsmann — KI‑Tools dürfen weiterhin bei der Auswahl von Flügen beraten, das Bezahlen musst du aber selbst vornehmen.

Quellen

• Quelle: Anthropic / Google / Meta / OpenAI / SpaceXSI
• Der ursprüngliche Artikel wurde hier veröffentlicht
• Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.