Anthropic schlägt Maßnahmen vor, die Verbreitung gefährlicher KI per Gericht stoppen sollen.
In Kürze
- >50 Tote oder >1 Mrd$ Schaden als Schwelle
- Ursachen: Biowaffe, Escape, Cyberangriff
- Externe Gutachter, 72 Std Meldepflicht
Anthropic hat laut Politico einen detaillierten Gesetzesentwurf zur KI‑Sicherheit vorgelegt und ihn bei US‑Gesetzgebern vorgestellt. Ziel des Papiers ist klar formuliert: Regeln schaffen, unter welchen Bedingungen die Verbreitung eines KI‑Modells gestoppt werden darf.
Wann ein Stopp möglich wäre
Der Entwurf nennt als Schwelle ein „vorhersehbares, unmittelbares Risiko“. Konkret heißt das: Wenn durch ein Modell mehr als 50 Menschen getötet werden könnten oder Sachschäden von über 1 Milliarde US‑Dollar zu erwarten sind, soll ein Stopp möglich werden. Solche Katastrophen müssten aus einer der drei Ursachen resultieren:
- der Herstellung oder Freisetzung einer biologischen Waffe
- dem Entkommen des Modells aus den Kontrollen seiner Entwickler
- einem Cyberangriff
Parallelen zum bestehenden Recht
Die genannten Schwellenwerte (50 Tote / 1 Mrd. USD) ähneln einer jüngst in Kalifornien verabschiedeten Regel — dem Senate Bill 53 —, die ähnliche Situationen als «katastrophales Risiko» definiert. Anthropic positioniert den Entwurf damit in ein bereits vorhandenes regulatorisches Umfeld.
Wer das Risiko prüft
Anthropic schlägt vor, unabhängige Gutachter einzusetzen, die beim US‑Handelsministerium (Commerce Department) registriert sind. Diese sogenannten „independent evaluators“ wären externe Expertinnen und Experten, die Modelle auf gefährdende Eigenschaften untersuchen können. Sie dürften von KI‑Firmen bezahlt werden — allerdings nur unter der Bedingung, dass die Bezahlung nicht an bestimmte Ergebnisse geknüpft ist. Wie Interessensbeeinflussung konkret verhindert werden soll, bleibt im Entwurf offen.
Ablauf bei identifizierter Gefahr
Sollten die Gutachter ein unmittelbares, katastrophales Risiko feststellen, müssten sie das Handelsministerium innerhalb von 72 Stunden informieren. Das Ministerium wäre dann verpflichtet, vor einem Bundesrichter in Washington, D.C. eine Verfügung zu beantragen, die die Veröffentlichung oder Verbreitung des Modells stoppt. Wörtlich würde das Gesetz Bundesbehörden verbieten, eigenständig die Verbreitung eines Modells zu stoppen — die gerichtliche Anordnung soll der vorgesehene Weg sein.
Reaktionen und Branchenkontext
Anthropic bestätigte gegenüber Politico, dass der Entwurf Teile ihres internen „Advanced AI Framework“ abbildet, das das Unternehmen seit Juni bei Gesetzgebern vorstellt. Auf eine Anfrage von TechCrunch gab Anthropic zunächst keine Antwort. In der Branche sorgen sich viele Akteurinnen und Akteure weniger über unmittelbar tödliche Szenarien als über sogenanntes „agentisches Hacking“ — also KI‑Programme, die eigenständig Anweisungen missachten oder sich ins Internet hacken. Viele Firmen haben sich gegen verpflichtende Kontrollen ausgesprochen und stattdessen freiwillige Lösungen vorgeschlagen, etwa interne, „eingebettete“ Gutachter, die Risiken kontinuierlich überwachen.
Abgrenzung von anderen Vorschlägen
Anthropics Vorschlag geht in einigen Punkten weiter als viele brancheninterne Ideen. Einige große Technologieanbieter, darunter Nvidia, haben sich zuletzt gegen neue gesetzliche Vorgaben ausgesprochen. Separat hat DeepMind‑Chef Demis Hassabis angeregt, eine Art selbstregulierende Behörde nach dem Vorbild der Finanzaufsicht FINRA zu schaffen — also ein Branchenaufsichtsmodell statt staatlicher Eingriffe.
Offene Fragen
Zahlreiche praktische Details sind im Entwurf noch offen:
- etwa konkrete Mechanismen zur Vermeidung von Interessenkonflikten bei der Bezahlung der Gutachter
- die genaue Zusammensetzung und Qualifikation der „independent evaluators“
- oder wie internationale Aspekte und grenzüberschreitende Veröffentlichungen gehandhabt werden sollen
Insgesamt liefert Anthropic mit dem Papier einen konkreten Vorschlag, der bei sehr hohen Schadenserwartungen die Verbreitung von KI‑Modellen per gerichtlicher Verfügung stoppen will — mit externen Gutachtern als prüfender Instanz.
Quellen
- Quelle: Anthropic
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
