Brundage gründet AVERI für unabhängige KI‑Sicherheitsprüfungen.
In Kürze
- Audits statt Selbstberichten
- 7,5M$ gesammelt, Ziel 13M$
- Stufenrahmen bis zu treaty‑grade
Miles Brundage, einst Policy‑Chef bei OpenAI, hat ein Institut gegründet, das unabhängige Sicherheitsprüfungen für besonders leistungsfähige KI‑Modelle durchsetzen will. AVERI (AI Verification and Evaluation Research Institute) will verhindern, dass KI‑Labore allein über die Zuverlässigkeit und Risiken ihrer eigenen Modelle befinden.
Warum AVERI antritt
Der Knackpunkt: Bislang müssen Nutzer, Regierungen und Kund:innen den Selbstberichten der KI‑Entwickler vertrauen. AVERI fordert externe Audits — Prüfungen durch unabhängige Dritte — weil Firmen heute häufig „ihre eigenen Regeln schreiben“, so Brundage. Er verließ OpenAI im Oktober 2024, wo er zuvor als Berater zur Frage arbeitete, wie man mit künstlicher allgemeiner Intelligenz (AGI) umgehen sollte.
Wer steckt dahinter — und wie viel Geld ist da?
AVERI hat bisher 7,5 Millionen Dollar eingesammelt und peilt insgesamt 13 Millionen Dollar an, um ein Team von 14 Mitarbeitenden zu finanzieren. Zu den Geldgebern zählen unter anderem Geoff Ralston (ehemaliger Präsident von Y Combinator), die AI Underwriting Company (ein Versicherer für KI‑Risiken) sowie Mitarbeitende führender KI‑Firmen. Brundage wertet solche „Insider‑Spenden“ als Hinweis darauf, dass in der Branche ein Unbehagen und der Wunsch nach mehr Rechenschaftspflicht bestehen — „die wissen, wo die Leichen begraben sind“, sagte er dazu.
Der vorgeschlagene Prüfungsrahmen
Parallel zur Gründung veröffentlichte AVERI ein Papier mit über 30 KI‑Sicherheitsforschern und Governance‑Expert:innen, das einen Rahmen für unabhängige Audits skizziert. Kernidee sind sogenannte „AI Assurance Levels“:
- Level 1: Entspricht dem heute häufigen Zustand — begrenzte Drittanbieter‑Tests und eingeschränkter Modellzugang.
- Level 4: Soll ein „treaty‑grade“ Sicherheitsniveau erreichen — also so robust und vertrauenswürdig, dass es als Grundlage für internationale Abkommen dienen könnte.
Der Rahmen sieht abgestufte Prüfanforderungen vor, je nachdem, wie mächtig oder riskant ein Modell eingeschätzt wird.
Wer kann Audits durchsetzen?
Neben staatlichen Vorschriften glaubt Brundage vor allem an Marktmechanismen: Große Unternehmen, die KI in kritischen Prozessen einsetzen, könnten unabhängige Audits zur Bedingung beim Einkauf machen. Versicherer spielen dabei eine Schlüsselrolle — sie könnten Audits verlangen, bevor sie etwa Business‑Continuity‑Versicherungen für KI‑abhängige Unternehmen ausstellen oder Verträge mit Anbietern abschließen. Laut Brundage bewegen sich Versicherungen bereits zügig in diese Richtung.
Kurz und knapp
AVERI will unabhängige Prüfungen zur Norm machen, finanziert sich teilweise aus der Branche selbst und bietet einen abgestuften Rahmen von heutigen Tests bis zu einem vertragssicheren („treaty‑grade“) Niveau.
Quellen
- Quelle: AVERI
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
