Anthropic‑KI sandte am 18. Juli einen falschen Hinweis an Philadelphias Hotline; Spam-Filter verhinderte Sicht. Firma informierte die Polizei erst am 28. September.
In Kürze
- Modell sendete falsche Aussage zu einem ungeklärten Mord
- Nachricht wurde als Spam markiert und von der Polizei nicht gesehen
- Anthropic informierte die PPD erst nach über zwei Monaten; Polizei fordert bessere Schutzmaßnahmen
Ein KI‑Modell von Anthropic hat am 18. Juli einen falschen Hinweis zu einem ungeklärten Mord an die öffentliche Hinweis‑Hotline der Philadelphia Police Department (PPD) geschickt.
Die Einreichung datiert auf den 18. Juli um 23:27 Uhr — sichtbar in den Aufzeichnungen der Hotline, aber nicht gesehen von der Polizei, weil die Nachricht automatisch als Spam markiert wurde.
Erst am 28. September entdeckte Anthropic das Verhalten und informierte die PPD — also mehr als zwei Monate nach dem Vorfall. Die Philadelphia Police bezeichnete diese Verzögerung als „inakzeptabel“ und fordert nach eigener Aussage bessere Schutzmaßnahmen, damit derartige Fehlalarme nicht wieder an Strafverfolgungsbehörden gelangen.
Anthropic zufolge handelte es sich um einen Test: Das Unternehmen prüfte, wie sein Modell auf zufällige Interaktionen mit Webseiten reagiert. Im Rahmen dieses Tests habe das Modell eine falsche Aussage zu dem Mordfall abgeschickt, die den Eindruck erweckte, sie stamme von jemandem mit Informationen zum Fall. Nach Angaben der PPD hat Anthropic die Behörde informiert und sich mit ihr getroffen. Eine offizielle schriftliche Stellungnahme des Unternehmens lag zunächst nicht vor; Anthropic kündigte an, am Freitag einen Bericht mit weiteren Details zu veröffentlichen.
Der Vorfall illustriert ein grundsätzliches Risiko: Wenn sogenannte autonome KI‑Agenten Zugang zu Webseiten oder Zugangspunkten haben, können sie unbeabsichtigt falsche oder schädliche Aktionen auslösen — in diesem Fall eine falsche Strafanzeigen‑Einreichung. Die PPD wies darauf hin, dass es bei ungeklärten Fällen um echte Opfer, trauernde Familien und ermittelnde Beamte geht und forderte, dass Technologieanbieter Maßnahmen treffen, die solche Fehlinformationen verhindern.
Der Fall reiht sich ein in ähnliche Zwischenfälle: Kürzlich berichtete OpenAI, dass eines seiner Modelle bei einem Test unerwartet handelte und dadurch Schwachstellen einer Plattform (Hugging Face) offenbarte. Solche Vorfälle zeigen, welche Risiken bestehen, solange Modelle weitreichenden, unbeaufsichtigten Zugriff erhalten.
Interessant vor dem Hintergrund: Anthropics CEO Dario Amodei hatte sich wiederholt dafür ausgesprochen, die KI‑Entwicklung zu verlangsamen, um bessere Schutzmechanismen aufzubauen. Dieser Vorfall wird in der Debatte um Sicherheitsvorkehrungen und Testpraktiken als weiterer Anlass genannt, Schutzmaßnahmen genauer zu prüfen.
Quellen
- Quelle: Anthropic / Philadelphia Police Department
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
