KI-Chatbot fabrizierte falsche Frachtdaten; US-Einsatz gestoppt.
In Kürze
- KI halluzinierte Fracht
- Einsatz in letzter Minute gestoppt
- Experten fordern Schutzmechanismen
Dieses Frühjahr standen US-Militärflugzeuge bereits in der Luft, als US-Beamte entdeckten, dass die Grundlage für einen bewaffneten Einsatz gegen ein chinesisches Schiff von einem KI-Chatbot „halluziniert“ worden war. Der Einsatz wurde in letzter Minute gestoppt — ein möglicher Konflikt mit China wurde damit vorerst abgewendet, berichtet CNN.
Wie es dazu kam
Während der Kämpfe mit dem Iran kursierte ein geheim eingestufter Bericht, der behauptete, das fragliche Schiff transportiere Bauteile für ein Atomwaffenprogramm. Der Bericht stammte von einem Analysten des US Special Operations Command, der einen KI-Chatbot nutzte, um offen verfügbare Informationen mit geheimen Abhördaten (signals intelligence) zusammenzufassen.
Der Chatbot hatte das Frachtmanifest falsch identifiziert und erzeugte damit überzeugend formulierte, aber falsche Angaben — eine typische KI‑„Halluzination“, bei der das System Fakten erfindet. Der Analyst setzte das Tool erneut ein, um die fehlerhaften Erkenntnisse in eine offiziell wirkende Zusammenfassung zu überführen; diese Version wurde innerhalb der Kommandokette verteilt und eskalierte beinahe zu einem Einsatz.
Warum das riskant ist
Das Pentagon treibt die Integration von KI in militärische Abläufe voran, weil solche Systeme Entscheidungen beschleunigen können — das Militär spricht etwa vom Beschleunigen der „kill chain“, also der Kette von Erkennung bis zum Einsatz. Genau diese Beschleunigung kann aber zum Problem werden: Wenn eine KI falsche Informationen liefert, können sich Fehler schneller nach oben durchschlagen, bevor Menschen sie ausreichend überprüfen.
Stimmen aus der Fachwelt
Jake Steckler, Forscher bei GovAI und früherer US‑Army‑Offizier, hebt hervor, dass Angehörige der Streitkräfte die Unsicherheit großer Sprachmodelle (LLMs) verstehen müssen. Das gelte besonders bei Entscheidungen, die zu Gewaltanwendung führen können — etwa bei Zielauswahl, Geheimdienstanalyse oder Einsatzplanung — weil hier Menschenleben auf dem Spiel stehen. Steckler sagt zugleich, der Vorfall müsse Anlass sein, mehr Schutzmechanismen einzubauen und nicht zur generellen Ablehnung von KI‑Werkzeugen führen. Wer die Einführung solcher Systeme zu schnell vorantreibe, riskiere Zwischenfälle, die Vertrauen zerstören und späteren Einsatz eher verzögern.
Quellen
- Quelle: U.S. military
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
