Aktuelle KI-Modelle zeigen Schwächen im Umgang mit unerwarteten Situationen, wie ein Test mit YouTube-Fail-Videos zeigt.
In Kürze
- KI-Modelle wie GPT-4o und Gemini 1.5 Pro getestet
- Menschen erkennen Überraschungen in 90% der Fälle, KIs nur in 65%
- Benchmark-Test soll KI-Entwicklung vorantreiben
KI-Modelle auf dem Prüfstand: YouTube-Fail-Videos als Test
Forscher haben kürzlich KI-Modelle wie GPT-4o und Gemini 1.5 Pro auf die Probe gestellt – und das mit einem eher amüsanten Ansatz: YouTube-Fail-Videos. Das Ergebnis? Die KIs zeigen sich oft wenig flexibel und halten hartnäckig an ihren ersten Annahmen fest, selbst wenn die Handlung unerwartete Wendungen nimmt. Im direkten Vergleich zu menschlichen Zuschauern schneiden sie dabei deutlich schlechter ab.
Ein Beispiel für die Schwächen der KI
Ein Beispiel gefällig? Während Menschen in der Lage waren, in 90 Prozent der Fälle die Überraschungen in den Videos zu erklären, kam GPT-4o nur auf 65 Prozent richtige Antworten. Das ist ein klarer Hinweis darauf, dass aktuelle KI-Modelle Schwierigkeiten haben, unerwartete Situationen zu verstehen und zu interpretieren.
Auswirkungen auf autonome Systeme
Diese Schwäche könnte ernsthafte Konsequenzen haben, insbesondere für autonome Systeme wie selbstfahrende Autos. Diese Fahrzeuge müssen in der realen Welt mit unvorhersehbaren Szenarien umgehen können, und wenn KIs schon bei simplen Trickvideos ins Straucheln geraten, ist das ein Warnsignal.
Entwicklung und Zukunft der KI
Um die Entwicklung voranzutreiben, wurde ein Benchmark-Test mit über 1.600 Videos veröffentlicht. Dieser soll Entwicklern helfen, ihre KI-Systeme zu verbessern. Solange KI-Modelle jedoch von einfachen Fail-Videos getäuscht werden, ist der Einsatz in der Praxis noch weit entfernt. Es bleibt abzuwarten, wie schnell die Technologie hier Fortschritte machen kann.
Quellen
- Quelle: University of British Columbia, Vector Institute for AI, Nanyang Technological University
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
