Die Inclusion Arena revolutioniert den Vergleich von KI-Tools durch reale Nutzungsszenarien.
In Kürze
- Über 500.000 Vergleiche in der Testphase
- Anonymes Ranking der KI-Modelle
- Erste Ergebnisse zeigen starke Leistungen bekannter Anbieter
Die Plattform „Inclusion Arena“
Die Plattform „Inclusion Arena“ bringt frischen Wind in die Welt der Sprachmodelle. Hier kannst du die Leistung von KI-Tools wie ChatGPT oder Claude in echten Nutzungssituationen testen – und das ganz ohne die typischen Labortests. Stattdessen greift die Plattform auf Daten aus realen Anwendungsfällen zurück, wie etwa Chats für Rollenspiele oder Bildungs-Apps. Das Besondere: Nutzer vergleichen die Antworten der KI-Modelle anonym, ohne zu wissen, welches Modell dahintersteckt. So entsteht ein Live-Ranking der beliebtesten Modelle.
Testphase und Nutzerbeteiligung
In der Testphase hat die Inclusion Arena bereits über 500.000 Vergleiche durchgeführt, an denen mehr als 46.000 Nutzer beteiligt waren. Dabei traten 49 verschiedene Modelle gegeneinander an. Um die Stärke der Modelle in direkten Duellen zu bewerten, wird das Bradley-Terry-Modell verwendet, das ähnlich wie ein Schachranking funktioniert. Neue Teilnehmer werden zunächst in sogenannten Placement Matches eingereiht, um die Rechenleistung optimal zu nutzen und stabile Ergebnisse zu erzielen.
Ergebnisse und Zukunftspläne
Die ersten Ergebnisse zeigen, dass bekannte Modelle von Unternehmen wie Anthropic und Alibaba stark abschneiden. Aktuell ist die Plattform zwar noch auf einige wenige Apps beschränkt, doch es gibt bereits Pläne zur Erweiterung, um eine breitere Abdeckung zu erreichen. Diese praxisnahen Ergebnisse sind besonders interessant für Unternehmen, die Large Language Models (LLMs) in ihren Produkten einsetzen möchten. Sie spiegeln reale Nutzerpräferenzen wider und bieten somit eine wertvolle Entscheidungsgrundlage.
Quellen
- Quelle: Inclusion Arena
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
