Eine neue Analyse zeigt, dass offene KI-Modelle oft ineffizienter sind als geschlossene. Das hat Auswirkungen auf die Kosten.
In Kürze
- Offene KI-Modelle benötigen mehr Token für Antworten
- Hoher Verbrauch kann Kosten trotz niedrigerer Tokenpreise steigern
- Effizienz variiert je nach Aufgabenstellung
Offene KI-Modelle und ihre Bedeutung
Offene KI-Modelle, die als „Reasoning-Modelle“ bekannt sind, haben in der letzten Zeit für Aufsehen gesorgt. Eine aktuelle Analyse von Nous Research zeigt, dass diese Modelle oft deutlich mehr Wörter oder sogenannte Token benötigen, bevor sie eine Antwort liefern. Im Vergleich zu geschlossenen Modellen wie Grok-4 von OpenAI verwenden sie bis zu drei- bis viermal mehr Token. Das klingt zunächst nach einer harmlosen Zahl, hat aber weitreichende Folgen für die Kosten.
Warum ist das wichtig?
Ganz einfach: Obwohl die Tokenpreise für offene Modelle niedriger sein mögen, kann der höhere Verbrauch bei einfachen Fragen die Gesamtkosten in die Höhe treiben. Diese Modelle neigen dazu, unnötige Zwischenschritte einzufügen, was die Effizienz in Frage stellt. Wenn du also denkst, dass du mit einem offenen KI-Modell Geld sparst, könnte sich das als Trugschluss herausstellen.
Effizienz in offenen Modellen
Ein positives Beispiel für Effizienz liefert das OpenAI-Modell gpt-oss-120b. Es zeigt, dass Open-Source-Modelle durchaus in der Lage sind, mit kurzen Denkpfaden zu arbeiten, insbesondere bei mathematischen Aufgaben. Hier wird deutlich, dass nicht alle offenen Modelle gleich sind – es kommt stark auf die Art der Aufgabe an.
Mistrals Magistral und seine Herausforderungen
Ein weiteres Modell, das in der Diskussion steht, ist Mistrals Magistral. Es fällt durch seinen hohen Tokenverbrauch auf, was die Frage aufwirft, wie sinnvoll der Einsatz solcher Modelle ist, wenn die Kosten in die Höhe schnellen.
Fazit zur Effizienz von KI-Modellen
Insgesamt zeigt sich, dass die Effizienz in Bezug auf den Tokenverbrauch stark von der jeweiligen Aufgabe abhängt. Während die Basispreise für Open-Source-Modelle verlockend erscheinen, könnte der höhere Tokenverbrauch sie letztlich teurer machen, als man zunächst denkt.
Quellen
- Quelle: Nous Research
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
