Tests von Vals AI und Anthropic zeigen: KI‑Agenten‑Teams treiben Kosten stark, bringen selten proportional bessere Qualität. Nutzen hängt von Aufgabe, Token‑Kosten und Koordination ab.
In Kürze
- Teams 1,8–5,1× teurer; Qualität steigt kaum proportional
- Abnehmende Erträge: frühe Gewinne, dann flache Verbesserungen
- Hauptvorteil ist Tempo; Token‑ und Koordinationskosten steigen
KI‑Agenten im Team: Mehr Kosten, kaum besseren Output
Mehrere aktuelle Tests zeigen: Wenn du mehrere KI‑Agenten zusammenarbeiten lässt, steigt die Rechnung deutlich — und die Qualität steigt selten im gleichen Maße mit. Vals AI und Anthropic haben unterschiedlich große Agenten‑Schwärme gegen Einzelsysteme antreten lassen und kommen zu ähnlichen Beobachtungen.
Wie die Tests aufgebaut waren
Vals AI prüfte GPT‑6 Sol und Claude Opus 5.5 auf dem Vibe Code Bench jeweils als Einzelagent und als Team. Getestet wurde in zwei „Reasoning“-Stufen — also mit mittlerem und mit maximalem Denk‑/Rechenaufwand. Teams waren dabei zwischen 1,8‑ und 5,1‑mal teurer als einzelne Agenten.
Was Vals AI fand
Von vier direkten Vergleichen ergab sich nur einmal ein statistisch signifikanter Vorteil für Teams: GPT‑6 Sol als Team bei mittlerer Reasoning‑Stufe lag um 7,3 Punkte vorn. Bei maximaler Reasoning‑Stufe brachte Teamarbeit weder für Sol noch für Opus 5.5 einen relevanten Vorteil. Kurzum: In den meisten Fällen rechtfertigt die zusätzliche Rechen- und Koordinationskosten den Einsatz vieler Agenten nicht — besonders, wenn die Modelle ohnehin schon mit voller Rechenleistung laufen.
Anthropic: abnehmende Erträge und Token‑Kosten
Anthropic beobachtete bei Opus 5.5, dass zusätzliche Agenten anfangs schnell Erfolg bringen, der Nutzen aber zunehmend abflacht. Große Teams erreichen hohe Leistungsniveaus schneller, doch weitere Agenten liefern nur noch kleine Verbesserungen — gerade über längere Laufzeiten (z. B. nach 24 Stunden).
ProgramBench‑Tests zeigten außerdem: Geschwindigkeitsvorteile kommen mit erhöhtem Token‑Verbrauch. Token sind die Einheiten, mit denen Modelle Text verarbeiten — und sie verursachen direkte Kosten.
Zahlenbeispiele für Opus 5.5 (Leistungswerte)
- Knowledge base: 1 Agent 0,53 → 10 Agenten 0,70 → 30 Agenten 0,71 → 100 Agenten 0,74
- Lean theorem proving: 1 Agent 0,39 → 10 Agenten 0,66 → 30 Agenten 0,66 → 100 Agenten 0,68
Andere Modelle: Fable 5.1
Fable 5.1 zeigte bei der Beweisaufgabe etwas stärkere Verbesserungen beim Einsatz von mehr als zehn Agenten, blieb insgesamt jedoch hinter Opus 5.5 zurück. Bei der Wissensbasis fiel Fables Score übrigens von 30 auf 100 Agenten leicht ab — ein weiteres Indiz für abnehmende Marginalgewinne.
Warnungen aus der Forschung
Eric Provencher (OpenAI) warnt vor einer „Koordinationssteuer“: Die Kosten und der Aufwand, Agenten untereinander abzustimmen, können Schwärme teuer und ineffizient machen. Noam Brown (ebenfalls OpenAI) betont, dass Multi‑Agenten‑Setups vor allem Geschwindigkeit bringen — nicht automatisch bessere Qualität.
Ein Beispiel: Vier Agenten können Aufgaben doppelt so schnell lösen, kosten aber auch doppelt so viel; bei 16 Agenten verschlechtert sich das Verhältnis leicht weiter. Außerdem sei der Effekt stark aufgabenspezifisch: Web‑Recherche und Mathematik lassen sich gut parallelisieren, das Schreiben eines Romans kaum. Extreme Skalierung in Richtung Tausender Agenten ist bislang wenig erforscht, weil die Kosten hoch sind.
Was das für dich bedeutet
Die Tests legen nahe, dass Teams von KI‑Agenten vor allem eines bringen: Tempo. Bessere Ergebnisse aber sind nicht garantiert — und oft teuer erkauft. Ob ein Schwarm für deine Aufgabe sinnvoll ist, hängt deshalb stark vom konkreten Anwendungsfall ab. PMID
Quellen
- Quelle: Vals AI
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
