Flora: Nvidia stellt ein offenes System zur automatischen Beschriftung von Robotik‑Videos vor.
In Kürze
- Drei Qwen3.5‑Modelle: Segmentierung, Beschreibung, Bewertung
- Feinmodelle auf Hugging Face; hohe Skalierbarkeit
- Kostenschätzung 0,72 USD/Std. (Hochrechnung)
Nvidia hat ein neues, offenes System für die automatische Beschriftung von Robotik‑Videos vorgestellt: Flora. Ziel des Projekts ist es, große Mengen an Videomaterial für das Training von Roboter‑KI deutlich günstiger und stärker automatisiert zu annotieren. Flora kombiniert drei Kernfähigkeiten, die beim Lernen von Robotersteuerung wichtig sind: das zeitliche Aufteilen von Aktionen, das Bewerten von Zwischenschritten und die Beurteilung des Gesamterfolgs einer Aufgabe.
Wie Flora arbeitet
Flora besteht aus drei feinjustierten Qwen3.5-Modellen.
- Das erste Modell segmentiert Videos in einzelne Aktionen und legt deren zeitliche Grenzen fest.
- Das zweite beschreibt diese Aktionen und bezieht dabei Kontext vor und nach der Aktion mit ein.
- Das dritte Modell, der sogenannte „Rewarder“, übernimmt drei Bewertungsaufgaben:
- es vergibt eine Gesamtnote für den Erfolg einer Episode auf einer Skala,
- klassifiziert jeden halben Sekunden‑Schritt als normal / suboptimal / Fehler,
- und verteilt Punkte nach vordefinierten Rubriken.
Qwen3.5 ist ursprünglich ein Sprachmodell; Nvidia hat es für die Aufgabe der Videobeschriftung angepasst.
Praktische Claims und Verfügbarkeit
Nvidia berichtet, Flora laufe bereits beim Training ihrer GR00T‑Modelle und könne auf großer GPU‑Infrastruktur angeblich bis zu 200.000 Stunden Video pro Tag annotieren. Die Feinmodelle hat Nvidia auf Hugging Face veröffentlicht, so dass Forschende und Entwickler:innen direkten Zugriff haben.
Kostenrechnung: großschneller Vergleich — mit Vorbehalt
Nvidia gibt eine Kostenschätzung an: Demnach ließe sich eine Stunde Video mit Flora für etwa 0,72 US‑Dollar beschriften. Zum Vergleich nennt Nvidia hypothetische Werte für andere Modelle: OpenAIs GPT‑6 Astra etwa 88,50 USD pro Stunde, Claude Opus 5 rund 42 USD. Wichtiger Vorbehalt: Die Flora‑Zahl ist eine Hochrechnung, basierend auf einem angenommenen GPU‑Mietpreis von 10 USD pro Stunde — keine Messung aus realen Produktionskosten.
Leistung in Benchmarks
In verschiedenen Tests zeigt Flora gemischte Ergebnisse gegenüber kommerziellen Konkurrenten. Bei der zeitlichen Lokalisierung von Aktionen schneidet Flora oft besser ab als Astra; Astra wiederum liefert in vielen Fällen präzisere Einzelbeschreibungen der Aktionen. Auf einem Benchmark mit menschlichen Aufnahmen belegt Flora alle Spitzenwerte; auf Robotervideos liegt Flora meist auf Platz zwei hinter Astra.
Bei der Fehlererkennung sticht Flora hervor: Auf dem RoboRewardBench liegt Floras Fehlerquote laut Nvidia um 27,8 % unter der von Astra. Der Flora‑Rewarder erkennt 53,3 % der Fehlerschritte in einer Episode; andere Modelle erreichen in dem Test maximal 11,7 %, Astra erkennt in diesem speziellen Test laut Nvidia gar keine Fehlerschritte. Allerdings markiert Flora etwa 11 % normaler Schritte fälschlich als Fehler. In Aufgaben wie Rubrizierung und Trajektorienranking hat Astra Vorteile.
Konkrete Stärken und Schwächen
- Stärken: Flora erkennt viele kurze Handgriffe sehr zuverlässig — in einem Beispiel 34 von 37 solchen Handgriffen. Das Modell ist stark in der Erkennung von Fehlern und bei der zeitlichen Abgrenzung von Aktionen.
- Schwächen: Flora neigt dazu, längere Aktionen in zu viele kleine Schritte zu zerteilen, und macht gelegentlich Beschreibungsfehler (etwa Verwechslungen bei Objekten, wie die Beschreibung eines Wischtuchs als „Falten einer Serviette“). In einigen Detailaufgaben sind konkurrierende Modelle präziser.
Wozu Nvidia Flora einsetzt und wie es sich einordnet
Nvidia positioniert Flora als offene Alternative zu kommerziellen Datendiensten wie Scale AI. Das Unternehmen möchte Forschenden ermöglichen, eigene Robotik‑Datensätze zu skalieren und menschliche Demonstrationen für Roboter nutzbar zu machen. Das Produkt fügt sich in Nvidias Strategie, die gesamte Robotik‑Wertschöpfungskette — von Hardware über Simulation bis zu Trainingsdaten und Modellen — anzubieten, ein. Ähnliche Funktionen, etwa Erkennung von Arbeitsschritten oder das Markieren misslungener Aktionen, verfolgt auch Googles Gemini 4 Argon.
Kurz und praktisch
Flora ist ein offenes Tool zur automatischen Beschriftung von Robotik‑Videos, mit deutlichem Fokus auf Fehlererkennung und zeitliche Lokalisierung von Aktionen. Die angegebenen Kostenvorteile sind vielversprechend, basieren aber auf Hochrechnungen statt auf gemessenen Produktionskosten. Für Forscher:innen und Entwickler:innen bietet Flora eine zugängliche Option — in bestimmten Detailaufgaben bleiben kommerzielle Modelle jedoch konkurrenzfähiger.
Quellen
- Quelle: Nvidia
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
