Mistral bringt Roboter, die sich nur mit einer RGB‑Kamera und Sprachbefehlen durch Räume bewegen.
In Kürze
- 76,6% Erfolg R2R‑CE
- Pointing statt klassischer Wegplanung
- Training aus Simulationen, Online‑Feinabstimmung
Stell dir vor, ein Roboter steuert sich allein mit einer normalen RGB‑Kamera und einer einfachen Sprachanweisung durch Räume — drinnen wie draußen. Genau das will Mistral AI mit Robostral Navigate möglich machen: ein Modell mit 8 Milliarden Parametern, das ohne teure Lidar‑ oder Tiefensensorik und ohne mehrere Kameras auskommen soll.
Beeindruckende Trefferquote
Auf dem Benchmark R2R‑CE (Room‑to‑Room in Continuous Environments) erreicht Robostral Navigate in unbekannten Umgebungen eine Erfolgsrate von 76,6 Prozent. Das sind 9,7 Prozentpunkte mehr als der bisher beste Einzelkamera‑Ansatz und 4,5 Punkte mehr als das bislang beste System mit Tiefen‑ oder Mehrkamera‑Setup. In bekannten Umgebungen liegt die Erfolgsrate bei 79,4 Prozent.
Wie das System Ziele findet
Statt klassischer Wegplanung sagt das Modell Bildkoordinaten des Ziels im aktuellen Kamerabild voraus und gibt die gewünschte Ausrichtung beim Ankommen an — Mistral nennt das den Pointing‑Ansatz. Wenn das Ziel gerade nicht im Bild ist, wechselt das Modell zu lokalen, schrittweisen Anweisungen wie „2 Meter vorwärts, 1,5 Meter nach links, 25 Grad drehen“. Laut Mistral macht diese Kombination das System robuster gegenüber Änderungen an Kamerawinkel oder -einstellungen.
Eigenentwicklung und Trainingspipeline
Mistral baute Robostral Navigate komplett selbst auf, auf Basis des eigenen Vision‑Language‑Modells, das für Grounding‑Aufgaben wie Objektlokalisierung und Zählen optimiert ist. Alle Trainingsdaten stammen aus Simulationen: rund 400.000 Trajektorien aus 6.000 Szenen. Mit einer Technik namens Prefix‑Caching reduzierte Mistral die benötigte Token‑Menge um den Faktor 22 und beschleunigte damit Trainingsläufe von Monaten auf Tage.
Feinschliff per Online‑Lernen
Nach dem Offline‑Training nutzte das Team CISPO, ein Online‑Reinforcement‑Learning‑Verfahren (Lernen durch Ausprobieren und Anpassen), das die Erfolgsrate noch einmal um 3,2 Prozentpunkte steigerte.
Wo Robostral laufen soll
Mistral plant, Robostral Navigate auf Rad‑, Lauf‑ und Flugrobotern einzusetzen. Als Einsatzfelder werden Fertigung, Lieferung und Logistik genannt. Der Verzicht auf teure Sensorik könnte Kosten und Integrationsaufwand senken, wenngleich die rein kamerabasierte Technik nach Mistral‑Angaben noch in realen, sicherheitskritischen Einsätzen erprobt werden muss.
Ausblick auf Mistrals Pläne
Mistral beschreibt Robostral Navigate als „ersten Schritt“ zu einem einheitlichen Embodied Agent und baut sein Robotik‑Team aus — ein Hinweis auf längerfristige Aktivitäten im Bereich KI‑Robotik. Parallel erweitert das Unternehmen seine Produktpalette; zuletzt erschien Leanstral 1.5, ein Modell für formale mathematische Beweise.
Quellen
- Quelle: Mistral AI
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
