SL2T von Google DeepMind wandelt Gebärdensprache in Text — jetzt auf Pixel 11.
In Kürze
- ASL nun in Gboard & Live Transcribe
- Trainiert mit 100.000+ Stunden aus 50+ Sprachen
- On‑device Pose‑Landmarks schützen Rohvideos
Google DeepMind hat SL2T vorgestellt — ein großes KI-Modell, das Gebärdensprache direkt in Text übersetzt.
Die erste praktische Anwendung zielt auf ASL (American Sign Language): Du kannst die Funktion jetzt in Gboard und Live Transcribe auf dem Pixel 11 nutzen; weitere Geräte und Sprachen sollen folgen. Ziel ist, dass gehörlose und schwerhörige Menschen mit dem Smartphone per Gebärde statt Tippen kommunizieren können.
Warum das relevant ist
Gebärdensprachen sind eigenständige Sprachen mit eigener Grammatik und bilden einen zentralen Teil der Kultur vieler Deaf-Communities. Viele Gehörlose drücken sich mit Gebärden präziser aus als mit gesprochener oder geschriebener Sprache; digitale Übersetzungswerkzeuge können die Verständigung mit Hörenden deutlich erleichtern.
Die technischen Hürden, kurz und praktisch
Gebärdensprachen sind keine 1:1-Abbildung gesprochener Sprachen — es braucht echte Übersetzung, nicht nur eine starre Transkription. Bedeutungen werden oft gleichzeitig über Hände, Arme, Rumpf, Kopf und Gesicht vermittelt; die KI muss also multi-kanalige Bewegungen visuell erfassen und semantisch verarbeiten. Das macht die Aufgabe deutlich komplexer als reines Lippenlesen oder einfache Gestenerkennung.
Wie SL2T funktioniert
- Trainingsdaten: SL2T wurde mit mehr als 100.000 Stunden Material aus über 50 Gebärdensprachen trainiert; rund ein Viertel davon ist ASL. Gemeinsames Training über viele Varianten hilft dem Modell, gemeinsame Strukturen zu erkennen und besser zu generalisieren.
- Privatsphäre: Statt Rohvideo sendet das Telefon nur sogenannte Pose-Landmarks — die Positionen markanter Körper- und Gesichts-Punkte. Diese Landmarks werden auf dem Gerät mit einem On-Device-Modell (MediaPipe Holistic) erfasst; das Originalvideo wird sofort verworfen.
- Übersetzungsansatz: SL2T übersetzt diese Koordinaten direkt in Text und umgeht dabei Zwischenschritte wie „Glosses“, die manche Aspekte der Gebärdensprache schlecht abbilden. So entsteht eine flexiblere, datengetriebene Übersetzung.
- Praxisoptimierungen: Das Team arbeitete unter anderem an geringer Latenz beim Streamen, Mechanismen, um Fehlinformationen zu vermeiden wenn gerade nicht gebärdet wird, an Fairness gegenüber den etwa 10 % Linkshändern und an besserer Erkennung einhändiger Gebärden — wichtig beim Telefonieren.
Qualität und bekannte Schwächen
In Benchmarks wie FLEURS-ASL erzielt SL2T hohe Werte — etwa rund 70 BLEURT, deutlich über früheren Modellen. In vielen Fällen liefert das System flüssige, gut verständliche Übersetzungen. Schwächen treten aber noch auf:
- seltene oder selten dokumentierte Zeichen
- schnelles Fingerspelling (Buchstabieren mit den Fingern)
- passive Formulierungen
- bestimmte bildhafte Gesten (sogenannte „classifiers“)
- Zeitformen, die ohne Kontext schwer zu bestimmen sind
Einbindung der Deaf-Community
Die Entwicklung erfolgte mit starker Beteiligung der Deaf-Community — von der Konzeption über Datenerhebung bis zu Nutzerstudien. Es gibt ein beratendes Gremium (AI Sign Language Advisory Committee, AISLAC) mit globalen Deaf-Organisationen. Google veröffentlichte gemeinsam mit Vertreterinnen und Vertretern der Community einen Bericht zu Fähigkeiten und Grenzen des Systems; die Arbeit ist als fortlaufender, partizipativer Prozess angelegt.
Was noch kommt
Google plant, weitere Gebärdensprachen zu unterstützen, an der Erzeugung von Gebärdensprache zu arbeiten und generell weiter an KI-Fähigkeiten rund um dieses Thema zu forschen. Langfristig steht die digitale Barrierefreiheit auf Augenhöhe mit gesprochenen und geschriebenen Sprachen im Fokus.
Verfügbarkeit und Kosten
Du kannst SL2T jetzt in Gboard und Live Transcribe auf dem Pixel 11 ausprobieren; die Funktion ist aktuell kostenlos. Weitere Geräte und Erweiterungen sollen folgen.
Wer beteiligt war
Die Entwicklung war eine Zusammenarbeit zwischen Teams von Google DeepMind und Android; viele Personen aus unterschiedlichen Bereichen haben beigetragen.
Quellen
- Quelle: Google DeepMind
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
