Nemotron 3 ordnet Sprecher in Echtzeit und bei Aufnahmen zu – auch bei überlappendem Sprechen.
In Kürze
- Erkennt Überlappungen und trennt bis zu acht Stimmen
- Echtzeit- und Offline-Einsatz, Modellgewichte offen
- Top-Wert bei VoiceArena (DER 14,72 %)
Nvidia hat ein neues, öffentliches Sprechererkennungsmodell vorgestellt: Nemotron 3 Diarization.
Das System bestimmt in Audiospuren, wer wann spricht — Fachbegriff: Diarization — und kann dabei bis zu acht unterschiedliche Stimmen unterscheiden, selbst wenn mehrere Personen gleichzeitig reden.
Was das Modell kann
- Überlappendes Sprechen: Nemotron 3 erkennt gleichzeitiges Reden und ordnet Sprecher auch in solchen Fällen zu.
- Live und aufgezeichnet: Es lässt sich sowohl auf aufgezeichneten Audios als auch in Echtzeit betreiben.
- Offen zugänglich: Die Modellgewichte sind frei verfügbar, du kannst das Modell also herunterladen, nutzen oder weiterentwickeln.
- Kombinierbar mit ASR: In Verbindung mit Spracherkennungssystemen wie Parakeet erzeugt es Transkripte mit Sprecherzuordnungen — diese erscheinen allerdings als anonyme Labels (z. B. „speaker_2“).
Technische Eckdaten
Nemotron 3 hat rund 100 Millionen Parameter — also vergleichsweise leichtgewichtig für moderne neuronale Modelle. Einstellbar ist außerdem der Audiopuffer: vier Stufen zwischen 30,4 und 0,32 Sekunden steuern, über welchen Zeitrahmen das Modell Kontext sammelt. Kürzere Puffer bringen geringere Latenz, meist zu Lasten der Genauigkeit.
Einschränkungen
Die Genauigkeit nimmt ab, wenn mehr Personen beteiligt sind oder starker Hintergrundlärm bzw. Hall vorhanden ist. Auch sehr kurze Puffer reduzieren die Zuverlässigkeit bei der Sprecherzuordnung.
Benchmarkergebnisse
Im strengen Diarization-Benchmark von VoiceArena erreicht Nemotron 3 vorläufig Platz 1 mit einer Diarization Error Rate (DER) von 14,72 %. Das nächstbeste System lag bei 19,3 %. Der Benchmark wertet Überlappungen und selbst kleine Abweichungen bei Sprecherwechseln als Fehler, die Messung ist also anspruchsvoll. Verglichen mit dem Vorgänger Streaming Sortformer sinkt die Fehlerrate bei 1,04 Sekunden Puffer über acht Testszenarien im Schnitt um 41 %.
Quelle der Informationen
Quellen
- Quelle: Nvidia
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
