Netflix stellt VOID vor: Open‑Source‑KI, die Objekte aus Videos entfernt und physikalische Folgen wie Kollisionen automatisch anpasst.
In Kürze
- VOID entfernt gezielt Objekte aus Videomaterial
- Pipeline nutzt CogVideoX, Gemini 3 Pro, SAM2 und optischen Fluss
- Code, Paper und Demo sind unter Apache‑2.0 auf GitHub, arXiv und Hugging Face
Netflix hat ein Open‑Source‑KI‑System namens VOID (Video Object and Interaction Deletion) veröffentlicht, das gezielt Objekte aus Videos entfernen kann — und dabei gleichzeitig die physikalischen Folgen wie Kollisionen im verbliebenen Bildmaterial anpasst.
So läuft VOID technisch ab:
Als Grundlage dient das Video‑Diffusionsmodell CogVideoX, ein KI‑System, das Videos erzeugen und verändern kann. Trainiert wurde VOID mit künstlichen, simulierten Szenen aus Googles Kubric und Adobes HUMOTO, um Interaktionen zwischen Objekten zu erkennen und korrekt zu handhaben.
- Im Arbeitsablauf analysiert Googles Gemini 3 Pro die Szene und identifiziert Bereiche, die von der Entfernung betroffen sind.
- Metas SAM2 übernimmt die präzise Segmentierung der Objekte, die entfernt werden sollen.
- Nach der Entfernung sorgt bei Bedarf ein zweiter Durchlauf mit „optischem Fluss“ dafür, Bewegungen zwischen Einzelbildern zu verfolgen und dadurch entstandene Formverzerrungen zu korrigieren.
Entwicklung und Verfügbarkeit
Entwickelt wurde das Projekt gemeinsam von Forschern bei Netflix und der Universität INSAIT Sofia. Code, Paper und eine Demo wurden öffentlich zugänglich gemacht — zu finden auf GitHub, arXiv und Hugging Face.
Wenn du den Code oder die Demo ausprobieren möchtest: Die Links zu GitHub, dem arXiv‑Paper und der Hugging‑Face‑Seite sind öffentlich verfügbar und enthalten weitere technische Details und Beispiele.
Lizenz
VOID steht unter der Apache‑2.0‑Lizenz. Das bedeutet, der Quellcode kann auch kommerziell genutzt, verändert und weiterverteilt werden, solange die Lizenzbedingungen eingehalten werden.
Quellen
Quellen
- Quelle: Netflix
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
