YouTube

rollt eine neue KI‑basierte Synchronisationsfunktion aus, die mehr Sprachen, hörbare Emotionen und erstmals optionales Lip‑Sync für automatisch übersetzte Videos bietet.

KI-Synchronisation mit „Expressive Speech“

• Die Auto‑Dubbing‑Funktion steht jetzt für alle Creator zur Verfügung und kann Videos automatisch in bis zu 27 Sprachen übersetzen und neu vertonen.
• Das Feature „Expressive Speech“ versucht Intonation, Betonung und Emotionen der Originalstimme nachzubilden, damit die KI‑Stimme weniger monoton wirkt.
• Aktuell ist Expressive Speech zunächst für eine begrenzte Sprachauswahl verfügbar (u.a. Deutsch, Englisch, Französisch, Spanisch), soll aber schrittweise breiter ausgerollt werden.

Lip-Sync in der Testphase

• In einem Pilotprojekt testet YouTube eine Funktion namens „Lip Sync“, die Lippenbewegungen im Video subtil an die übersetzte Tonspur anpasst.
• Die Technik verändert einzelne Pixel im Gesichtsbereich, damit Mundbewegungen und fremdsprachige KI‑Sprachspur visuell besser zusammenpassen und der typische Dubbing‑Bruch reduziert wird.
• Das Feature ist zunächst nur für ausgewählte Creator verfügbar und soll später – ähnlich wie das Auto‑Dubbing – auf mehr Sprachen und Kanäle ausgeweitet werden.

Steuerung für Nutzer und Creator

• Zuschauer können in den Wiedergabe‑Einstellungen bevorzugte Sprachen festlegen und zwischen Originalton und KI‑Synchronisation wählen.
• „Smart Filtering“ erkennt Inhalte ohne Sprachfokus (z.B. Musikvideos, stille Vlogs) und schließt sie automatisch vom Dubbing aus, um den Charakter des Videos nicht zu zerstören.
• Creator behalten die Kontrolle: Sie können KI‑Synchronisation kanal‑ oder videoweise aktivieren, deaktivieren oder künftig auch Lip‑Sync nur für bestimmte Inhalte zulassen.

Hier findest du weiterführende Informationen: WinFuture