Captions, la startup de montage vidéo, révolutionne le doublage avec Lipdub, une incroyable application qui prend en charge 28 langues !

Captions lance une nouvelle application de traduction de vidéos

Captions, une startup d’édition vidéo alimentée par l’IA, a lancé une nouvelle application appelée Lipdub pour traduire des clips dans 28 langues.

Lipdub est disponible gratuitement sur l’App Store et prend en charge plusieurs langues, dont le français, l’hindi, l’espagnol, l’italien, le portugais, le japonais et bien d’autres. L’application permet même aux utilisateurs de traduire des vidéos en argot texan, en langage de la génération Z, en langage pirate et en langage bébé. La vidéo de démonstration montre que l’application peut également modifier les mouvements des lèvres en fonction de la langue cible sélectionnée. Cependant, il arrive parfois qu’il y ait un certain décalage entre l’audio et les mouvements des lèvres.

Une traduction facile et rapide

Les utilisateurs peuvent traduire une vidéo d’une personne parlant pendant jusqu’à une minute, puis la partager sur d’autres plateformes de médias sociaux.

Sur son site web, Captions affirme que plus de 3 millions de créateurs ont utilisé son application d’édition vidéo éponyme. La startup prétend avoir plus de 100 000 utilisateurs quotidiens. L’application Captions offre plusieurs fonctionnalités alimentées par l’IA autour de l’édition vidéo, telles que la suppression des « ums » et des « ahs », la réduction du bruit de fond et l’amélioration de la parole. L’application dispose également d’une fonctionnalité « AI Lipdub » qui peut modifier les mouvements des lèvres lors de l’édition en post-production si vous modifiez la transcription.

Une startup en plein essor

Captions a été fondée en 2021 par Gaurav Misra, qui était responsable de l’ingénierie du design chez Snap. En juin, l’entreprise a levé 25 millions de dollars lors d’un tour de financement de série B dirigé par Kleiner Perkins, avec la participation de Sequoia Capital, Andreessen Horowitz (a16z) et SV Angel. À ce jour, Captions a levé 40 millions de dollars de financement.

La tendance croissante de la traduction et du doublage alimentés par l’IA

L’utilisation de la traduction et du doublage alimentés par l’IA pour toucher un public plus large est une tendance croissante. En juin, YouTube a annoncé qu’il testait un outil alimenté par l’IA permettant aux utilisateurs de doubler automatiquement leurs vidéos dans d’autres langues. La société a déclaré travailler même sur une meilleure synchronisation labiale. Le mois dernier, elle a annoncé intégrer le doublage alimenté par l’IA directement dans YouTube Studio pour faciliter l’accès aux personnes souhaitant convertir des vidéos dans d’autres langues.

Plus tôt ce mois-ci, la plateforme de génération de voix alimentée par l’IA, ElevenLabs, a lancé son outil de doublage avec le support de 29 langues. Rest of World a précédemment rapporté que des sociétés de services de doublage génèrent des millions de dollars en traduisant du contenu pour des YouTubers populaires comme MrBeast.

Les startups de doublage alimentées par l’IA suscitent beaucoup d’intérêt de la part des investisseurs, avec des startups comme Papercup basée au Royaume-Uni et Deepdub basée en Israël qui ont levé des millions de dollars.