Captions, la start-up de edición de vídeo, revoluciona el doblaje con Lipdub, ¡una increíble aplicación compatible con 28 idiomas!

Captions lanza una nueva aplicación de traducción de vídeos

Captions, una startup de edición de vídeo basada en inteligencia artificial, ha lanzado una nueva aplicación llamada Lipdub para traducir clips a 28 idiomas.

Lipdub está disponible gratuitamente en la App Store y admite varios idiomas, como francés, hindi, español, italiano, portugués, japonés y muchos más. La aplicación permite incluso traducir vídeos a la jerga tejana, el lenguaje de la Generación Z, el lenguaje pirata y el lenguaje para bebés. El vídeo de demostración muestra que la aplicación también puede modificar los movimientos de los labios según el idioma de destino seleccionado. A veces, sin embargo, hay discrepancias entre el audio y los movimientos de los labios.

Traducción rápida y sencilla

Los usuarios pueden traducir un vídeo de alguien hablando durante un minuto y luego compartirlo en otras redes sociales.

En su sitio web, Captions afirma que más de 3 millones de creadores han utilizado su aplicación homónima de edición de vídeo. La empresa afirma tener más de 100.000 usuarios diarios. La aplicación Captions ofrece varias funciones basadas en inteligencia artificial para la edición de vídeo, como la eliminación de "ums" y "ahs", la reducción del ruido de fondo y la mejora del habla. La aplicación también cuenta con una función AI Lipdub que puede modificar los movimientos de los labios durante la edición posterior a la producción si se cambia la transcripción.

Una start-up de rápido crecimiento

Captions fue fundada en 2021 por Gaurav Misra, que fue jefe de ingeniería de diseño en Snap. En junio, la empresa recaudó 25 millones de dólares en una ronda de financiación de serie B liderada por Kleiner Perkins, con participación de Sequoia Capital, Andreessen Horowitz (a16z) y SV Angel. Hasta la fecha, Captions ha recaudado 40 millones de dólares en financiación.

La creciente tendencia hacia la traducción y el doblaje asistidos por inteligencia artificial

El uso de la traducción y el doblaje asistidos por inteligencia artificial para llegar a un público más amplio es una tendencia en alza. En junio, YouTube anunció que estaba probando una herramienta de IA que permitiría a los usuarios doblar automáticamente sus vídeos a otros idiomas. La empresa dijo que incluso estaba trabajando en una mejor sincronización labial. El mes pasado, anunció que estaba integrando el doblaje con IA directamente en YouTube Studio para facilitar la conversión de vídeos a otros idiomas.

A principios de este mes, la plataforma de generación de voz basada en IA ElevenLabs lanzó su herramienta de doblaje compatible con 29 idiomas. Resto del Mundo ha informado anteriormente de que las empresas de servicios de doblaje están generando millones de dólares traduciendo contenidos para YouTubers populares como MrBeast.

Las startups de doblaje con inteligencia artificial están despertando un gran interés entre los inversores. Algunas como Papercup, con sede en el Reino Unido, y Deepdub, con sede en Israel, han recaudado millones de dólares.