Sony Presenta un gran avance: traductor de idiomas con IA en el juego

Sony ha presentado una solicitud de patente para proporcionar mejores funciones de accesibilidad a los juegos para jugadores sordos y mudos. La patente muestra cómo traducir un lenguaje de señas a otro idioma del juego en tiempo real.

Patente de Sony: Desarrollo de un traductor de lengua de signos americana a lengua de signos japonesa para videojuegos

Está previsto utilizar equipos de realidad virtual y operar a través de juegos en la nube

Sony ha presentado una solicitud de patente para agregar traducción de lenguaje de señas en tiempo real a los videojuegos. La patente, titulada "Interpretación del lenguaje de señas en entornos virtuales", demuestra una tecnología que puede traducir el lenguaje de señas americano (ASL) al lenguaje de señas japonés (JSL) que los hablantes de japonés pueden entender.

Sony dice que su objetivo es crear un sistema que ayude a los jugadores sordos traduciendo el lenguaje de señas en tiempo real durante las conversaciones dentro del juego. La tecnología descrita en la patente permitiría que los indicadores virtuales o avatares mostrados en la pantalla se comunicaran en lengua de signos en tiempo real. El sistema primero traducirá los gestos en un idioma a texto, luego convertirá el texto a otro idioma específico y finalmente traducirá los datos recibidos a gestos en otro idioma.

"Las realizaciones de la presente divulgación se relacionan con métodos y sistemas para capturar el lenguaje de señas de un usuario (por ejemplo, una persona japonesa) y traducir el lenguaje de señas a otro usuario (por ejemplo, un hablante de inglés)", describe Sony en el patentar. "Debido a que las lenguas de señas varían según el origen regional, las lenguas de señas no son lenguas universales. Esto requiere capturar adecuadamente la lengua de señas de un usuario, comprender su lengua materna y generar una nueva lengua de señas para otro usuario como resultado en su lengua de señas nativa. ."

Sony ha explicado una posible implementación del sistema, es decir, con la ayuda de equipos VR o head-mounted displays (HMD). "En algunas realizaciones, el HMD se conecta a un dispositivo de usuario, como una computadora personal, una consola de juegos u otro dispositivo informático, a través de una conexión por cable o inalámbrica", detalla Sony. "En algunas realizaciones, el dispositivo del usuario genera gráficos mostrados a través del HMD, proporcionando al usuario una experiencia de visualización inmersiva del entorno virtual".

Sony propuso además que un dispositivo de usuario pueda comunicarse sin problemas con otro dispositivo de usuario en el servidor del juego a través de la red. "En algunas realizaciones, el servidor del juego realiza una sesión compartida del videojuego, mantiene el estado canónico del videojuego y su entorno virtual", dijo Sony, "y el dispositivo del usuario se sincroniza con el mismo con respecto al estado del entorno virtual". ."

Con esta configuración, los usuarios pueden compartir e interactuar en el mismo entorno virtual (es decir, juego) en una red o servidor compartido. Sony también agregó que en algunas implementaciones del sistema, el servidor de juegos podría ser parte de un sistema de juegos en la nube que "renderiza y transmite video" entre cada dispositivo de usuario.