Sign-to-Text utiliza inteligencia artificial desarrollada por Google DeepMind para interpretar American Sign Language (ASL) a través de la cámara frontal y generar texto en inglés prácticamente en tiempo real.
Google está llevando la inteligencia artificial a una nueva forma de interacción. Con el Pixel 11, la compañía presentó Sign-to-Text, una función capaz de interpretar American Sign Language (ASL) a través de la cámara frontal del smartphone y convertir el mensaje en texto en inglés prácticamente en tiempo real.
La propuesta busca facilitar la comunicación entre personas que utilizan ASL y aquellas que no conocen esta lengua, utilizando el teléfono como intermediario.
Detrás de la función se encuentra Google DeepMind, que desarrolló un modelo denominado SL2T (Sign Language-to-Text) específicamente para interpretar lenguas de señas y generar lenguaje escrito.
Una IA que no solo observa las manos
Uno de los principales desafíos está en que una lengua de señas no puede comprenderse simplemente identificando determinados movimientos de las manos.
Las lenguas de señas son idiomas con estructuras y gramáticas propias, y parte de su significado también depende de elementos como las expresiones faciales, la posición del cuerpo y el movimiento. Por eso, SL2T analiza distintas señales visuales para interpretar el mensaje de manera más completa.
Esta diferencia es fundamental: el objetivo no es asociar cada gesto con una palabra en inglés, sino desarrollar modelos capaces de comprender una lengua visual y transformarla en texto.
¿Cómo funciona Sign-to-Text en el Pixel 11?
Otro de los aspectos relevantes de la tecnología está en cómo procesa la información capturada por la cámara.
Google utiliza MediaPipe Holistic para analizar el video directamente en el dispositivo e identificar referencias relacionadas con las manos, el rostro y el cuerpo. Estas se transforman en información geométrica que posteriormente puede ser procesada por el modelo.
De esta manera, el sistema no necesita depender del video completo durante todo el proceso. Según Google DeepMind, el video original es descartado inmediatamente después de extraer la información necesaria.
El enfoque busca reducir la cantidad de información visual que debe procesarse y, al mismo tiempo, responder a uno de los temas más sensibles cuando una cámara participa constantemente en una interacción: la privacidad.
Más de 100.000 horas de lenguas de señas para entrenar la IA
Para desarrollar SL2T, Google DeepMind utilizó más de 100.000 horas de datos correspondientes a más de 50 lenguas de señas, una escala que permitió trabajar en la capacidad del modelo para comprender patrones de comunicación visual.
Esto, sin embargo, no significa que el Pixel 11 pueda traducir actualmente más de 50 lenguas de señas.
El lanzamiento inicial de Sign-to-Text está enfocado en American Sign Language (ASL) y la generación de texto en inglés, por lo que la disponibilidad de datos de otras lenguas durante el entrenamiento no debe confundirse con los idiomas compatibles actualmente con la función.
Inteligencia artificial y accesibilidad
Sign-to-Text muestra otro posible camino para la inteligencia artificial aplicada a dispositivos personales: utilizar modelos multimodales no solo para reconocer objetos, imágenes o voces, sino también para interpretar formas de comunicación que dependen del movimiento y la expresión corporal.
También plantea un desafío considerable. Las lenguas de señas son sistemas lingüísticos complejos y diferentes entre países y comunidades, por lo que desarrollar una tecnología capaz de extenderse a otras lenguas requerirá mucho más que reconocer nuevos gestos.
Con Sign-to-Text, Google convierte la cámara frontal del smartphone en una interfaz de comunicación. Pero el avance más interesante está detrás de la función: entrenar a la inteligencia artificial para comprender formas de lenguaje que las interfaces digitales tradicionales históricamente no fueron diseñadas para interpretar.