Modelos computacionales aplicados a la Lengua de Señas Mexicana

En México, alrededor de 2.4 millones de personas (1.9% de la población nacional) son sordas, y el apoyo de la Lengua de Señas Mexicana (LSM) es fundamental para las personas con discapacidades de comunicación. Se han desarrollado prototipos tecnológicos y de investigación de reconocimiento de lengua de señas para apoyar los sistemas de comunicación pública sin intérpretes humanos. Sin embargo, la mayoría de estos sistemas e investigaciones están estrechamente relacionados con la lengua de señas americana (LSA) u otras lenguas de señas de otros idiomas cuyo alcance ha tenido el más alto nivel de exactitud y reconocimiento de letras y palabras. El objetivo de la investigación actual es desarrollar y evaluar un sistema de reconocimiento de lengua de la dactilología y los primeros diez dígitos numéricos (1-10) de la LSM. Se creó una base de datos de lengua de signos y numeración de la LSM con los 29 caracteres diferentes de la dactilología de la LSM y los primeros diez dígitos con una cámara. Luego, MediaPipe se aplicó por primera vez para la extracción de funciones para ambas manos (21 puntos por mano). Una vez extraídas las características, se aplicaron técnicas de aprendizaje automático y aprendizaje profundo para reconocer las señales de LSM. Como resultado, el reconocimiento de patrones LSM en el contexto de señales estáticas (29 clases) y continuas (10 clases) arrojó una exactitud del 92 % con Support Vector Machine (SVM) y del 86 % con Gated Recurrent Unit (GRU). Los algoritmos entrenados se basan en escenarios completos con ambas manos; por lo tanto funcionarán bajo estas condiciones. Para mejorar la exactitud, se sugiere ampliar el número de muestras.