Idea de proyecto | Traductor de lenguaje de señas para personas con discapacidad del habla

Título del proyecto: Traductor de lenguaje de señas para personas con discapacidad del habla

Introducción: El objetivo principal es traducir el lenguaje de señas a texto/habla. El marco proporciona una mano amiga para personas con problemas del habla para comunicarse con el resto del mundo utilizando el lenguaje de señas. Esto conduce a la eliminación de la persona intermedia que generalmente actúa como medio de traducción. Esto contendría un entorno fácil de usar para el usuario al proporcionar salida de voz/texto para una entrada de gestos de signos.

Marco conceptual:
INTERFAZ DE USUARIO:
1. El usuario utiliza varios botones de la aplicación en el sistema para operarla.
una. BOTÓN DE INICIO: – Esto iniciaría la aplicación y, por lo tanto, el usuario (persona con discapacidad del habla) daría entrada a la aplicación a través de gestos.
b. BOTÓN DE PAUSA: Esto haría que la aplicación se detuviera y dejara de aceptar entradas brevemente.
C. BOTÓN REANUDAR: Esto haría que la aplicación continuara aceptando entradas después de una breve pausa.
d. BOTÓN DETENER: Esto haría que la aplicación se detuviera y, por lo tanto, el usuario puede cerrar la aplicación.
2. La entrada para la aplicación la proporcionaría cualquier cámara conectada al sistema para reconocer gestos.

SALIDA:
1. La salida se proporcionaría para varios gestos en una ventana separada en forma de texto.
2. La salida de texto se puede convertir aún más en voz usando un convertidor de texto a voz para
una comunicación más fluida.

Estructuras de datos y Algoritmos:
ALGORITMOS UTILIZADOS:

1. Clasificador basado en reglas

2. Método de sustracción de fondo mediante la detección del color de la piel utilizando el
modelo HSV (Valor de saturación de matiz).

IMPLEMENTACIÓN:
La detección de dedos y palma se basa en el método descrito en la revista The Scientific World Journal Volume 2014 (2014), artículo ID 267872 (http://dx.doi.org/10.1155/2014/267872). Después de la detección de los dedos y la palma, los signos de las manos se pueden reconocer utilizando un clasificador de reglas simple, es decir, mapearemos todos los signos de las manos posibles con una etiqueta adecuada y luego capturaremos imágenes y las uniremos con las etiquetas. La secuencia de etiquetas se almacenará en nuestra base de datos, que se basará en el lenguaje de señas estadounidense. Luego, al hacer coincidir la secuencia de etiquetas con nuestra base de datos, predeciremos lo que la persona está tratando de transmitir y convertiremos adecuadamente el lenguaje de señas en texto que, en pasos posteriores, se puede convertir en voz utilizando la API de texto a voz de Google.

Herramientas utilizadas: OpenCV, python3, matplotlib, mySQL, MATLAB.

Aplicación: La principal aplicación de este proyecto es proporcionar ayuda para que las personas con problemas del habla se comuniquen con
aquellos que no conocen el lenguaje de señas. Debido a la simplicidad del modelo, también se puede implementar en teléfonos inteligentes y se considera nuestro plan futuro para hacerlo.

REFERENCIA: Scientific World Journal Volume 2014 (2014), artículo ID 267872
http://dx.doi.org/10.1155/2014/267872.

Facultad: Instituto Nacional de Tecnología, Agartala

Asesor de la Facultad:
Sr. Parthasarathi De, Profesor Asistente NIT –Agartala
Correo electrónico: parthasarathide76@gmail.com / Contacto: 08731812590

MIEMBROS DEL EQUIPO:
1. SATYA PRAKASH 2. KAPIL KUMAR AHUJA
3. RAHUL THAKUR 4. VAMSI KRISHNA PENDYALA

Si le gusta GeeksforGeeks y le gustaría contribuir, también puede escribir un artículo usando contribuya.geeksforgeeks.org o envíe su artículo por correo a contribuya@geeksforgeeks.org. Vea su artículo que aparece en la página principal de GeeksforGeeks y ayude a otros Geeks.

Escriba comentarios si encuentra algo incorrecto o si desea compartir más información sobre el tema tratado anteriormente.