Camilaplejia
Asistente de voz para que personas con tetraplejia usen el computador, presentado al Instituto Teletón Arica.
PROBLEMA
Una persona con tetraplejia no puede usar un computador con teclado y mouse.
SOLUCIÓN
Un motor en Python que carga plugins desde una carpeta, como los mods de un juego. La voz es un plugin más, y cada plugin aporta comandos según el contexto en que estás.
RESULTADO
Primer prototipo presentado al Instituto Teletón Arica en noviembre de 2023, que felicitó al equipo. También funcionó en una Raspberry Pi 4 con Ubuntu.
Cómo funciona
El plugin de voz escucha el micrófono en un hilo, todo el tiempo. Al oír «Camila» empieza a grabar, y una red neuronal reconoce en tiempo real si alguien sigue hablando: tras 1 a 3 segundos de silencio corta la grabación. El audio pasa a texto con Google Speech-to-Text y el motor busca si existe ese comando.
Los comandos dependen del contexto, que se toma de la URL. Así, dos plugins pueden usar la misma frase sin pisarse. Por ejemplo, con el plugin de YouTube:
- «Abrir YouTube» abre el navegador en YouTube. Es un comando global, como «abrir noticias» o «abrir correo».
- «Buscar Soda Stereo» escribe la búsqueda en YouTube.
- «Selecciona 2» abre el segundo video. Dentro del video cambia el contexto y quedan disponibles solo los comandos del reproductor.
Para sumar una función basta con dejar un plugin nuevo en la carpeta. El motor lo carga con su código y sus bibliotecas, y desde ahí el plugin puede consultar y ejecutar comandos de los demás.
En una Raspberry Pi 4
El prototipo se probó también en una Raspberry Pi 4 con Ubuntu, con unos 0,1 a 0,2 segundos más de latencia. Hubo que adaptar el control del navegador de Chrome a Chromium y cambiar una o dos bibliotecas por tratarse de un procesador ARM.
Presentación en Teletón
El 24 de noviembre de 2023 presentamos el primer prototipo al Instituto Teletón Arica, como parte de la asignatura Proyecto IV de Ingeniería Civil en Computación e Informática de la Universidad de Tarapacá. El equipo de Teletón felicitó a los estudiantes y los animó a concretar sus proyectos. Nota del Departamento de Ingeniería en Computación e Informática, de donde es la foto.