Saltar al contenido
← Proyectos

Camilaplejia

Asistente de voz para que personas con tetraplejia usen el computador, presentado al Instituto Teletón Arica.

PROBLEMA

Una persona con tetraplejia no puede usar un computador con teclado y mouse.

SOLUCIÓN

Un motor en Python que carga plugins desde una carpeta, como los mods de un juego. La voz es un plugin más, y cada plugin aporta comandos según el contexto en que estás.

RESULTADO

Primer prototipo presentado al Instituto Teletón Arica en noviembre de 2023, que felicitó al equipo. También funcionó en una Raspberry Pi 4 con Ubuntu.

Cómo funciona

Arquitectura de CamilaplejiaEl plugin de voz escucha el micrófono, se activa con la palabra Camila, detecta con una red neuronal cuándo dejas de hablar y pasa el audio a texto con Google. El motor de plugins busca el comando en el contexto actual y lo ejecuta un plugin: comandos globales, el plugin de YouTube con un contexto para la búsqueda y otro para el video, o cualquier plugin nuevo dejado en la carpeta. Todo termina en el navegador.PLUGIN DE VOZMicrófonoescucha en un hilotodo el tiempoPalabra clave“Camila” activala grabaciónDetección de vozred neuronal: corta tras1 a 3 s de silencioSpeech-to-TextGoogle pasa el audioa texto“buscar Soda Stereo”Motor de pluginsCarga la carpeta plugins/ al iniciar, como los mods de un juegoBusca el comando entre los plugins del contexto actual (URL)Los plugins se registranen el motor y puedenconsultar y ejecutarcomandos de otros.Comandos globalesdisponibles en cualquier contexto“abrir YouTube”“abrir noticias”“abrir correo”Plugin YouTubeyoutube.com“buscar …”“selecciona 2”/watchsolo comandosdel videoPlugin nuevose deja en la carpeta plugins/y el motor lo carga con suscomandos y bibliotecasNavegador: Chrome en Windows, Chromium en la Raspberry Pi 4 con Ubuntu
Esquema de la arquitectura. Desliza para verlo completo en pantallas angostas.

El plugin de voz escucha el micrófono en un hilo, todo el tiempo. Al oír «Camila» empieza a grabar, y una red neuronal reconoce en tiempo real si alguien sigue hablando: tras 1 a 3 segundos de silencio corta la grabación. El audio pasa a texto con Google Speech-to-Text y el motor busca si existe ese comando.

Los comandos dependen del contexto, que se toma de la URL. Así, dos plugins pueden usar la misma frase sin pisarse. Por ejemplo, con el plugin de YouTube:

  1. «Abrir YouTube» abre el navegador en YouTube. Es un comando global, como «abrir noticias» o «abrir correo».
  2. «Buscar Soda Stereo» escribe la búsqueda en YouTube.
  3. «Selecciona 2» abre el segundo video. Dentro del video cambia el contexto y quedan disponibles solo los comandos del reproductor.

Para sumar una función basta con dejar un plugin nuevo en la carpeta. El motor lo carga con su código y sus bibliotecas, y desde ahí el plugin puede consultar y ejecutar comandos de los demás.

En una Raspberry Pi 4

El prototipo se probó también en una Raspberry Pi 4 con Ubuntu, con unos 0,1 a 0,2 segundos más de latencia. Hubo que adaptar el control del navegador de Chrome a Chromium y cambiar una o dos bibliotecas por tratarse de un procesador ARM.

Presentación en Teletón

El 24 de noviembre de 2023 presentamos el primer prototipo al Instituto Teletón Arica, como parte de la asignatura Proyecto IV de Ingeniería Civil en Computación e Informática de la Universidad de Tarapacá. El equipo de Teletón felicitó a los estudiantes y los animó a concretar sus proyectos. Nota del Departamento de Ingeniería en Computación e Informática, de donde es la foto.

¿Necesitas algo parecido?