KODA Vision

Llegamos a la Gemini Hackathon de Google como Koda, un equipo de cinco. La pregunta que nos pusimos fue concreta: ¿qué necesita saber una persona ciega cuando camina por un campus que no conoce? Dónde hay escaleras, qué dice el letrero de la puerta, si viene un carro.

De ahí salió KODA Vision: una cámara montada en unas gafas que describe el entorno en voz alta, lee el texto que encuentra y responde preguntas como "¿qué hay frente a mí?" cuando el usuario mantiene presionado un botón.

Una narración cada segundo cansa rápido. Por eso el sistema compara cada cuadro con el anterior y solo vuelve a describir cuando la escena cambió de verdad.

Los avisos tienen jerarquía. Un letrero de PARE o PELIGRO leído por OCR, o un vehículo cerca, interrumpe lo que se esté diciendo. Los obstáculos van después, y la descripción general de la escena queda de última.

YOLOv8 Nano y Tesseract corren en el equipo, así que las alertas de peligro no dependen de la red. Gemini 2.5 Flash recibe el cuadro junto con el texto que ya extrajo el OCR y devuelve una o dos oraciones. Google Cloud TTS las convierte en voz en español y el audio sale por conducción ósea, para que el usuario siga oyendo la calle.

El sistema también acepta un video grabado en lugar de la cámara. Eso nos salvó para probar y depurar sin tener que salir a caminar cada vez.

El 29 de abril de 2026 presentamos el prototipo en vivo en el campus de la Universidad de La Sabana, en Chía: un portátil, una webcam y los auriculares de conducción ósea. El sistema describió el entorno, leyó los letreros del camino y respondió preguntas por voz.