Mis experiencias como persona ciega del uso de las gafas Meta para identificar objetos con el app de inteligencia artificial OOrion
A continuación, se presenta la transcripción de texto del episodio 229 de Tiflo Audio Podcast.
Comienzo del episodio
[Síntesis de voz]
Cargando el episodio 229.
[Sonido toques de bongó].
[Sonido multilínea Braille]]
[Síntesis de voz]
Tiflo Audio Podcast.
Introducción y bienvenida
[Vos de José Manolo Álvarez]
Saludos amigos y bienvenidos al episodio número 229 de Tiflo Audio, el podcast donde presentamos tecnologías accesibles para las personas ciegas en el idioma español.
Reciban nuevamente un tecnológico saludo de este su amigo José Manolo Álvarez grabando desde Puerto Rico.
Y el app que les estaré demostrando en el episodio de hoy se puede utilizar en las gafas meta, las gafas inteligentes, ya sean la RayBan o en las de Oakley, se llama OOrion, con doble O al principio, o sea, lo voy a deletrear, O mayúscula, O mayúscula, r, i, o, n, y yo lo voy a estar pronunciando así, aunque su pronunciación es muy distinta porque sus desarrolladores son de Francia, pero para entendernos, así yo lo llamaré con doble O mayúsculas al principio. Y es un app que integra inteligencia artificial para reconocer objetos.
La misma ya era un app disponible para el iPhone, muy buena, pero ahora se puede utilizar manos libres desde las gafas Meta.
Así que amigos espero que disfruten este episodio número 229 de Tiflo Audio Podcast.
Configuración inicial del app OOrion con el iPhone y las gafas Meta
[Vos de José Manolo Álvarez]
Y de inmediato vamos a comenzar con el episodio de hoy, que está dedicado nuevamente a las gafas inteligentes Meta. Y les voy a estar haciendo una demostración de un app que aunque no es nueva, porque ya desde hace un tiempo la utilizo en el iPhone, Orion, como les comenté en la introducción, pero lo que si es nuevo es que ahora sí la podemos utilizar con las gafas Meta. Gracias a que en el pasado año Meta lo había anunciado, que ya había liberado el SDK kit, o sea, una herramienta para que desarrolladores puedan programar y hacer que sus apps se puedan utilizar con las gafas Meta.
Así que lo primero que les recomiendo es que ustedes que tengan un iPhone, descarguen el app OOion, con doble O mayúscula al principio, y la utilicen, es muy buena este tipo de app que es muy útil porque nos permite reconocer objetos. El app tiene varios modos, puedes mover la cámara y te podría decir los objetos que va viendo al frente o le puedes decir que reconozca un objeto en particular y también el app entonces buscaría y solamente te daría información de ese objeto que le has dicho que te reconozca, Pero con las gafas tenemos la oportunidad de utilizarlo manos libres. Y les voy a hacer varias demostraciones de varios usos que me interesa que ustedes escuchen y conozcan el potencial de las gafas Meta donde cada día más apps estarán disponibles para usarse con la gafa, pero que son creadas por desarrolladores pensando en la asistencia tecnológica, pensando en el beneficio de las personas ciegas.
Como les comenté, todos los que tengan un iPhone pueden descargar de manera gratuita esta app y usarla con la cámara del iPhone. Ahora bien, los que tengan las gafas Meta, tienen que tener el app descargada y una vez ya tengan el app en el iphone entonces la deben ejecutar. Deben tener sus gafas puestas y encendidas, y ejecutar el app de OOrión en el iPhone y la primera vez el app va a identificar que tienes unas gafas inteligentes y ahí puedes darle los permisos para que se puedan interconectar, y esa es la mejor manera que usted tiene para conectar las gafas con el app OOrión. O sea, no es que usted tiene que ir al app de Meta AI, no usted ejecuta OOrión ya tiene las gafas puestas y entonces siga las instrucciones. Y eso lo hace una sola vez, una vez conectadas las gafas con OOrion, usted ejecuta orión en el iPhone con las gafas y tendría que decir OOrión y entonces darle los comandos para utilizarlas.
Demostración 1: Identificar el número de un salón específico
[Vos de José Manolo Álvarez]
Y la primera demostración que les voy a dar es utilizando OOrión con las gafas, en mi caso la Oakley Vanguard Meta, aunque van a funcionar también con las Ray_Ban Meta, con cualquiera de las gafas Meta disponible en el día de hoy en el mercado.
Y voy a utilizar una alternativa para identificar texto, pero fíjense lo práctico que resulta esta demostración que les voy a dar. Yo le voy a decir, en este caso estaba en un edificio donde iba a dar una charla y me dijeron que tenía que llegar hasta el salón 817. Yo puedo utilizar un app de reconocimiento de texto (OCR), y que me puedan ir leyendo los diferentes números donde voy caminando y voy pasando con las gafas. Inclusive, esto es algo que la inteligencia artificial de Meta nativamente lo puede hacer, pero con OOrión yo le puedo decir que me diga cuando llegue al salón 817. O sea, cuando pasa por los otros sitios me da instrucciones de que tengo que seguir moviendo la cabeza hacia la izquierda, a la derecha, hasta que llegue al 817.
Me encuentro ahora en un edificio que vengo a dar una conferencia y me dijeron que la misma va a ser en el salón 817. Lo que voy a hacer ahora es utilizar la inteligencia artificial con OOrión y las gafas Oakley Vanguard Meta. Deja poner aquí la grabadora para ponerla justo al ladito de la bocina de las gafas y ya tengo orión, la aplicación en el celular corriendo y ahora a las gafas le voy a decir: OOrión.
[Síntesis de voz app OOrion]
¿En que puedo ayudarte hoy?
[Voz Manolo]
Dime dónde está el salón 817.
[Síntesis de voz app OOrion]
No puedo ver el salón 817 desde tu posición actual, por favor avanza por el pasillo y gira la cámara para que pueda ver más puertas.
[Voz de Manolo]
Voy a empezar a moverme por el pasillo, aquí encontré una puerta vamos a ver si esta es el 817, la miro con las gafas.
[Síntesis de voz app OOrion]
El salón que tienes delante es el 816, no el 817. El salón 817 no está directamente delante de ti, por favor gira a la derecha o la izquierda para que pueda buscarlo.
[Voz de Manolo]
Y este es el salón 816, Así que esta puerta no es. Voy a seguir mi caminata por el pasillo.
[Síntesis de voz app OOrion]
Por favor avanza un poco por el pasillo, gira la cámara para que pueda ver más puertas. El salón 817 está directamente delante de ti, el número está en un cartel negro sobre la puerta.
[Voz de Manolo]
Y aquí llegué al salón 817.
Demostración 2: Localizar botella de agua
[Vos de José Manolo Álvarez]
La segunda demostración que les hago es identificando un objeto que yo previamente le digo, o sea no es que paso la cámara y me empieza a decir todos los objetos que tengo al frente, en este caso es una botella de agua.
Estaba frente a una máquina que había comprado la botella de agua y simulé que se me había caído, es algo que nos puede pasar a todos, y uno pues se tiene que bajar al piso, uno tiene que estar tocando y no tiene ni una idea, una botella de agua se cae y puede rodar para la izquierda, para la derecha, lejos, cerca, pero con OOrión yo le digo dime dónde está la botella de agua y comienzo a mirar y él me va dando las instrucciones, y cuando la identifica me va diciendo si me tengo que mover a la izquierda o a la derecha. Les repito, pueden tratar esto ustedes con el app en el iPhone usando la cámara del celular, yo la demostración lo hago para que ustedes conozcan cómo es que se hace con las gafas Meta. Y la diferencia es que cuando use el app en el iPhone, usted tiene que ir al menú y seleccionar con VoiceOver cuál es el objeto que interesa, mientras que con las gafas usted solo dice por reconocimiento de voz, usted le habla, le da el comando de voz, el prom.
Y yo les he dado este ejemplo, esta demostración con una botella de agua, pero yo lo he utilizado identificando llaves, o a veces hasta se me ha caído un airpod, o el estuche de los airpods, de los audífonos, hay una lista muy grande de objetos que él puede identificar, y también si no, usted lo puede entrenar de un objeto en particular para que lo reconozca.
Ahora me encuentro aquí justo frente a una máquina donde acabo de comprar una botella de agua. Lo que le quiero demostrar es el poder de la inteligencia artificial en las gafas inteligentes y en este caso el app de OOrion, que es la que le estoy demostrando, ese poder de las manos libres. La botella de agua yo la tengo aquí en mi mano y voy a simular el que se me cayó, que me ha pasado en ocasiones, se me ha caído la botella de agua ya sea caminando por un pasillo, ya sea en mi casa, entonces voy ahora a dejarla caer. Yo podría tratar de empezar a buscar pero para eso tengo la inteligencia artificial, para que me dé una idea de dónde debo moverme.
OOrion, me puedes decir ¿Dónde está la botella de agua?
[Síntesis de voz app OOrion]
No veo ninguna botella de agua en la imagen. No veo ninguna botella de agua en este momento, por favor mueve la cámara para que pueda ver un área diferente.
[Voz de Manolo]
Voy a poner el bastón en el piso a mi lado.
[Síntesis de voz app OOrion]
La botella de agua está en el suelo directamente delante de ti un poco a la derecha.
[Voz de Manolo]
Y ahí la identificó, y comienza a darme instrucciones.
[Síntesis de voz app OOrion]
Hay una botella de agua transparente con una etiqueta azul en el suelo ligeramente a tu izquierda aproximadamente un metro de distancia. Hay una botella de agua de plástico transparente tirada en el suelo directamente delante de ti a unos 2 metros de distancia está a unos 2 metros de distancia. Hay una botella de agua en el suelo a tu derecha, la botella de agua está en el suelo directamente delante de ti en la parte inferior derecha de tu campo de visión.
[Voz de Manolo]
Y aquí la encontré.
[Síntesis de voz app OOrion]
Tienes una botella de agua en tu mano derecha.
Demostración 3: Caminata con el bastón y manos libres para identificar posibles obstáculos
[Vos de José Manolo Álvarez]
Y ahora en la tercera demostración que les voy a presentar, voy a utilizar varios comandos en la misma.
Es una caminata que hice desde la Ffacultad de Educación, donde trabajo, una tarde noche que salí de un curso, iba caminando hacia el tren. Así que voy caminando por la ruta, la demostración la llevo hasta el museo que básicamente está justito al lado de la estación, y ustedes van a escuchar entonces los diferentes comandos que podemos utilizar. Primeramente le estoy dando un comando que es para que me vea que me diga todo lo que está viendo al frente, y él me va a dar mucha información. Pues en ocasiones a mí me gusta usar ese comando que yo voy simplemente caminando y que él me vaya diciendo todos los objetos que vaya identificando mientras voy caminando. Hay personas que no le gusta este modo porque da mucha información, pero a mí me gusta, en ocasiones ir caminando e ir disfrutando y conociendo las cosas que están pasando a mi alrededor. Ese es el primer comando de la demostración.
El segundo comando es que le digo que me identifique algo en particular, mientras voy en mi caminata en una calle que tengo que cruzar, entonces yo le digo dime cuando encuentres un paso de peatones, y ustedes entonces quiero que escuchen cómo él se comporta cuando llega el paso de peatones, y esta es una funcionalidad que me ha gustado mucho. Y luego le digo identifícame cuando veas un poste de la luz, porque estoy caminando por la acera y también me ayudó a identificarlo y para la orientación y movilidad es una gran ayuda. Finalmente el último comando que le doy es uno que me gusta mucho también, y es que me identifique obstáculos que tengo frente a mí. O sea, él solamente me va a decir los obstáculos que él entienda que yo debo tener cuidado, no me va a decir todo lo que ve, ni tampoco está buscando algo en específico como los primeros dos comandos. Y quiero que escuchen también mientras camino cómo es esa información que él me está presentando.
Una advertencia bien importante, es que esta app OOrion con las gafas Meta es un complemento a la hora que usted vaya a usar su bastón o su perro guía, lo digo constantemente, no lo reemplaza. No vaya a soltar el bastón, no tenga la expectativa que ahora puede caminar sin perro guía, sin el bastón, principalmente es un complemento, usted tiene que dominar las técnicas, ustedes lo van a escuchar en la demostración, el no me va diciendo por dónde yo tengo que ir, eso lo determino yo, y lo dicto yo con mis destrezas de orientación y movilidad y el bastón.
Me encuentro ahora saliendo de la facultad donde acabo de dar un curso. Son las 6 y 50 de la tarde, así que está bastante oscurito aquí ya en Puerto Rico y estoy justo en la calle frente a la salida de la facultad y voy a hacer la caminata hacia el tren. Escogí esta hora porque básicamente está bastante oscuro para ponerla a prueba la gafas Oakley Vanguard Meta con el app de OOrion. Ya tengo el app de orion activada en el iPhone y voy a poner la grabadora justo al ladito de la bocina de las gafas inteligentes y voy a comenzar mi caminata y ver entonces cómo me va y le voy a decir OOrion dime lo que tengo al frente.
[Síntesis de voz app OOrion]
Bordillo de hormigón agrietado.
El borde de la carretera.
Bastón blanco en el suelo.
[Voz de Manolo]
A la derecha tengo una estructura, al otro lado está la parte detrás del teatro.
[Síntesis de voz app OOrion]
Edificio de color gris a la derecha.
Ventanas rectangulares en el edificio.
Grietas en el pavimento de la acera.
[Voz de Manolo]
Y ahí estoy mirando de un lado hacia el otro.
[Síntesis de voz app OOrion]
Acera de hormigón.
Árboles verdes a la izquierda.
Línea pintada de amarillo en el bordillo.
Bordillo de hormigón.
Ventanas rectangulares en el edificio.
Rectas de metales en las ventanas.
Pequeño drenaje entre la carretera y la acera.
[Voz de Manolo]
Me dice que hay como un pequeño drenaje, o sea, que es como una alcantarilla que viene pronto. Fíjate lo que me dice, que estoy en una acera agrietada.
[Síntesis de voz app OOrion]
Un poste de luz a lo lejos.
Edificio de color gris a la derecha.
[Voz de Manolo]
OOrion, stop. Ahí lo detuve, y fíjate que en ese modo él me va diciendo las cosas que ve hacia un lado y al otro. Si tú quieres ir caminando y conociendo las cosas que te van quedando a un lado, que te van quedando al otro, todo depende para que tú lo quieras.
Mira lo que voy a hacer ahora. Mi próximo punto de referencia es cruzar una calle y le voy a decir que me indique cuando él ve un paso de peatones y vamos a ver qué sucede. Fíjate que en un principio, lo que le dije es que me diga lo que estás viendo al frente, y me lo dice todo. Y ahora le digo dime cuando encuentres esto en particular. Así que vamos entonces a decirle: OOrion, dime cuando veas un paso de peatones.
[Síntesis de voz app OOrion]
Mueva lentamente la cabeza de un lado a otro para escanear el área. Advertencia, la IA puede cometer errores, por su seguridad, no confíe únicamente en OOrion durante el uso de esta función. Sólo en el micrófono de tu iphone podrás usar tus comandos de voz.
Estás en una intersección, no veo un paso de peatones directamente delante, te sugiero escanear a tu izquierda o derecha.
[Voz de Manolo]
Estoy en la intersección, me muevo hacia al frente.
[Síntesis de voz app OOrion]
El paso de peatones está justo delante de ti un poco a la izquierda donde la acera se une con la calle.
[Voz de Manolo]
Ahí me lo detectó. Vamos a cruzar.
[Síntesis de voz app OOrion]
A 57.0 metros. Centra la cámara en el objeto, siguiendo señales de audio.
[Voz de Manolo]
Y estoy moviendo la cabeza, y ahí está por los dos oídos. Y ahí estoy caminando.
[Síntesis de voz app OOrion]
Paso de peatones justo al frente de ti. Un poco a la derecha hay un poste con una caja azul y roja a tu derecha.
[Voz de Manolo]
Lo que sucede aquí jóvenes, no es que me perdí, es que el paso de peatones se dividió en dos y ya llegué al otro lado de la acera. OOrion, detener.
Están escuchando paisajes sonoros de los pájaros. Y fíjate que él me dejó de dar claves más o menos a mitad del paso de peatones, entonces yo me fui moviendo hasta que pude virar un poquitito hacia la izquierda y caminar hacia el lado de la acera, como es la ruta que yo tomo, la conozco. Pero se lo quise mostrar para que escucharon cuando está en el paso de peatones él te va a empezar a tirar un sonido por una bocina y por la otra tú lo escuchas más fuerte, o menos fuerte y cuando estés exactamente en los dos lo va siguiendo. En este caso, el paso de peatones se divide, no está bien hecho, no está bien pintado, pero él me lo notificó, y yo también me pude mover.
Vamos entonces a pedirle un objeto en particular. OOrion, dime cuando veas un poste.
[Síntesis de voz app OOrion]
Hay un poste directamente delante de ti a la derecha de la acera.
[Voz de Manolo]
Y comienza a decirme que hay un poste que está delante de mi, el me lo va avisando.
[Síntesis de voz app OOrion]
Hay un poste de luz delante de ti a la derecha de la acera.
[Voz de Manolo]
Pero fíjate que no me lo avisa cuando estoy justo al frente, sino yo sigo caminando usando el bastón hasta que llegue, y cuando lo toque yo se los voy a notificar a ustedes.
[Síntesis de voz app OOrion]
Hay un poste de hormigón directamente a tu derecha.
Hay un poste grande de hormigón justo a la derecha de la acera.
[Voz de Manolo]
Lo voy a tocar para que ustedes lo puedan escuchar. Y ahí está el poste, y lo estoy tocando.
OOrion, detener.
Hasta el momento le he dicho dime todo lo que ves cuando salí de la facultad, luego le dije dime dónde está el paso de peatones, y luego donde está un poste. O sea, que yo pudiera preguntarle por cosas en particulares. Yo voy a continuar caminando y voy a cruzar entonces la calle para ir a la acera que está frente a la biblioteca Lázaro, que esa es la que yo tengo que tomar para caminar hasta el tren. Ahí pasé otro poste que toqué, porque tengo OOrion en modo de silencio. Ahora mismo voy a cruzar la calle, y estoy cruzando la calle para llegar a la otra acera. El uso de la inteligencia artificial se basa precisamente en utilizarla como complemento. Aquí estoy en la acera, vamos entonces a volver a preguntarle, OOrion, dime si ves obstáculos frente a mí.
[Síntesis de voz app OOrion]
Estoy analizando la imagen para detectar cualquier obstáculo en tu camino directo. Veo un poste de luz iluminado a tu derecha, pero está fuera de tu camino inmediato. También hay un bote de basura a la derecha, pero está en el césped i no en la acera. La acera parece despejada por ahora.
[Voz de Manolo]
Me dice la acera parece estar despejada. Sigo caminando porque en este modo solamente él me va a avisar cuando hay un obstáculo que esté frente a mí.
[Síntesis de voz app OOrion]
Hay un poste de luz directamente en tu camino. También hay grietas en la acera justo delante de ti.
[Voz de Manolo]
Me dice ahora que hay un poste frente a mi camino y unas grietas en la acera.
[Síntesis de voz app OOrion]
Hay un poste justo frente de ti.
[Voz de Manolo]
Y aquí está el poste, lo estoy tocando. Deja detenerme. Estamos escuchando el sonido de la torre de la universidad, que bono más bonito, aquí el paisaje sonoro de este Tiflo Audio.
Así que sigo caminando y no tengo ningún obstáculo porque aquí está la cera limpia y está en ese modo, si él identifica un obstáculo él me lo diría. Sigo caminando.
[Síntesis de voz app OOrion]
No hay obstáculos directamente en tu camino.
Hay dos personas caminando adelante, pero están lo suficientemente lejos para no ser un obstáculo inminente.
[Voz de Manolo]
Me dice que hay dos personas que venían caminando, estaban suficientemente lejos, entonces ahora ellos me pasaron por el otro lado, pero él me lo aviso de antemano. Vamos a seguir caminando por aquí a la derecha estamos pasando a la biblioteca, a la entrada de la biblioteca. Voy a seguir caminando para la estación del tren y vamos a ver si me dice otro obstáculo. Hasta el momento tengo el camino libre. Sigo caminando, el camino está despejado. Fíjate que sigo caminando con mis técnicas del bastón, esa es la clave.
[Síntesis de voz app OOrion]
Hay un poste de luz directamente adelante de ti, en el borde de la acera.
[Voz de Manolo]
Me dice que hay un poste de luz, y aquí está.
[Síntesis de voz app OOrion]
Hay una barrera blanca con una franja roja que está hacia tu izquierda, a la altura de la cintura.
[Voz de Manolo]
Ahí están los brazos mecánicos cerrados para entrar por esta calle.
[Síntesis de voz app OOrion]
Hay un cubo de basura grande en el lado izquierdo de tu camino.
[Voz de Manolo]
Sigo mi camino, ahí está ese cubo de basura que me dijo. Y aquí estoy para cruzar, me detengo porque escucho los carros y ahora sigo mi camino. Estoy cruzando la calle que es corta, y aquí estoy tocando un farolito de luz que está en el piso, es bien pequeñito y yo lo uso de referencia porque estoy en la acera. Sigo caminando y cruzé otra pequeña callecita para llegar al área del museo.
OOrion, detener.
Información de contacto
[Sonido de maquinilla Perkins escribiendo]
[Voz de José Manolo Álvarez].
Les recuerdo que la mejor manera para siempre estar al día con los episodios de Tiflo Audio, es visitar nuestra página web www.tifloaudio.com.
Desde ahí podrás escuchar nuestros episodios en un reproductor accesible que integra capítulos, podrás leer las transcripciones de textos de nuestros episodios o podrás buscar el tema que te interesa para de inmediato reproducirlo.
También les invito a que visiten la página de la comunidad www.manolo.net.
Me pueden enviar un correo electrónico a mi dirección: manolo@manolo.net.
Y me pueden seguir por las redes sociales, en X como tiflomanolo o en Mastodon como tifloaudio@mastodon punto social.
Despedida
[Vos de José Manolo Alvarez]
Amigos será entonces hasta una próxima ocasión.
[Sonido de un coquí cantando]