Visitas: 164
– Investigadores de CMU desarrollan un sistema para identificar y traducir memes
Courtesy Carnegie Mellon by Virginia Alvino Young: Las personas con discapacidad visual usan las redes sociales como todos los demás, a menudo con la ayuda del software lector de pantalla. Pero esa tecnología se queda corta cuando encuentra memes, que no incluyen texto alternativo, o texto alternativo, para describir lo que se representa en la imagen.
Para contrarrestar esto, los investigadores de la Universidad Carnegie Mellon han desarrollado un método para identificar automáticamente los memes y aplicar plantillas preescritas para agregar texto alternativo descriptivo, haciéndolos inteligibles a través de las tecnologías de asistencia existentes.
Los memes son imágenes que se copian y luego se superponen con pequeñas variaciones de texto. A menudo son humorísticos y transmiten una experiencia compartida, pero “si eres ciego, te pierdes esa parte de la conversación”, dijo Cole Gleason, Ph.D. estudiante en el Instituto de Interacción Humano-Computadora de CMU (HCII)
“Los memes pueden no parecer el problema más importante, pero una parte vital de la accesibilidad no es elegir para las personas lo que merece su atención”, dijo Jeff Bigham, profesor asociado en el HCII. “Muchas personas usan memes, por lo que deberían ser accesibles”.
Los memes viven en gran medida dentro de las plataformas de redes sociales que tienen barreras para agregar texto alternativo. Twitter, por ejemplo, permite a las personas agregar texto alternativo a sus imágenes, pero esa característica no siempre es fácil de encontrar. De los 9 millones de tweets que los investigadores de CMU examinaron, un millón incluía imágenes y, de ellas, solo el 0.1 por ciento incluía texto alternativo.
Gleason dijo que las técnicas básicas de visión por computadora permiten describir las imágenes subyacentes a cada meme, ya sea una celebridad, un bebé que llora, un personaje de dibujos animados o una escena como un autobús volcado en un sumidero. Las técnicas de reconocimiento óptico de caracteres se utilizan para descifrar el texto superpuesto, que puede cambiar con cada iteración del meme. Para cada tipo de meme, solo es necesario hacer una plantilla que describa la imagen, y el texto superpuesto se puede agregar para cada iteración de ese meme.
Pero escribir lo que el meme pretende transmitir resultó difícil.
“Depende del meme si el humor se traducía. Algunas de las imágenes son más matizadas”, dijo Gleason. “Y a veces es explícito y puedes describirlo”. Por ejemplo, el texto alternativo completo para el llamado meme “éxito del niño” dice “Niño apretando el puño frente a la cara engreída. Texto superpuesto en la parte superior: era un chico malo todo el año. Texto superpuesto en la parte inferior: Todavía recibí regalos increíbles de Santa “.
El equipo también creó una plataforma para traducir memes en sonido en lugar de texto. Los usuarios buscan en una biblioteca de sonidos y arrastran y sueltan elementos en una plantilla. Este sistema fue hecho para traducir memes existentes y transmitir el sentimiento a través de la música y los efectos de sonido.
“Una de las razones por las que probamos los memes de audio fue porque pensamos que el texto alternativo mataría la broma, pero la gente todavía prefería el texto porque están tan acostumbrados”, dijo Gleason.
Implementar la tecnología será un desafío. Incluso si se integrara en un sitio web generador de memes, ese texto alternativo no se copiaría automáticamente cuando la imagen se compartiera en las redes sociales.
“Tendríamos que convencer a Twitter para agregar una nueva función”, dijo Gleason. Podría ser algo agregado a un teléfono inteligente personal, pero señaló que eso supondría una carga para el usuario. Los investigadores de CMU están trabajando actualmente en proyectos relacionados, incluida una extensión de navegador para Twitter que intenta agregar texto alternativo para cada imagen y podría incluir un sistema de memes. Otro proyecto busca integrar texto alternativo en los metadatos de las imágenes que permanecerían con la imagen donde sea que se publique.
Este trabajo fue presentado a principios de este año en la conferencia ACCESS en Pittsburgh. Otros investigadores involucrados en el proyecto incluyen a la becaria posdoctoral HCII Amy Pavel, a la estudiante de pregrado de CMU Xingyu Liu, al profesor asistente HCII Patrick Carrington y a Lydia Chilton de la Universidad de Columbia.
Para más información: Byron Spice | 412-268-9068 | bspice@cs.cmu.edu Virginia Alvino Young | 412-268-8356 | vay@cmu.edu
Fontes: Carnegie Mellon Instituto de Interacción Humano-Computadora de CMU
Artigo relacionado: Medicina del mañana