Visits: 123
– Pesquisadores da CMU desenvolvem sistema para identificar e traduzir memes
Courtesy Carnegie Mellon by Virginia Alvino Young: Pessoas com deficiência visual usam a mídia social como todos os outros, geralmente com a ajuda do software de leitura de tela. Mas essa tecnologia fica aquém quando encontra memes, que não incluem texto alternativo ou texto alternativo, para descrever o que é mostrado na imagem.
Para combater isso, os pesquisadores da Universidade Carnegie Mellon desenvolveram um método para identificar automaticamente memes e aplicar modelos pré-escritos para adicionar texto alternativo descritivo, tornando-os inteligíveis por meio das tecnologias assistivas existentes.
Memes são imagens copiadas e sobrepostas com pequenas variações de texto. Eles costumam ser engraçados e transmitem uma experiência compartilhada, mas “se você é cego, sente falta dessa parte da conversa”, disse Cole Gleason, Ph.D. aluno do Instituto de Interação Humano-Computador da CMU (HCII.)
“Os memes podem não parecer o problema mais importante, mas uma parte vital da acessibilidade não é escolher para as pessoas o que merece sua atenção”, disse Jeff Bigham, professor associado do HCII. “Muitas pessoas usam memes, e por isso devem ser acessíveis.”
Os memes vivem principalmente em plataformas de mídia social que têm barreiras para adicionar texto alternativo. O Twitter, por exemplo, permite que as pessoas adicionem texto alternativo às suas imagens, mas esse recurso nem sempre é fácil de encontrar. Dos 9 milhões de tweets examinados pelos pesquisadores da CMU, um milhão incluía imagens e, desses, apenas 0,1% incluía texto alternativo.
Gleason disse que as técnicas básicas de visão computacional permitem descrever as imagens subjacentes a cada meme, seja uma celebridade, um bebê chorando, um personagem de desenho animado ou uma cena como um ônibus virado para um buraco. Técnicas de reconhecimento óptico de caracteres são usadas para decifrar o texto sobreposto, que pode mudar a cada iteração do meme. Para cada tipo de meme, é necessário criar apenas um modelo que descreva a imagem, e o texto sobreposto pode ser adicionado para cada iteração desse meme.
Mas escrever o que o meme pretende transmitir mostrou-se difícil.
“Dependia do meme se o humor fosse traduzido. Alguns dos visuais são mais sutis”, disse Gleason. “E às vezes é explícito e você pode apenas descrevê-lo.” Por exemplo, o texto alternativo completo para o chamado meme “garoto de sucesso” afirma “Punho cerrado da criança na frente do rosto presunçoso. Texto sobreposto no topo: era um menino mau o ano todo. Texto sobreposto no fundo: ainda recebia presentes incríveis de Papai Noel “.
A equipe também criou uma plataforma para traduzir memes em som, e não em texto. Os usuários pesquisam em uma biblioteca de sons e arrastam e soltam elementos em um modelo. Este sistema foi criado para traduzir os memes existentes e transmitir o sentimento através da música e efeitos sonoros.
“Um dos motivos pelos quais experimentamos os memes em áudio foi porque pensamos que o texto alternativo mataria a piada, mas as pessoas ainda preferiam o texto porque estavam acostumadas”, disse Gleason.
A implantação da tecnologia será um desafio. Mesmo que fosse integrado a um site gerador de memes, esse texto alternativo não seria copiado automaticamente quando a imagem fosse compartilhada nas mídias sociais.
“Teríamos que convencer o Twitter a adicionar um novo recurso”, afirmou Gleason. Pode ser algo adicionado a um smartphone pessoal, mas ele observou que isso sobrecarregaria o usuário. Os pesquisadores da CMU estão atualmente trabalhando em projetos relacionados, incluindo uma extensão de navegador para o Twitter que tenta adicionar texto alternativo para cada imagem e pode incluir um sistema de memes. Outro projeto procura integrar o texto alternativo nos metadados das imagens que permaneceriam com a imagem onde quer que fosse postada.
Este trabalho foi apresentado no início deste ano na conferência ACCESS em Pittsburgh. Outros pesquisadores envolvidos no projeto incluem Amy Pavel, pós-doutorado no HCII, Xingyu Liu, graduação da CMU, Patrick Carrington, professor assistente do HCII e Lydia Chilton, da Columbia University.
Para maiores informações: Byron Spice | 412-268-9068 bspice@cs.cmu.edu Virginia Alvino Young | 412-268-8356 vay@cmu.edu
Fuentes: Carnegei Mellon Instituto de Interação Humano-Computador
Artigo relacionado: Medicina para o amanhã