Views: 72
Um sistema MIT / IBM pode ajudar artistas e designers a fazer ajustes rápidos em visuais, além de ajudar os pesquisadores a identificar imagens “falsas”.
Fonte MIT CSAIL por Adam Conner-Simons | Os smartphones de hoje costumam usar inteligência artificial (AI) para ajudar a tornar as fotos mais nítidas e claras. Mas e se essas ferramentas de inteligência artificial pudessem ser usadas para criar cenas inteiras a partir do zero? Uma equipe do MIT e da IBM fez exatamente isso com o “GANpaint Studio”, um sistema que pode gerar automaticamente imagens fotográficas realistas e editar objetos dentro delas. Além de ajudar artistas e designers a fazer ajustes rápidos no visual, os pesquisadores dizem que o trabalho pode ajudar os cientistas da computação a IA identificar imagens “falsas”.
David Bau, um estudante de PhD no Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL), descreve o projeto como uma das primeiras vezes que cientistas da computação conseguiram “pintar com os neurônios” de uma rede neural – especificamente, um tipo popular. de rede denominada rede geradora de adversários (GAN).
Disponível on-line como uma demonstração interativa, o GANpaint Studio permite que um usuário carregue uma imagem de sua escolha e modifique vários aspectos de sua aparência, desde alterar o tamanho dos objetos até adicionar itens completamente novos, como árvores e prédios.
Boon para designers
Encabeçado pelo professor Antonio Torralba, do MIT, como parte do Laboratório de Inteligência Artificial do MIT-IBM Watson, o projeto tem amplas aplicações potenciais. Designers e artistas poderiam usá-lo para fazer ajustes mais rápidos em seus visuais. Adaptar o sistema a clipes de vídeo permitiria aos editores de computação gráfica compor rapidamente arranjos específicos de objetos necessários para um determinado disparo. (Imagine, por exemplo, se um diretor filmou uma cena completa com atores, mas esqueceu de incluir um objeto no fundo que é importante para a trama.) IA identificar
O GANpaint Studio também pode ser usado para melhorar e depurar outras GANs que estão sendo desenvolvidas, analisando-as para unidades de “artefatos” que precisam ser removidas. Em um mundo onde ferramentas opacas de IA tornaram a manipulação de imagens mais fácil do que nunca, ela poderia ajudar os pesquisadores a entender melhor as redes neurais e suas estruturas subjacentes.
“Neste momento, os sistemas de aprendizado de máquina são essas caixas pretas que nem sempre sabemos como melhorar, como aqueles televisores antigos que você tem que consertar batendo de lado”, diz Bau, o principal autor de um artigo relacionado. papel sobre o sistema com uma equipe supervisionada por Torralba. “Esta pesquisa sugere que, embora possa ser assustador abrir a TV e dar uma olhada em todos os fios, haverá muitas informações significativas lá.”
Uma descoberta inesperada é que o sistema realmente parece ter aprendido algumas regras simples sobre os relacionamentos entre os objetos. De alguma forma, ele não sabe colocar algo em algum lugar que não pertence, como uma janela no céu, e também cria visuais diferentes em diferentes contextos. Por exemplo, se houver dois prédios diferentes em uma imagem e for solicitado que o sistema adicione portas a ambos, ela não adiciona simplesmente portas idênticas – eles podem, no final das contas, parecer bem diferentes um do outro.
“Todos os aplicativos de desenho seguirão as instruções do usuário, mas o nosso pode decidir não desenhar nada se o usuário mandar colocar um objeto em um local impossível”, diz Torralba. “É uma ferramenta de desenho com uma personalidade forte e abre uma janela que nos permite entender como as GANs aprendem a representar o mundo visual”.
GANs são conjuntos de redes neurais desenvolvidas para competir entre si. Neste caso, uma rede é um gerador focado na criação de imagens realistas, e a segunda é um discriminador cujo objetivo é não ser enganado pelo gerador. Toda vez que o discriminador “captura” o gerador, ele precisa expor o raciocínio interno para a decisão, o que permite que o gerador melhore continuamente.
“É realmente alucinante ver como esse trabalho nos permite ver diretamente que as GANs realmente aprendem algo que está começando a parecer um pouco com o senso comum”, diz Jaakko Lehtinen, professor associado da Universidade Aalto da Finlândia, que não esteve envolvido no projeto. . “Eu vejo essa capacidade como um passo crucial para ter sistemas autônomos que podem realmente funcionar no mundo humano, que é infinito, complexo e em constante mudança”. IA identificar
Estampando imagens falsas e indesejadas
O objetivo da equipe foi dar às pessoas mais controle sobre as redes GAN. Mas eles reconhecem que com o aumento do poder vem o potencial de abuso, como o uso de tais tecnologias para tirar fotos. O co-autor Jun-Yan Zhu diz que acredita que entender melhor as GANs – e os tipos de erros que elas cometem – ajudará os pesquisadores a eliminar melhor a falsidade.
“Você precisa conhecer seu oponente antes de se defender contra ele”, diz Zhu, um pós-doutorado da CSAIL. “Esse entendimento pode nos ajudar a detectar imagens falsas com mais facilidade.”
Para desenvolver o sistema, a equipe primeiro identificou unidades dentro do GAN que se correlacionam com tipos particulares de objetos, como árvores. Em seguida, testou essas unidades individualmente para ver se livrar-se delas faria com que certos objetos desaparecessem ou aparecessem. Importante, eles também identificaram as unidades que causam erros visuais (artefatos) e trabalharam para removê-los para aumentar a qualidade geral da imagem.
“Sempre que as GANs geram imagens terrivelmente irreais, a causa desses erros já foi um mistério”, diz o co-autor Hendrik Strobelt, pesquisador da IBM. “Descobrimos que esses erros são desencadeados por conjuntos específicos de neurônios que podemos silenciar para melhorar a qualidade da imagem”.
Bau, Strobelt, Torralba e Zhu co-escreveram o artigo com o ex-aluno de doutorado do CSAIL Bolei Zhou, o pós-doutorado Jonas Wulff e o estudante de graduação William Peebles. Eles vão apresentá-lo no próximo mês na conferência SIGGRAPH em Los Angeles. “Esse sistema abre uma porta para uma melhor compreensão dos modelos de GAN, e isso vai nos ajudar a fazer qualquer tipo de pesquisa que precisamos fazer com as GANs”, diz Lehtinen.
IA identificar
Artigo relacionado: IA Gen – Nova linguagem de programação vai além do aprendizado profundo
Faça um comentário