Visitas: 140
Un sistema MIT / IBM podría ayudar a los artistas y diseñadores a realizar ajustes rápidos en las imágenes y, al mismo tiempo, ayudar a los investigadores a identificar imágenes «falsas».
Source MIT CSAIL por Adam Conner-Simons | Los teléfonos inteligentes actuales a menudo usan inteligencia artificial (IA) para ayudar a que las fotos que tomamos sean más nítidas y claras. Pero, ¿qué pasaría si estas herramientas de IA pudieran usarse para crear escenas enteras desde cero? Un equipo de MIT e IBM ha hecho exactamente eso con «GANpaint Studio», un sistema que puede generar automáticamente imágenes fotográficas realistas y editar objetos dentro de ellas. Además de ayudar a los artistas y diseñadores a hacer ajustes rápidos a las imágenes, los investigadores dicen que el trabajo puede ayudar a los científicos informáticos a identificar IA imágenes «falsas».
David Bau, un estudiante de doctorado en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT, describe el proyecto como una de las primeras veces que los informáticos han sido capaces de «pintar con las neuronas» de una red neuronal, específicamente, un tipo popular de red llamada red generativa de confrontación (GAN).
Disponible en línea como una demostración interactiva, GANpaint Studio permite al usuario cargar una imagen de su elección y modificar múltiples aspectos de su apariencia, desde cambiar el tamaño de los objetos hasta agregar elementos completamente nuevos como árboles y edificios. IA identificar.
Bendición para los diseñadores
Encabezado por el profesor del MIT Antonio Torralba como parte del laboratorio de inteligencia artificial MIT-IBM Watson que dirige, el proyecto tiene vastas aplicaciones potenciales. Los diseñadores y artistas podrían usarlo para hacer ajustes más rápidos a sus imágenes. La adaptación del sistema a videoclips permitiría a los editores de gráficos por computadora componer rápidamente arreglos específicos de objetos necesarios para una toma en particular. (Imagine, por ejemplo, si un director filmó una escena completa con actores pero olvidó incluir un objeto en el fondo que es importante para la trama).
GANpaint Studio también podría usarse para mejorar y depurar otras GAN que se están desarrollando, analizándolas en busca de unidades de «artefactos» que deben eliminarse. En un mundo donde las herramientas opacas de IA han hecho que la manipulación de imágenes sea más fácil que nunca, podría ayudar a los investigadores a comprender mejor las redes neuronales y sus estructuras subyacentes.
«En este momento, los sistemas de aprendizaje automático son estas cajas negras que no siempre sabemos cómo mejorar, algo así como esos viejos televisores que tienes que arreglar golpeándolos de lado», dice Bau, autor principal de un artículo relacionado. documento sobre el sistema con un equipo supervisado por Torralba. «Esta investigación sugiere que, si bien puede ser aterrador abrir el televisor y echar un vistazo a todos los cables, habrá mucha información significativa».
Un descubrimiento inesperado es que el sistema parece haber aprendido algunas reglas simples sobre las relaciones entre los objetos. De alguna manera sabe que no debe colocar algo en algún lugar al que no pertenezca, como una ventana en el cielo, y también crea diferentes imágenes en diferentes contextos. Por ejemplo, si hay dos edificios diferentes en una imagen y se le pide al sistema que agregue puertas a ambos, simplemente no agrega puertas idénticas, en última instancia, pueden verse muy diferentes entre sí.
«Todas las aplicaciones de dibujo seguirán las instrucciones del usuario, pero la nuestra podría decidir no dibujar nada si el usuario ordena colocar un objeto en una ubicación imposible», dice Torralba. «Es una herramienta de dibujo con una fuerte personalidad, y abre una ventana que nos permite comprender cómo las GAN aprenden a representar el mundo visual».
Las GAN son conjuntos de redes neuronales desarrolladas para competir entre sí. En este caso, una red es un generador enfocado en crear imágenes realistas, y la segunda es un discriminador cuyo objetivo es no ser engañado por el generador. Cada vez que el discriminador «atrapa» al generador, tiene que exponer el razonamiento interno de la decisión, lo que permite que el generador mejore continuamente.
«Es realmente alucinante ver cómo este trabajo nos permite ver directamente que las GAN realmente aprenden algo que comienza a parecerse un poco al sentido común», dice Jaakko Lehtinen, profesor asociado de la Universidad Aalto de Finlandia que no participó en el proyecto. . «Veo esta capacidad como un trampolín crucial para tener sistemas autónomos que realmente puedan funcionar en el mundo humano, que es infinito, complejo y siempre cambiante». IA identificar
Eliminar imágenes «falsas» no deseadas
El objetivo del equipo ha sido dar a las personas más control sobre las redes GAN. Pero reconocen que con un mayor poder, existe la posibilidad de abuso, como el uso de tales tecnologías para tomar fotografías de los médicos. El coautor Jun-Yan Zhu dice que cree que una mejor comprensión de las GAN, y el tipo de errores que cometen, ayudará a los investigadores a erradicar mejor la falsificación.
«Necesitas conocer a tu oponente antes de poder defenderte de él», dice Zhu, un postdoc en CSAIL. «Esta comprensión podría ayudarnos a detectar imágenes falsas más fácilmente».
Para desarrollar el sistema, el equipo identificó primero las unidades dentro de la GAN que se correlacionan con tipos particulares de objetos, como los árboles. Luego probó estas unidades individualmente para ver si deshacerse de ellas causaría la desaparición o aparición de ciertos objetos. Es importante destacar que también identificaron las unidades que causan errores visuales (artefactos) y trabajaron para eliminarlas para aumentar la calidad general de la imagen.
«Siempre que las GAN generan imágenes terriblemente poco realistas, la causa de estos errores ha sido previamente un misterio», dice el coautor Hendrik Strobelt, científico investigador de IBM. «Descubrimos que estos errores son provocados por conjuntos específicos de neuronas que podemos silenciar para mejorar la calidad de la imagen».
Bau, Strobelt, Torralba y Zhu co-escribieron el documento con el ex estudiante de doctorado CSAIL Bolei Zhou, el asociado postdoctoral Jonas Wulff y el estudiante universitario William Peebles. Lo presentarán el próximo mes en la conferencia SIGGRAPH en Los Ángeles. «Este sistema abre una puerta a una mejor comprensión de los modelos GAN, y eso nos ayudará a hacer cualquier tipo de investigación que necesitemos hacer con las GAN», dice Lehtinen.
IA Identificar
Artigo Relacionado: IA Gen – El nuevo lenguaje de programación de IA va más allá del aprendizaje profundo.
Dejar una contestacion