23 meneos
347 clics
Crean, recurriendo a redes neuronales, una remasterización de Final Fantasy VII que cuadruplica su resolución
Los estudios Square Enix, creadores de 'Final Fantasy', han lanzado al mercado varias versiones remasterizadas de los videojuegos de esta popular saga, con el fin de mejorar su visualización en las pantallas modernas, de una mayor resolución que las de la época. Esta labor de remasterización suele reducirse al reescalado de las texturas de los escenarios prerrenderizados por los que se mueven los personajes en 3D, y no siempre ha recibido una buena valoración por parte de los fans.
|
comentarios cerrados
Es una red neuronal que lo que hace es dibujar y crear los pixeles que faltan al aumentar la resolución.
No usa interpolación.
Acabas de definir la interpolación. Y me llamas a mi cuñado .
Empieza por lo básico:
En el campo de la fotografía y mundo de la imagen digital, la interpolación aplica este mismo método para conseguir un tamaño mayor de la imagen inicial, rellenando la información que falta con datos «inventados» a partir de un algoritmo específico.
es.m.wikipedia.org/wiki/Interpolación_(fotografía)
Enga, a pastar.
Aquí tienes una muestra de la diferencia entre utilizar interpolación mediante el vecino más próximo y ESRGAN:
Así que sí, te ha quedado un comentario muy cuñado, como dice #2
Pero eso no es lo importante. Lo importante es que no te has leído el artículo porque tenías mucha prisa para comentar. Si lo hubieras leido antes verías que el logro no es el simple redimensionamiento de las imágenes del Final Fantasy VII. Eso lo hace cualquiera como tú mismo has dicho. Hasta yo lo hago con el Paint.
El logro es el salto de calidad tan tremendo que han conseguido gracias al uso de una red neuronal.
Es como que alguien te señale un eclipse lunar y digas "señalar lo puede hacer cualquiera".
E insisto, el upscaling es interpolación. Y si no te crees a un cuñao como yo, creete a los cuñaos del IEEE que utilizan los mismos términos que yo:
www.ics.ele.tue.nl/~dehaan/pdf/106_ISCE_Hu.pdf
Image Interpolation Using Classification-based Neural Networks
Las redes neuronales, no. Son 2 tecnologías totalmente distintas.
Yo me imagino que esta red neuronal va calculando las probabilidades de que una zona de la imagen corresponda a un borde, o a una textura, etc, etc... y luego aplique las funciones matemáticas que sean para reconstruir la zona. No tiene que aplicar forzosamente una regresión lineal.
La interpolación por el contrario se aplica por igual en todas las zonas de la imagen.
Otra diferencia es que la red neuronal utiliza un montón de parámetros adquiridos de una etapa de aprendizaje, mientras que la interpolación sólo utiliza información de la propia imagen.
Definitivamente no es lo mismo.
Puedes hacer una simple búsqueda para ver que la interpolación por red neuronal es algo que existe, no me lo invento yo: duckduckgo.com/?q=neural+network+image+interpolation&t=fpas&ia
SRGAN es una red neuronal con un input y un output en la que no existe tal cosa como huecos entre los pixeles, sino que de X transforma hacia Y, pero no lo hace interpolando sino creando una Y nueva con lo cual los píxeles de Y no necesariamente tiene que tener el color que tenía en X, es decir, no crea "información que falta", sino que crea toda la información. Aquí tienes el paper: arxiv.org/pdf/1609.04802.pdf Verás que se usa la palabra interpolación solamente porque comparan con los resultados de una interpolación bicúbica.
ESRGAN utiliza la topología de SRGAN con algunos cambios, e introduce interpolación para eliminar el ruido que tienen las GAN. Pero no hace interpolación en la imagen sino en la red. Lo cuentan en el paper. Primero te explican que evaluaron interpolación de la red e interpolación de imagen:
"In order to balance the visual quality and RMSE/PSNR, we further propose the network interpolation strategy, which could
continuously adjust the reconstruction style and smoothness. Another alternative is image interpolation, which directly interpolates images pixel by pixel. We employ this strategy to participate in region 1 and region 2. The network interpolation and image interpolation strategies and their differences are discussed in Sec 3.4"
La interpolación de la red, de lo que trata, es de crear un nuevo modelo que surge de la interpolación de los parámetros de las redes PSNR y la GAN, es decir, que no hay "tocar los píxeles" sino tocar los parámetros de definición de las redes para crear un nuevo modelo.
Y te explican por qué se quedan con la interpolación de red:
"By employing network interpolation, unpleasing artifacts are reduced while the textures are maintained.
By contrast, image interpolation fails to remove these artifacts effectively. Interestingly, it is observed that the network interpolation strategy provides a smooth control of balancing perceptual quality and fidelity in Fig. 10"
Así que sí, usan interpolación tal y como dices, pero no es la que tú crees.
cc #4 #8
Y todo esto lo digo porque yo aprendí de redes neuronales como hace 10 años realizando tareas de segmentación, interpolación y ocr. Evidentemente no con estos resultados. Pero vamos, no es de ayer.
Has querido decir lo que has dado a entender. No hay ningún doble sentido.
Eso lo has querido entender tú, no es lo que he dicho yo.
cc #3
El tema es que una interpolación puede ser simplemente calcular la media de los píxeles de alrededor, o puede meter una peazo de red neuronal que adivina los píxeles que faltan. Y las dos cosas no tienen el mismo mérito.