Mejoras en fotorealismo (en GTA V) [ENG]

145 meneos

7595 clics

Mejoras en fotorealismo (en GTA V) [ENG]

En este vídeo, se presenta un nuevo enfoque para aumentar el realismo de imágenes sintéticas (en este caso, generadas en Gran Theft Auto V). Las imágenes son mejoradas con una red neuronal convolucional que nivela las representaciones intermedias producidas por los procesos de renderizado convencionales. Una red entrenada mediante un nueva función adversaria que proporciona un robusto (aprendizaje por) supervisión en múltiples niveles de percepción.

93 52 3 K 441 tecnología

112 comentarios

93 52 3 K 441 tecnología

Comentarios destacados:

«12 »

#1 systembd

Artículo científico y presentación disponible en: intel-isl.github.io/PhotorealismEnhancement/

5 59
#2 rojo_separatista

Este video es espectacular, pero no hay que pensar que es un mod funcional del GTA V ya que difícilmente pueda correr en tiempo real, aunque sin duda señala el futuro de la industria, que sin duda creo que pasará de utilizar algoritmos diseñados a mano como el trazado de rayos para dejar que sean modelos de aprendizaje automático que se encarguen de dotar de realismo gráfico a las escenas.

4 42
#3 rojo_separatista

#1, gracias, tal y como he comentado en #2, los autores dicen que "Inference with our approach in its current unoptimized
implementation takes half a second on a Geforce RTX 3090 GPU." aún lejos de tiempo real.

4 45
#4 Lonnegan

Una demostración de fotorealismo en 720p? venga..

5 -8
#5 --625430--

#2 Corre en tiempo real.

0 10
#6 --625430--

#4 Como que te crees que eran los renders de povray antaño? 800x600 y seguia siendo mas fotorrealista que los juegos de la PS4 de hoy.

7 64
#7 Lonnegan

#6 Si es lo que pueden obtener, solo 720p, no me interesa en absoluto

2 12
#8 --625430--

#7 Debes de ser joven. Antaño con las teles CRT no teníamos ni 720p (creo que PAL era 724x576 o por ahí, no recuerdo bien), y el realismo obviamente era superior a cualquier videojuego a 1024x768.

9 78
#9 El_Cucaracho *

#4 El video lo explica, no es una cuestión de detalle, sino de como se crean los objetos y los efectos.

A mí hay ocasiones que me parecía un video real grabado por una cámara en coche (al estilo ruso), lo único que desentona es el movimiento de los coches pero es impresionante, es una sensación de naturalidad más que de foto-realismo.

Es como un deep fake de una calle real.

13 109
#10 sonixx

#3 en el vídeo pega cada rascada buena

0 7
#11 montaycabe

#4 ¿No te parece realista el telediario de la tele, por ejemplo, que no llega ni a 720p?

4 45
#12 --629849--

#2 al precio que están las gráficas ese futuro del que hablas no será muy cercano.

1 16
#13 astronauta_rimador

#7 Es que la resolución de la imagen no implica calidad siempre. Puedes ver un video a 4k con una compresión muy alta y verse peor que uno a 720p.

8 73
#14 --629849--

#6 pov ray ?, a ti ya hace tiempo que te han vacunado

8 80
#15 metalico_zgz

Muy interesante, impresiona. Ahora bien, no me seáis huevones y escribid fotorrealismo, no ~~fotorealismo~~. O poned foto-realismo, que ha puesto alguien ya. Que cuando queréis escribir perro no escribís pero.

0 7
#16 Kleshk

#4 Debes de ser de los que creen que la luz en los videojuegos es en tiempo real desde hace años... y que por ejemplo el Quake II RTX que salió para enseñar la tecnología era una mierda porque las gráficas no podían ( hasta las 2080 les costaba )

2 31
#17 parrita710

#4 Con DLSS se puede reescalar a 1080p o 2k si problemas y que tenga tanta calidad o mas como la nativa.
Vídeo del techyisus

0 7
#18 Mursopolis

#15 Foto-Rrealismo

5 36
#19 gambader

[Sheldom_mode=on]
#2, tal y como indica #5, que sea en tiempo real no implica que la latencia sea baja. Sólo implica que la latencia está acotada, aunque la cota establecida sea de un siglo.
[Sheldom_mode=off]

4 44
#20 Monsieur-J

#4 No has renderizado en tu vida, hulio.

4 33
#21 xyzzy

#18 Foro-Rracanismo

1 17
#22 metalico_zgz

#18 Vale, has ganado

0 7
#23 elLuissitzky

Se pone interesante la escena del videojuego actual.

Tres caminos:
- Seguimos renderizando cada vez cosas más hiperrealistas con nuestras propias gráficas.
- Renderizado de juegos via servicios de Streaming.
- Renderizado de escenas y efectos más simples que son procesados por algoritmos de este estilo que se encargan del realismo.

No sé qué pasará, supongo que habrá un hueco para todo.
- Los más hardcore y jugadores profesionales seguirán apostando por ser dueños de su hardware.
- El streaming para shooters y juegos competitivos siempre va a estar en desventaja, pero para juegos de modo historia estilo Witcher 3 creo que es donde brillará. No obstante, también es ahí donde más potencial le veo a los algoritmos del meneo, por lo que probablemente se acaben fusionando ambos.

¿Algún profesional de la industria en la sala que nos pueda chivar por dónde sopla el viento?

2 29
#24 pinzadelaropa

Pero quizás no queremos justo el fotorrealismo... que lo que mola precisamente es que tenga otra estética que te haga escapar de la realidad.

2 22
#25 --625430--

#14 Que no soy tan bieho coño . Con 5 años me acuerdo de Cobi y ya.

0 10
#26 Aokromes

#6 800x600? yo mis primeros renders del povray los hacia en 640x480 para demostrar la calidad de las impresoras de la epoca

1 20
#27 AubreyDG

#26 320x240

2 28
#28 Aokromes

#14 a mi aun no.

0 9
#29 Aokromes *

#27 se trataba de demostrar la calidad, no de imprimir sellos. no recuerdo la de horas y horas que se tiraba mi 486dx50 en renderizar

1 13
#30 Indepe

Como todo gran avance tecnologico , su salida principal sera el porno....

0 7
#31 Lonnegan

#20 no

1 17
#32 --344692--

#24 lo importante es la tecnología que hay detrás. Aquí han buscado el fotorrealismo y por eso han alimentado la IA con fotos reales, pero la podrían alimentar con capturas del GTA san andreas y con eso tendrías un GTA5 que se ve como el GTA san andreas. Podrían alimentarla con capturas del Doom y tendríamos un GTA localizado en el infierno. Cuando la tecnología sea buena sus posibilidades serán infinitas.

3 30
#33 IanGibson

#23 Los motores gráficos como los conocemos empezarán a cambiar a corto plazo. Tecnologías actuales como el deep fake que aplican a rostros con una facilidad pasmosa a coste mínimo, vapulean a tecnologías 3d tradicionales en cuanto a calidad y por supuesto en coste.

La IA para generación de datos (gráficos, sonido y demás) se está colando en todos los campos y se va a quedar. Y lo verás también en otros ámbitos como generación de música y sonidos en tiempo real, o por ejemplo poder hablar con un NPC con tu voz de forma natural y que te responda como corresponde. Como si quieres preguntarle a cuánto están los tomates en la tienda de la villa medieval que visitas.

6 69
#34 montaycabe

#24 para eso ya teniamos el mario bross, cuando juego al GTA V quiero que me salpique la sangre de los policias en la cara y oir llorar a su familia.

3 30
#35 pinzadelaropa

#34 Curioso, yo no soy jugón ni mucho menos pero una cosa que me mola de los videojuegos es precisamente que sean "comics", que no tengan la imagen de un telediario, de hecho me gusta tener que meterme en el mundo del videojuego con sus reglas especiales (claro que a lo mejor uno de F1 fotorrealista me molaría mucho), no se, tendría que probar si me molaría jugar un GTA ambientado en Madrid por ejemplo ...

0 7
#36 systembd *

#3 Dales unos pocos años para incluir un subsistema hardware dedicado en las GPUs.

1 13
#37 Antonio_Ivars_Badía

#36 ¡Dentro de unos pocos años todos los juegos se verán como Alemania!

6 52
#38 magnoberto

De USA a Rusia.

0 6
#39 January11

Técnicamente es impresionante, la comparativa con otros métodos es muy bueno, el resultado práctico no me parece tanto y no noto demasiada diferencia al compararlo solo con el cambio de tonalidades. En algunos casos ayuda a hacer más realistas los árboles, o edificios, semáforos, parece que tiende a quitar detalles del asfalto.

1 19
#40 January11

#30 Sí, convertir a las estrellas super retocadas en fotorealistas, añadirá granos, arrugas, pelos en el culo, etc.

0 8
#41 montaycabe

#35
A mi me ayuda a "inmersionarme", de hecho a veces me quedo embobao con lo bonito de los paisajes en gtaV, atardeceres, lluvia y cosas asi.
"no se, tendría que probar si me molaría jugar un GTA ambientado en Madrid por ejemplo"
Yo lo estoy deseando, y creo que media españa tambien.

1 17
#42 pedrobz

#25 Ok boomer

0 7
#43 January11

#9 Quizás eso le pierde un poco, pasas de un juego con detalles, a una grabación realista que parece tomada con una cámara de baja calidad. Al menos yo notaba mucho que tendía a desaparecer los detalles del asfalto. Supongo que eso se mejora, mejorando la calidad de las imágenes de entrenamiento.

1 19
#44 --625430--

#31 Esto no es 4K y se mea gráficamente en la PS4:

hof.povray.org/images/kitchen.jpg

3 27
#45 systembd

#15 Cierto. Creo que ha sido un tema de autocorrector del navegador, "perro" Adamo el error

1 18
#46 El_Cucaracho

#43 Eso también pensé yo.

Dudo mucho que la textura "aguante" si te acercas un poco.

Pero el efecto general es muy bueno.

0 11
#47 metalico_zgz

#37 El GTA parecerá Alerta Cobra

4 38
#48 systembd

#30 Gafas de Realidad Aumentada y un sistema de Machine Learning para ver a tu pareja con "nuevos ojos".

Aunque creo que algo similar se ha conseguido con el alcohol.

1 19
#49 El_Cucaracho

#47 Espero que el motor de explosiones sea bueno.

0 11
#50 JimmyTM *

#41 No sé si lo permitirían. Además, ten en cuenta que todas las ciudades de juegos sandbox son imaginarias aunque estén basadas en estéticas urbanas reales. L.A. Noire aparte; que tampoco es un juego muy sandbox.

0 9
#51 DaniTC

#27 eso es para mí 800x600 era una resolución brutal. Yo siempre los vídeos los veía a 320x240 porque no daba a más el PC Qué recuerdos.

1 17
#52 --673591--

He visto el vídeo y llego a dos conclusiones:

1. Para mi es más realista el GTAV que el OURS.
2. Se mueve a trompicones que da gusto.

No sé Rick...

1 16
#53 AubreyDG

#51 Cuando ver un vídeo de apenas unos segundos en el PC era la maldita rehostia

2 30
#54 rojo_separatista *

#5, si consideras 2fps tiempo real...

Del propio paper de los autores: "Inference with our approach in its current unoptimized implementation takes half a second on a Geforce RTX 3090 GPU."

3 32
#55 --673591--

#32 Pues no han logrado una mierda, me sigue pareciendo más realista el original.

1 16
#56 rojo_separatista

#12, las mejoras más importantes serán en software.

0 11
#57 --673591--

#41 No hacen falta gráficos para "inmersionarte". Recuerdo el Final Fantasy VII, cuando jugaba a ese juego me piraba del planeta Tierra durante horas.

0 6
#58 --673591--

#23 Pues a mi cada vez me dan más pereza, se busca tocar el techo en gráficos y están descuidando otras cosas más importantes. Ejemplo, The Last of Us II, es muy bonico y está muy bien hecho pero me está aburriendo kilos. Sin embargo Mass Effect Legendary, un juego de hace más de una decada al que aunque le han dado un refresh no tiene tantos gráficos y literalmente me absorve.

0 6
#59 luckyz

#7 Con todo el respeto, no eres su público objetivo

1 9
#60 carakola

A mi dame el mariokart, el fotorealismo pati.

1 24
#61 Lonnegan

#11 será en tu tele

0 10
#62 Lonnegan

#44 pero no se menea

1 20
#63 elLuissitzky

#58 Razón no te falta. Con un poco de suerte, con estos avances se podrán buscar mejoras técnicas que tengan más que ver con la jugabilidad y no dedicar tanto recurso a la mejora de gráficos.

Y el primer Mass Effect es un juegazo, eso es así.

0 10
#64 DRAG0NER0

Ya podrían haberlo puesto a 4K o al menos 1080p.

0 7
#65 --13675--

No se Rick, para ver algo realista ya salgo a la calle - preferiria que los videojuegos fuesen menos realistas, con mundos mas abstractos y coloridos

0 9
#66 squanchy

#53 qué joven eres. Yo recuerdo cuando ver una foto en color en el ordenador era la rehostia

0 11
#67 AubreyDG

#66 oiga, que he vivido ambas

0 10
#68 Lekuar

#8 La resolución Pal en formato digital es 720x576, pero hablando de CTR no sería correcto hablar de píxeles, sino de lineas, en ese caso Pal eran 625 líneas de las cuales 576 eran las visibles.

1 17
#69 Lekuar

#66 O escuchar un canción en MIDI.

0 7
#70 ElSev

#14 podía haber usado povray con 14 o 15 años como yo ... Aún no le tocaria

1 21
#71 ElSev

#23 el streaming en shooters no estás en desventaja si sólo puedes competir en streaming, ¿no?

Pero a ver quién patrocina eso si son menos ventas de hardware tocho.

0 11
#72 Jakeukalane

#9 lo siguiente debería ser el movimiento, que poco natural, no sólo de los coches, también de las personas.

1 21
#73 Maegruin *

#2 A otro nivel pero cosas como el DLSS de Nvidia o el FSR de AMD ya utilizan IA para mejora de imágenes (para sobremuestrear) utilizando HW dedicado. Si esta idea funciona bien supongo que podrán hacer hacer HW especifico y correr en tiempo real.

0 7
#74 elLuissitzky

#71 En principio, si se igualara esa condición, la diferencia no sería tan dramática. Lo que pasa es que aún te quedaría el tema de la latencia, y viendo como nos venden monitores de 300hz y demás historias que si no son efecto placebo lo rozan, no veo al público general abrazando ese input lag extra del streaming.

Desde luego, es el gran contra de jugar en streaming y seguro que tienen a las mejores cabecitas trabajando en ello. Veremos lo que pueden conseguir.

0 10
#75 --625430--

#68 Tambien, porque muchas teles hacian overscan.

0 10
#76 ElSev

#74 qué va, le da más emoción, esos torneos de Counter con 200-300 de ping en el ADSL....

1 21
#77 elLuissitzky

#76 jaja esperando el cartelito a ver si le has matado o no...

0 10
#78 tamat

#10 si cada frame tardaba medio segundo eso significa que el video no habia sido capturado a tiempo real, asi que no influye

1 20
#79 systembd

#60 Una opinión perfectamente respetable.

1 24
#80 systembd

#64 Muchas veces el resultado depende de los datos de entrenamiento (la resolución de la cámara original) y del tiempo que han tenido para entrenar la red neuronal).

0 11
#81 carakola *

#79 Un poco exagerado. Era un poco crítica general a la importancia de los gráficos de un juego. En realidad está muy chulo que consigan cosas así. Le podían haber `puesto más resolución al video, qué cabrones.

1 24
#82 Zirgux

#65 También te vas a poner a pegar tiros en la calle o a robar coches?

1 9
#83 Zirgux

#52 Querido NO lector, lea la notica, la
3090 genera 2fps, evidentemente ha habido que montar el vídeo y como el montaje no ha sido perfecto ahí los trompicones. LEA más que es bueno!

0 6
#84 Zirgux

#60 Sin problema, te daremos todas las mierdas, los demás queremos calidad.

0 6
#85 User93439

#65 ¡Call Morty no tienes ni idea -burp! a la gente le gusta atropellar putas reales, quemar mendigos reales y matar a golpes de bate a chusma real, algún día lo entenderás

0 6
#86 musg0

#53 Mandy.exe era la rehostia

0 7
#87 El_Cucaracho

#72 Supongo que también será por las mecánicas del juego, un movimiento realista (con su inercia y su distancia de frenado) a lo mejor no tendría tanta gracia.

De todas formas siempre me ha estrañado el mimo que ponen en las texturas y como otras cosas no están tan pulidas.

1 21
#88 --629849--

#70 ya, era una forma de hablar

0 9
#89 --625430--

#82 Bueno, en Sevilla y Algeciras tienen un GTA de rol en vivo.

0 10
#90 --673591--

#83 2fps es una puta mierda, y tampoco soluciona que el GTAV original se vea más realista. Saludos.

0 6
#91 --673591--

#83 Por cierto qué noticia? Yo solo he visto enlazado un vídeo.

0 6
#92 apetor *

#54 Tiempo real = tiempo determinista, calculable y garantizado. Otra cosa es que sea un tiempo real estilo multimedia, a 16, 33,... milisegundos por frame.

1 20
#93 apetor

#89 Te refieres a Ceuta, creo...

2 26
#94 --629849--

#25 y yo del osito Misha

0 9
#95 lilopiglet

Conoceis los mods de GTA V llamados NaturalVision Evolved y el Next-gen lightning reshade ? no son para lo del artículo que quiere simular la realidad filmada desdes una dashcam, como deepfake, son para convertir el GTA V en GTA 6

www.youtube.com/watch?v=7kqcg9gY55U

0 6
#96 Magicus *

#9 Tu lo has dicho: "me parecía un video real grabado por una cámara en coche". Y eso es porque esta "red neuronal" le mete un blureado a algunas texturas y, por sobretodo, le aplica filtros de color. Ambos cambios hacen remitir a videos de baja calidad filmados de manera amateur.

Y un juego está lejos de buscar ese tipo de realismo. En un juego, en todo caso, se busca un realismo "artístico". Exactamente como en el cine.

0 10
#97 Magicus

#24 Comparto. Esto es fotorrealismo de una filmación de baja calidad (y no me refiero a la calidad final de la imagen, sino a la forma en que se ven las texturas, colores y demás).

Y en juego hay, además, premisas artísticas que buscan potenciar la "realidad". Es como que me digan que van a hacer el GTA con las imágenes de google street. Aburriría solemnemente.

1 17
#98 rojo_separatista

#92, no, en ciencias de la computación el término tiempo-real depende de la aplicación a la que se hace referencia. Si hablamos de un videojuego 2fps no es tiempo real.

en.m.wikipedia.org/wiki/Real-time_computing

0 11
#99 rojo_separatista

#36, las GPU's ya son de por sí bastante buenas haciendo inferencia de modelos de machine learning, aunque sin duda hay margen de mejora, sobretodo en software y en los próximos años veremos resultados sorprendentes.

0 11
#100 apetor *

#98 Ciencias de la computacion hice yo y lo que te digo era lo primero que se ensenyaba en sistemas en tiempo real. Y en el examen iban a pillar con ese concepto. Otra cosa era el hard realtime vs el soft realtime y demas. Pero vamos, ese concepto marcaba usar schedulers tipo round robin frente a otros, el planificador de IO tambien "fair play", etc., para hacerlo determinista y garantizable.

1 20