NVIDIA DLSS 3.5 introduce la reconstrucción de rayos por inteligencia artificial

Hace unos días tuve la oportunidad de participar en la presentación «a puerta cerrada» de NVIDIA DLSS 3.5, una interesante puesta al día de una de una tecnología que revolucionó el sector gráfico y que marcó, sin duda, un enorme punto de inflexión. Las novedades que trae son muy interesantes, y en este artículo os las voy a explicar al detalle, pero antes quiero compartir con vosotros un repaso a la historia del DLSS para que podáis ver, de forma resumida, sus inicios y su evolución.

Estoy seguro de que todos recordaréis el debut de la tecnología DLSS. Fue en 2019, y llegó al mercado como un método de reescalado espacial en dos fases apoyado por inteligencia artificial para reconstruir la imagen con aceleración a nivel de hardware. Los núcleos tensor de segunda generación de las GeForce RTX 20 se ocuparon de acelerar esta tecnología, aunque el resultado que obtuvo NVIDIA no cumplió con las expectativas generadas.

El primer punto de inflexión se produjo con el DLSS 2

NVIDIA no tiró la toalla, y en 2020 nos sorprendió con DLSS 2, una tecnología que superó totalmente nuestras expectativas y que se convirtió en un enorme éxito, gracias a las mejoras que consiguió tanto a nivel de rendimiento como de calidad de imagen, y que demostró que el reescalado tenía cabida en el mundo del PC.

Con DLSS 2 es posible hasta triplicar el rendimiento en juegos partiendo de resolución 4K, y gracias al uso de elementos espaciales y temporales, información de fotogramas previos, datos del buffer y de exposición y brillo, así como de vectores de movimiento y de inteligencia artificial fue posible mejorar enormemente la calidad de imagen.

La tecnología DLSS 2 no se limita a reescalar, realiza un proceso inteligente de reconstrucción de la imagen recopilando una gran cantidad de información y la utiliza para generar el fotograma perfecto. Los resultados que obtiene son tan buenos que el DLSS 2 en modo calidad supera en muchos aspectos la calidad que tendríamos bajo resolución nativa, aunque destaca especialmente en la representación de objetos lejanos y en el suavizado de bordes, gracias al TAUU (Temporal Anti-Aliasing Upsampling) que aplica.

En 2021 NVIDIA lanzó una importante actualización que nos llevó al DLSS 2.3. Dicha actualización introducía mejoras en la reconstrucción de partículas y en la estabilidad durante el proceso de reconstrucción temporal. También reducía notablemente el ghosting, un problema que afecta principalmente a objetos que se mueven a alta velocidad y que produce una pequeña estela durante su recorrido.

La generación de fotogramas demostró, de nuevo, el poder de la IA

Con el DLSS 3 tuvo lugar una importante división de la tecnología en dos grandes variantes, Super Resolution, que es lo que conocemos como DLSS 2, y Frame Generation, que se encuadra dentro de DLSS 3, y demostró que la inteligencia artificial no solo tenía mucho que decir aplicada al gaming, sino que además podía hacer posible lo imposible.

La generación de fotogramas fue presentada en octubre de 2022 como una exclusiva de las GeForce RTX 40, y fue un movimiento muy acertado por parte de NVIDIA porque, al final, el reescalado y reconstrucción inteligente ya no tenía mucho margen de mejora, y el enorme cuello de botella que se produce al reducir cada vez más la resolución hacía que las mejoras de rendimiento llegasen a ser regresivas en ciertos niveles.

La generación de fotogramas vuelve a utilizar la inteligencia artificial, pero en esta ocasión se apoya en el Optical Flow Accelerator, un componente que es clave para realizar una predicción exacta de cómo deberían verse todos los objetos y los elementos dentro de un fotograma que se genera de forma totalmente independiente en la GPU, utilizando para ello información de dos fotogramas intermedios, así como vectores de movimiento y flujo óptico

Solo el Optical Flow Accelerator de las GeForce RTX 40 tiene la precisión y el rendimiento necesario para que la generación de fotogramas funcione correctamente, y por eso esta tecnología es exclusiva de dicha generación de tarjetas gráficas. Podría haberse implementado en generaciones anteriores, pero NVIDIA no lo hizo porque el resultado no habría sido bueno, y la experiencia habría sido contraproducente.

En enero de 2023 NVIDIA actualizó a DLSS 3.1, una versión que mejoró la estabilidad de la interfaz del juego al activar la generación de fotogramas, y también incrementó notablemente la calidad de imagen incluso en escenas donde los movimientos de los personajes y de los demás elementos del escenario son muy rápidos.

NVIDIA DLSS 3.5: llega la reconstrucción de rayos por inteligencia artificial

El trazado de rayos es una tecnología tan exigente que no es posible utilizarla en juegos sin recurrir de una forma u otra a la inteligencia artificial. NVIDIA adoptó dos enfoques muy efectivos en este sentido con Super Resolution y Frame Generation, y con DLSS 3.5 ha logrado lo que parecía imposible, volver a sorprendernos con una mejora que marcará una enorme diferencia.

El DLSS 3.5 introduce lo que se conoce como reconstrucción de rayos mediante inteligencia artificial, y utiliza la IA para ofrecer una experiencia mejorada con trazado de rayos tanto por calidad gráfica como por rendimiento. Sí, esto quiere decir que gracias al DLSS 3.5 el trazado de rayos sube de nivel, y disfrutaremos de una mayor fluidez en juegos.

Para entender cómo funciona la reconstrucción de rayos que utiliza el DLSS 3.5 es necesario tener claro cómo trabaja el pipeline tradicional del trazado de rayos aplicado a la iluminación. Como podemos ver en la imagen adjunta, el motor gráfico genera primero la geometría y los materiales en bruto, sin aplicar iluminación sobre ellos.

Una vez terminado este paso, se lanzan rayos para generar efectos de iluminación y reflejos, pero de forma limitada ya que sería imposible generar un rayo por cada píxel y acompañarlo de múltiples rebotes. La carga que esto supondría sería inasumible para cualquier PC actual. Como consecuencia de ello tenemos una imagen «sucia» con bastante ruido porque faltan píxeles, así que es necesario aplicar tecnologías de reducción de ruido que, normalmente, están afinadas de forma manual, y que rellenan esos espacios de píxeles que faltan recurriendo a diferentes técnicas.

Tras aplicar esas técnicas para conseguir la reducción de ruido obtenemos una imagen con trazado de rayos compuesta de baja resolución que, finalmente, será mejorada para conseguir la resolución nativa objetivo. Los reductores de ruido juegan un papel muy importante, pero presentan carencias que hacen que al final el resultado no sea todo lo bueno que cabría desear.

Para reducir el ruido y conseguir una imagen más limpia que se pueda mostrar en el juego recurren a dos grande claves, la acumulación temporal y la interpolación espacial. Con la primera se utilizan varios fotogramas para intentar acumular píxeles con una buena calidad e intenta descartar aquellos que tienen mala calidad, mientras que la segunda mira los píxeles cercanos dentro de un mismo fotograma y los combina para mejorar la calidad de la imagen. Estas dos técnicas aplicadas tal cual funcionan, pero plantean problemas importantes:

• Efectos de iluminación poco precisos por la acumulación de píxeles de baja calidad de fotogramas anteriores.
• Iluminación global de baja calidad porque la interpolación espacial no es capaz de capturar suficientes datos.
• Reflejos de baja calidad porque la interpolación espacial de píxeles no es capaz de obtener la información que necesita para generar una imagen con un alto nivel de detalle.

En este sentido es importante destacar que una parte importante de la información necesaria se pierde durante el proceso de reducción de ruido, como los datos de color de alta frecuencia, lo que acaba afectando en gran medida al proceso de mejora de la imagen y da pie a esa pérdida de calidad.

La tecnología DLSS 3.5, también conocida como reconstrucción de rayos («Ray Reconstruction»), es la respuesta de NVIDIA a los reductores de ruido clásicos. Esta trabaja en conjunto con Super Resolution para conseguir una mejora notable del rendimiento, y su ciclo de trabajo se encuentra resumido a la perfección en la imagen adjunta.

Como podemos ver se mantiene la base tradicional, lo que significa realizar todo el proceso de generación de la geometría y de los materiales, así como el lanzamiento de rayos. Se utilizan vectores de movimiento y entonces entran en juego la reconstrucción de rayos y Super Resolution, utilizando en ambos casos elementos temporales. Posteriormente se puede aplicar generación de fotogramas recurriendo al Optical Flow Accelerator.

Cómo trabaja la reconstrucción de rayos

Esta tecnología hace un trabajo parecido al de los reductores de ruido, pero estamos ante una tecnología inteligente que está entrenada para incorporar datos adicionales del motor gráfico, incluyendo vectores de movimiento y colores superficiales. Esta tecnología se ejecuta en los núcleos tensor, y no depende del Optical Flow Accelerator.

También está entrenada para reconocer diferentes efectos de trazado de rayos, para diferenciar los píxeles buenos y los píxeles malos, para asociar mejor los píxeles que guardan una relación espacial y también para retener una mayor cantidad de datos de cara al proceso de mejora final de la imagen («upscaling»).

En la imagen situada justo debajo de estas líneas podemos ver un ejemplo de cómo funciona la reconstrucción de rayos, y de cómo se compara con los reductores de ruido tradicionales. El DLSS 3.5 reconoce patrones de forma inteligente para generar efectos de iluminación de mayor calidad, partiendo de varias muestras de rayos obtenidos de múltiples fotogramas. Diferencia de forma inteligente los píxeles buenos y descarta los píxeles malos, y esto le permite ofrecer un resultado claramente superior.

Con el DLSS 3.5 el realismo al activar el trazado de rayos mejora enormemente, y esto hace que la calidad de la imagen sea superior. Fijaos sobre todo en la imagen de Cyberpunk 2077, sin DLSS 3.5 la iluminación que proviene del coche es excesiva en los laterales y tiene un alcance insuficiente e impreciso.

Sin embargo, al activar la reconstrucción de rayos la iluminación de los faros delanteros queda perfectamente ajustada en forma de cono, impacta de una manera más intensa a los elementos cercanos, como el bloque de hormigón y la palmera de la derecha, y además tiene el alcance que debería, ya que ilumina a la valla que está situada en frente.

También podemos ver cómo mejora esta tecnología los reflejos en Cyberpunk 2077. De nuevo fijaos en la imagen adjunta, sin DLSS 3.5 la nitidez y el nivel de detalle que ofrece el reflejo en el suelo es claramente inferior, tanto que gracias a dicha tecnología podemos leer incluso lo que pone en el reflejo.

Suena bien, ¿pero cómo afecta esto al rendimiento? Pues lo más interesante es que la reconstrucción de rayos no solo mejora la calidad gráfica al activar el trazado de rayos, sino que también tiene un impacto positivo en el rendimiento, como podemos ver en la imagen adjunta. NVIDIA ha confirmado que DLSS 3.5 será compatible con todas las tarjetas gráficas GeForce RTX 20 y superiores, lo que significa que no será exclusiva de las nuevas GeForce RTX 40.

Los primeros juegos que soportarán esta tecnología son Cyberpunk 2077: Phantom Liberty, Portal RTX y Alan Wake II. También se integrará en aplicaciones profesionales como la plataforma Omniverse, Chaos Vantage y D5 Render. Podremos probar DLSS 3.5 a partir de este mismo otoño, así que no tendremos que esperar demasiado.