DLSS: supermuestreo de aprendizaje profundo

Super Sampling también se conoce como Super Sampling Anti Aliasing (SSAA) y es un método espacial anti-aliasing, es decir, un método para eliminar el aliasing (bordes dentados y pixelados también conocidos como «jaggies») de un video, imágenes renderizadas u otro software que produce computadora. gráficos.
El alias no se trata a menudo en resoluciones más altas, pero si el usuario no posee el hardware requerido, entonces el usuario estaría lidiando con esta situación. Ocurre en los gráficos generados por computadora porque, a diferencia de la palabra real que se compone de colores y materiales continuos, la pantalla de la computadora se divide en una pequeña cantidad de cuadrados del mismo tamaño conocidos como píxeles, que muestran su propio color designado (monocolor). ) en la imagen, cuando estos píxeles están alineados uno al lado del otro, no en una posición vertical u horizontal, los bordes irregulares comienzan a mostrarse, lo que en términos técnicos se conoce como Aliasing, pero comúnmente se conoce como irregulares. Es menos probable que esto ocurra en una resolución más alta, ya que tiene una cantidad suficiente de píxeles para que los bordes irregulares sean menos visibles.

Ahora, volviendo a su proceso y cómo se hace , básicamente se realiza en cuatro pasos , que son los siguientes:

  • Se toma la imagen de baja resolución que está llena de irregularidades.
  • La imagen superior se convierte en alta resolución.
  • De la imagen de mayor resolución, se toman muestras de color de los píxeles excesivos (píxeles que no estaban presentes en la resolución más baja).
  • La imagen de mayor resolución se reduce a su resolución original y cada píxel recibe un nuevo color que es el color promedio de los píxeles muestreados de la imagen de mayor resolución.

Super Sampling es un hardware bastante extenso, ya que requiere una gran cantidad de memoria de tarjeta de video y ancho de banda de memoria porque la cantidad de búfer utilizada suele ser grande. Hay varias formas en las que se toman los píxeles de muestra para Super Muestreo, pero algunas de las técnicas más utilizadas son: cuadrícula, fluctuación, disco de Poisson, cuadrícula aleatoria y rotada.

¿Qué es el supermuestreo de aprendizaje profundo?
Deep Learning Super Sampling o DLSS es una tecnología desarrollada por Nvidia que utiliza el aprendizaje profundo para producir una imagen que parece una versión de mayor resolución de la imagen anterior de menor resolución. Esta tecnología se anunció como una característica clave de la línea de tarjetas gráficas RTX de Nvidia en 2018. A partir de ahora, solo está disponible con las GPU de la serie RTX 20. En el momento de su lanzamiento, el resultado no fue muy bueno ya que el habitual escalado de resolución y el algoritmo también hay que entrenarlo específicamente para cada juego en el que se tiene que poner.
En 2020, Nvidia lanzó el controlador 445.75, una mejora del DLSS básico y se denominó DLSS 2.0, que estaba disponible para algunos juegos existentes en ese momento y estaría disponible para los próximos juegos. Nvidia dijo que usa Machine Learning nuevamente, pero no tiene que estar diseñado específicamente para cada juego. Los puntos de referencia en Control (videojuego) tienden a mostrar que, por ejemplo, con una resolución de salida de 4K, la imagen resultante con un preajuste DLSS de «Calidad» (ampliado de una resolución de entrada de 1706 × 960 píxeles) tiene la misma calidad que el 4K nativo resolución pero el doble del rendimiento de la resolución nativa.
Pero DLSS 2.0 no funciona bien con otras técnicas de suavizado como MSAA o TSAA y el rendimiento podría verse muy afectado si se implementan sobre DLSS.

Los algoritmos utilizados por ambas versiones de DLSS son los siguientes:

  • DLSS 1.0:
    Nvidia afirma que DLSS 1.0 funcionó al generar un cuadro perfecto para el cuadro de menor resolución utilizando la técnica tradicional de Super Sampling. Luego, las redes neuronales se entrenaron en estos marcos resultantes y el modelo también se entrenó para reconocer entradas con alias al recibir el resultado inicial.
  • DLSS 2.0:
    Las redes neuronales se entrenaron usando las imágenes ideales de alta resolución de un juego usando una computadora de alta gama y también imágenes de baja resolución. El resultado se almacenaría en el controlador de la tarjeta de video.
    La red neuronal almacenada en el controlador compara las imágenes reales de baja resolución con las imágenes de referencia y produce una imagen de resultado de alta resolución completa. Las redes neuronales entrenadas utilizan la imagen de baja resolución, así como el vector de movimiento de baja resolución del motor del juego como entrada. Los vectores de movimiento ayudan a las redes a determinar en qué dirección se mueve el objeto en el marco y se utilizan para determinar los próximos marcos.

Publicación traducida automáticamente

Artículo escrito por vidhus138 y traducido por Barcelona Geeks. The original can be accessed here. Licence: CCBY-SA

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *