NVIDIA ha abierto la tecnología DLSS a todos los desarrolladores que usan Unreal Engine 4: por qué es importante y qué prepara AMD

permitanme ayudar aclarando algunos puntos

-DirectML es un API de Microsoft, parte de DirectX, para ejecucion de algorimos de IA, por ejemplo Redes Neuronales. Abstrae al desarrollador las especificidades del hardwrae, tal como hace dirctx (aunque dx12 lo hace menos, tal como vulkan). La aceleracion de las funciones sobre GPU esta en principio basada en HLSL, lenguaje de alto nivel de DirectX para programacion de shaders y ejecutado en las unidades de computo de shaders (valga la rebundancia) del GPU. Pero a nivel de driver puede traducirse en otra cosa y las unidades especializadas (es decir, estilo los "Tensor Cores" de Nvidia o los "Matrix Cores" de AMD) se encargarian de acelerar operaciones (por ejemplo las convoluciones de las redes neuronales convolucionales)

-DirectML es tambien parte de WinML, que abarca mas nivel y alcance de ejecucion , con fallback a CPU, pero aqui nos importa el caso GPU

-DirectML incorporaría (o creo q ya lo hace, hace unos dias Microsoft publico la especificacion oficial y con el SDK, debo revisarlo) en su version mas moderna capacidad para usar hardware especializado de manera transparente (se encargarian los drivers)

-Lo que ejecute con DirectML en GPU puede hacerse en los shaders puros, pero esto resta capacidad de computo dedicada a los graficos, al dibujo. es un asunto de balance de perdida-ganancia, que tiene que ser positivo en todods los aspectos (calidad de imagen, velocidad de fotogramas y latencia). en tiempo: coste de dibujar menos + coste de inferencia < coste de dibujar todo. en latecnia debe ser entre igual y muy ligeramente superior. en cladida de imagen se espera al menos similar, auqnue en partes o situaciones donde la vista no lo note puede ser inferior

-Shaders con capacidad nativa de calculo FP16, INT8/INT4 y bF16 y mezclados, se defienden mejor en esta tarea, pues es pueden ejecutar entre 2 y 16 veces mas rapido que FP32 (la realidad es un intermedio, no todo puede ser int4). en el caso AMD, solo CDNA y RDNA2 soportan computo en todos estos tipos de datos.

-AMD y Microsoft deben/tienen q haber optimizado mucho para que vaya tan bien como se pueda, en complejidad de los modelos, tipos de datos y adaptacion al hardware

-para acelerar la ejecucion, AMD en su hardware debe incorporar unidades especializadas. Esos Matrix Cores existen en las GPUs de computo CDNA (aun por salir al mercado general, deben estar por ahora metiendo todas las que fabrican en dos o tres supercomputadoras a salir este año) y que deben incorporarse en RDNA 3

-PERO, el SoC de las XBOX Series X si tiene hardware dedicado que acelera la ejecucion de estos algoritmos, segun Microsoft entre 3 y 10 veces ( supongo que comparado a si se ejecutaran solamnete en los shaders). Este es el hardware que usaran para ejecutar la red de interpolacion de imagen (mas bien, prediccion de pixeles). hardware que por ahora esta sin ser usado.

-Este hardware puede ser los Matrix Cores de CDNA, o un derivado, o unidades de diseño propio de MS+AMD, aunque esto ultimo seria menos problable, mejor usar lo ya creado para las GPUs AMD. En otras palabras, el SoC de las XBOXSX es algo asi como RDNA 2.5

-AMD incorporara esta capacidad en su biblioteca FidelityFX, asi cualquiera pueda usarlo, pero con seguridad en PC no lo veremos en uso hasta RDNA 3, donde se deben incluir los "Matrix Cores" en la arquitectura (se supone, y si AMD no lo hace le seria un problema), pues hacerlo en los shaders el coste en computo seria mucho mayor . A menos que se emplee en juegos con carga grafica baja o algo asi, aunque en este caso, ya irian rapido en primer lugar.

-mirando rapido los datos de la CDNA MI100, sus unidades Matrix de primera generacion entregan un maximo de 46/184 TFLOPS (FP32/FP16) en operaciones matriciales (matrices no dispersas, es decir que tiene elementos cero y estos se manipulan aun no aporten al resultado). La RTX2080ti entrega 107 TFLOPS (todos los flops son picos teoricos) en FP16 en los "tensor cores". esto lleva a pensar que si AMD mete en una futura GPU Radeon, quizas las mas potente, la misma cantidad de estas unidades de primera generacion (como sus unidades de RT), al menos supera en papel a la RTX2080ti, pero queda por debajo de la 3060ti con 64TFLOPS FP32 en matrices dispersas).

-PERO, si las unidades que incluya en RDNA 3 fuera ya mas avanzadas y pueden hacer las operaciones de manera optimizada sobre matrices dispersas (menos elementos a calcualr), estos numeros serian mayores. es cosa a ver para fines de año seguro, y de ir conociendo mas detalle cuando las CDNA salgan a mercado general.

-Sony no puede hacer esto, pues no tiene hardware dedicado a acelerar inferencias (a menos que lo tengan oculto, cosa que dudo) y su SoC es menos potente. pueden hacer algo de este estilo, pero de seguro mas limitado

-Finalmente, estos modelos no son solo para "escalado", si no tambien para ejecutar modelos para la reduccion de ruido, mas bien el rellenar informacion faltante cuando se hacer RT con menos rayos por pixel, para que sea menos costoso. Esto es uno de los aspectos, a parte del escalado, que en mi opinion hace que en el hard AMD cueste mas por ahora el RT, . En mi opinion, se estan empleando mas rayos, pues no se cuenta con un reductor de ruido-interpolador de muestras, que permitiera usar menos rayos y rellenar la informacion faltante ganando asi rendimiento. AMD dijo que se incluira en FidelityFX este reductor de ruido (es un modelo emparentado con el del escalador). Si por algun milagro salen con un modelo unico que pueda hacer las dos cosas a la vez, seria mucho mejor

-y finalmente en esto entran otras cosas como sistemas de IA muy avanzados que igualmente pueden acelerarse