nVidia will zukünftig eher bessere Upscaler statt (viel) mehr Rohpower bringen

Die PC Games Hardware [1] weist auf bemerkenswerte nVidia-Aussagen zur zukünftigen Technologie-Ausrichtung hin, welche im Rahmen einer Diskussionsrunde der Digital Foundry @ YouTube [2] gefallen sind. Danach sieht nVidia die Verbesserung der Rohpower nicht mehr als beste Lösung zugunsten einer höheren Grafikqualität an, da "Moore's Law" nicht mehr funktionieren würde. Vielmehr wären laut nVidia verbesserte Upscaler wie DLSS 3.5 ein einfacherer Weg zu höherer Grafikqualität. Dies spielt zum einen auf die mit DLSS 3/3.5 erreichte Grafikqualität an, den Hauptteil liefert hier aber natürlich die Performance-Verbesserung von DLSS, welche die Darstellung dieser Grafikqualität zu spielbaren Frameraten überhaupt erst ermöglicht. Ohne DLSS ist diese Grafikqualität zwar auch schon da, doch die ohne DLSS erreichbaren Frameraten sind oftmals zu niedrig für einen sinnvollen praktischen Einsatz.

If you really internalize the idea that Moore's Law is dead then you fundamentally realize that you have to be more intelligent about the graphics rendering process.
 
At the same time that traditional ways have just turn the crank to make graphics bigger, they don't work anymore, we have new opportunities to be smarter about how we do graphics and you can look at ray reconstruction as an example.
Quelle:  nVidias Bryan Catanzaro in einer Gesprächsrunde der Digital Foundry @ YouTube [3], veröffentlicht am 19. September 2023

Was sich auf den ersten Blick gut anhört, hat allerdings einen gewissen Haken: Auf dem derzeitigen Stand ist DLSS ein einmaliger Performance-Effekt. Sprich, es gibt einmalig einen gewissen fps-Boost – und alles, was man für zukünftige Spiele-Generationen an Mehrperformance benötigt, muß dann doch wieder über mehr Rohpower erreicht werden (ganz egal ob man trotzdem DLSS zuschaltet). Die Performance-Optimierungsmöglichkeiten von Upscalern erscheinen zudem auf regulärem Weg auch ziemlich ausgeschöpft, da dürfte sich kaum noch etwas ergeben. Die einzige offensichtlich Chance für nVidia, die Upscaler-Zentrierung dauerhaft durchzuziehen, würde im Ausbau der Frame-Generation-Fähigkeiten liegt. Anstatt also nur ein Zwischenbild zu interpolieren, könnten es mehr davon sein – die Menge ist faktisch beliebig, da der Aufwand hierfür vergleichsweise gering ist. Die sich hieraus ergebende Frage ist allerdings, ob dies wirklich der Weg sein kann, zumindest vom derzeitigen technischen Stand aus.

Denn derzeit ist "Frame Generation" ein Feature für primär zwei (sinnvolle) Anwendungszwecke: Entweder mehr fps unter Spieletiteln mit sowieso schon gutklassiger Framerate, sprich aus nativ 70 fps dann ca. 130 fps machend. Oder mehr fps unter klar CPU-limitierten Spieletiteln zu erzeugen, wo die Grafikkarte sowie schon mehr könnte und ständig auf die CPU warten muß. In beiden Fällen umgeht man das Hauptproblem von "Frame Generation" in Form des Inputlags. Jenes tritt bei sowieso schon schnellen Frameraten nicht wirklich hervor bzw. ist bei CPU-limitierten Titel meist generell nicht in dieser Form vorhanden, oftmals auch Genre-bedingt (Strategie-Spiele etc). Nicht gut geeignet ist "Frame Generation" hingegen für Spiele mit niedriger Framerate, wo die Spiele-Engine allerdings eher hohe Frameraten voraussetzt, um eine gute Steuerung zu gewährleisten. Dort müsste man eher mit der Bildqualität heruntergehen, um jene hohen Frameraten zu erreichen – und erst dann könnte man mit "Frame Generation" nachbessern.

Somit kommt "Frame Generation" in vielen Fällen nur in dieser Form zum Einsatz, um eine sowieso schon hohe Framerate in eine noch höhere umzuwandeln. Der Anwendungsfall, mittels "Frame Generation" aus einer tatsächlich zu niedrigen Framerate auf eine spielbare Frameraten zu kommen, ist hingegen wirklich selten. Dies funktioniert eigentlich nur, wenn die Spiele-Engine auch mit niedrigerer Framerate eine flüssige Eingabe ermöglicht (was in einer Vielzahl an Spiele-Genres prinzipbedingt kaum möglich ist) Wenn man "Frame Generation" nunmehr hingegen auf die Generierung von mehreren Zwischenbildern auslegen würde, ändert sich an dieser Einsatz-Beschreibung eigentlich gar nichts: In diesen Fällen, wo man es nutzt, steigt die Framerate deutlich an – aber dort, wo man es wegen Schwierigkeiten mit dem Inputlag bisher nicht nutzen kann, würde auch die Generierung von noch mehr Zwischenbildern nichts an diesem Inputlag-Problem ändern – und das Feature wäre dort weiterhin nutzlos.

Dabei eröffnet die Generierung von noch mehr Zwischenbildern den Spiele-Entwicklern sogar die unheilvolle Möglichkeit, mit nativ noch niedrigerer Framerate anrücken zu können. Wenn der Spiele-Entwickler von vierfacher Frame-Generierung ausgehen kann, dann reichen jenem vielleicht 20 fps im nativen Betrieb aus – sollen doch die Upscaler (mit Frame-Generierung) den Rest erledigen. Aus diesen zwei Gründen heraus ist derzeit nicht zu sehen, wie mehr Zwischenbilder die Upscaling-Technologie nochmals besonders weiter bringen können. Wenn dies jedoch nicht passiert, dann ist der bestmögliche Performance-Effekt der Upscaler bereits jetzt nahezu erreicht. Und dies wiederum bedeutet, dass nVidia sich kaum davor retten kann, mit zukünftiger Hardware doch (deutlich) mehr Rohpower zu liefern. Denkbarerweise wurde diese nVidia-Aussage auch schlicht dazu getroffen, um die aktuelle Technologie als das "Non-plus-Ultra" zu promoten – aber die Tendenz, zukünftig noch mehr auf (billige) Software gegenüber (teure) Hardware zu setzen, ist dennoch enthalten.

Doch noch ist nicht zu sehen, wie dies auf Basis der jetzigen Technologien deutlich besser werden kann. Hierzu müsste nVidia bei zukünftigen Grafikchip-Generationen schon mit etwas deutlich anderem als den bisherigen Upscaling-Technologien anrücken. Dabei hat nVidia für diesen Entwicklungsweg derzeit erhebliche Anreize zum einen als eindeutiger Marktführer [4] mit demzufolge den viel größeren Reserven – und zum anderen indirekt über den aktuellen Erfolg im HPC/KI-Segment, welcher Haus-intern nahelegt, das Gaming-Segment profitabler und damit vor allem Waferfläche-sparender zu machen. Der Ansporn für effektivere Upscaling-Technologien ist somit zweifelsfrei vorhanden – aber zumindest eine multiple Frame-Generierung erscheint nicht als der richtige Weg. Da wird sich nVidia etwas anderes einfallen lassen müssen, um tatsächlich mit geringeren Rohpower-Sprüngen [5] anrücken und dennoch eine kraftvolle Performance-Verbesserung bieten zu können.

Nachtrag vom 25. September 2023

Im weiteren Verlauf der jüngst thematisierten Diskussionsrunde der Digital Foundry @ YouTube [2] hat nVidias Bryan Catanzaro (Vice President Applied Deep Learning Research) nochmals klarer gemacht, dass man bei allen Aktivitäten, um Pixel zukünftig effektiver und Rohpower-schonender zu rendern, DLSS einen gewichtigen Anteil nehmen wird – in dem bis zu einem (derzeit hypothetischen) DLSS 10 mit kompletten neuralen Rendering-System gedacht wurde. Natürlich wird nVidia auch jede andere Möglichkeit nutzen, um effizient zu rendern, keine Frage. Doch mit der Verbesserung der herkömmlichen Rendering-Pipeline beschäftigen sich die Grafikchip-Entwickler schon seit mehreren Dekaden, ergo sind an dieser Stelle große Sprünge inzwischen eher unwahrscheinlich. Ein vergleichsweise neuer Ansatz wie DLSS bzw. Upscaler im allgemeinen hat da durchaus größere Chancen, genau diese größeren Sprünge auch zukünftig noch bieten zu können.

I do think that let's say DLSS 10 in the far, far future is going to be a completely neural rendering system that interfaces with a game engine in different ways, and because of that, it's going to be more immersive and more beautiful.
Quelle:  nVidias Bryan Catanzaro in einer Gesprächsrunde der Digital Foundry @ YouTube [6], veröffentlicht am 19. September 2023

Hierzu sehr interessant ist ein diesbezügliches Posting im 3DCenter-Forum [7], in welchem über eine (hypothetische) Ausgestaltung eines zukünftigen Upscalers referiert wird. Generell wird hierbei auf "Frame Generation" gesetzt, allerdings soll dennoch die Kamera-Bewegung und damit die Eingabe des Spielers mit einfließen, um somit den Inputlag niedrig zu halten. Eine erweitere Form von "Frame Generation" könnte dann beispielsweise jene Bildteile erkennen, welche einfach aus dem vorherigen Frame samt der Information zur Kamera-Bewegung generiert werden können – und jene Bildteile, die zu vielen Änderungen für eine Interpolation aufweisen, somit hingegen neu gerendert werden müssen. Die Verbindung der jeweils passenden Methoden für jeden Bildbereich sollte die Grafikqualität samt Rechen-Effizienz hochhalten – und da der Frame nicht außerhalb der Engine "erfunden" wurde, sondern innerhalb der Engine mit aktueller Spieler-Eingabe erstellt wurde, ergibt sich wie gesagt auch kein Inputlag-Problem. So könnte durchaus die Zukunft der Spiele-Entwicklung aussehen, wenn stark erweitere Upscaler im generellen Maßstab das Feld übernehmen.

Ein Problem dieses (derzeit hypothetischen) Ansatzes wäre, dass man dies eigentlich Engine-seitig tun sollte, nicht als Grafikkarten-bezogenes Upscaling-Features eines einzelnen Grafikchip-Entwicklers. Natürlich will nVidia hier die Kontrolle über seine Features und damit seine Marktmacht erhalten, ergo wird man wohl versuchen, so etwas (oder zielgemäß ähnliches) im Rahmen zukünftiger DLSS-Versionen umzusetzen. Dann wird allerdings der Übergang um so schwerer, denn je umfangreicher der Upscaler in die Rendering-Pipeline eingreift, desto schwieriger ist jener nachträglich in eine vorhandene Spiel-Engine zu integrieren. Natürlich könnte dies auch Scheibchen-weise passieren, die im Foren-Posting skizzierte Upscaler-These [7] dürfte eher nur das Endergebnis von mehreren Jahren Entwicklung samt entsprechend vielen Zwischen-Stufen sein. Und zumindest läßt sich anhand dieser These erkennen, wie viel Performance- und Effizienz-Potential noch in Upscalern steckt – womit das (starke) Interesse der Grafikchip-Entwickler an deren Weiterentwicklung gesichert sein dürfte.