Detaillierte Analyse des Pfad-Tracings der RE-Engine: SER, ReSTIR Global Illumination und DLSS Ray Racing in Resident Evil Requiem und PRAGMATA

Die neuesten Titel von CAPCOM, PRAGMATA und Resident Evil Requiem, markieren einen bedeutenden Fortschritt in der Grafiktechnologie, da sie die ersten Spiele sind, die die RE Engine mit Path Tracing-Unterstützung nutzen. Während der kürzlich auf der GDC 2026 präsentierten Präsentation „Real-Time Path Tracing in RE ENGINE for Resident Evil Requiem and PRAGMATA“ wurden detaillierte Einblicke in diese innovative Umsetzung gewährt – ein absolutes Muss für Grafikbegeisterte und Entwickler gleichermaßen.

Diese spannende Präsentation ist auf dem YouTube-Kanal „NVIDIA Game Developer“ verfügbar. Es überrascht nicht, dass NVIDIA eine entscheidende Rolle bei der Implementierung von Path Tracing in der Engine von CAPCOM spielte. In der Session sprach Hitoshi Mishima vom RE Engine-Team von CAPCOM über die architektonischen und künstlerischen Aspekte der Implementierung, während Calvin Shu von NVIDIA Einblicke in die GPU-Leistungsoptimierungen speziell für diese beiden Spiele gab.

Bei CAPCOM wurde die Integration maßgeblich von Kenta Nakamoto und Kosuke Nabata geleitet, die das Projekt in rund anderthalb Jahren abschlossen. Diese Weiterentwicklung ist eng mit NVIDIA DLSS Ray Reconstruction verknüpft, was die Rauschunterdrückung verbessert und eine effiziente Echtzeitleistung ermöglicht. Daher ist für diese Spiele letztendlich NVIDIA GeForce RTX-Hardware erforderlich.

Eine Präsentationsfolie mit dem Titel „RE ENGINE Ray Tracing / Path Tracing Pipeline“ zeigt ein Flussdiagramm mit Abschnitten, die mit „Common“, „GBuffer“, „Lighting“, „Transparent“, „Post Effects“ und „Build BVHs“ beschriftet sind und auf gemeinsame Prozesse für Raytracing und Path Tracing hinweisen.

Die RE Engine unterstützte Raytracing bereits mit der Veröffentlichung von Resident Evil Village im Jahr 2021. Zu den Features gehörten Raytracing-basierte globale Beleuchtung, Umgebungsverdeckung und Reflexionen. Allerdings nutzte sie Rasterisierung für die direkte Beleuchtung und Raytracing ausschließlich für die indirekte. Im Gegensatz dazu verarbeitet vollständiges Path Tracing sowohl direkte als auch indirekte Beleuchtung über eine einheitliche Path-Tracing-Pipeline. Dies ermöglicht detailliertere Schatten, klarere Reflexionen, zuverlässigeres Denoising und eine fortschrittlichere Umgebungsverdeckung, die herkömmliche Raytracing-Methoden übertrifft. Die Erstellung der Bounding Volume Hierarchy (BVH) erfolgt asynchron, wodurch gemeinsam genutzte Ray-Query- und Material-Shader-Frameworks möglich sind.

Im Verlauf der Präsentation traten die technischen Details in den Vordergrund. CAPCOM nutzte eine Streaming-RIS- Technik, um die wichtigsten Lichtquellen effektiv zu priorisieren. Zu den wichtigsten Designentscheidungen gehörten:

Um dunkle Ränder in hell erleuchteten Bereichen zu mildern, wurde eine Helligkeitskompensation eingeführt, bei der Reservoir-Aktualisierungen für die Belichtungsanpassung der Kamera verwendet werden.
Um die ALU-Kosten zu reduzieren, wurde während der Kandidatenauswahl ein vereinfachtes BSDF- Modell (Kombination aus Lambert’scher Diffusivität und einlappiger Spiegelung) verwendet.
Image-Based Lighting (IBL) wurde in Innenräumen mit hochintensivem IBL aus der Kandidatengruppe ausgeschlossen, da diese Proben häufig verdeckt waren, was zu einer hohen Varianz und Beeinträchtigung bei der DLSS-Strahlrekonstruktion führte.
Explizite NEE-Proben wurden mithilfe der Walker’schen Alias-Methode integriert, wodurch eine effiziente Dreiecksabtastung auf Basis von Fläche und Intensität ermöglicht wurde.

Die RE-Engine erstellt um jede Punktlichtquelle ein 3D-Gitter (AABB) mit 16×128×128 Zellen, die jeweils eine Licht-ID-Bitmaske enthalten. Dadurch kann das Streaming-RIS an jedem Schattierungspunkt auf das Gitter zugreifen und die Leistung deutlich optimieren, indem nur relevante Lichter ausgewertet werden.

Ein direkter Vergleich zeigt den Effekt von NVIDIAs „ReSTIR GI“ auf indirekte Beleuchtung und verdeutlicht eine deutliche Verbesserung der Bildschärfe und der Lichtabtastung zwischen dem oberen und dem unteren Bild.

Das Entwicklerteam integrierte die ReSTIR GI- Technik, um die Stabilität der DLSS-Strahlrekonstruktion zu verbessern und das Rauschen bei indirekter Beleuchtung deutlich zu reduzieren. Diese Technik ermöglicht die Wiederverwendung von Pfadabtastwerten über mehrere Frames hinweg; Pfade aus vorherigen Frames werden neu abgetastet, während die Pfade des aktuellen Frames in jedem Pixel gespeichert werden.

Um eine übermäßige Korrelation mit der Strahlrekonstruktion zu vermeiden, werden die Abtastwerte nicht pixelgenau, sondern von leicht versetzten Positionen relativ zum vorherigen Frame ermittelt. Diese Strategie ermöglichte es, diverse Szenen in Resident Evil Requiem und PRAGMATA ausschließlich mit IBL auszuleuchten, was zu deutlich reduziertem Rauschen führte.

Darüber hinaus wurde in der Präsentation hervorgehoben, wie der DLSS-Ray-Reconstruction-Guide-Puffer eingesetzt wurde, um bestimmte visuelle Artefakte zu korrigieren, wie zum Beispiel:

Subsurface Scattering: Aufgrund des SSS-Weichzeichners traten in Haarbereichen Geisterbilder auf. Eine Lösung bestand darin, Luminanzunterschiede vor und nach der Streuung im Guide-Puffer zu kodieren, um eine korrekte Anpassung zu ermöglichen.
Mattiertes Glas: Ähnliche Artefakttypen wurden auch auf mattierten Oberflächen beobachtet, die ebenfalls mit der SSS-Führungspuffertechnik behandelt wurden.
Regentropfen und transparente Aufkleber: Der Mechanismus zur Behandlung von Verdeckungen ließ Regentropfen nahezu unsichtbar erscheinen. Die Lösung bestand darin, die Verdeckungsmaske zu verwenden, um Normalen vor und nach dem Aufbringen des Aufklebers zu berechnen.
Animierte Projektionstexturlichter: Die Ray Reconstruction hatte Schwierigkeiten mit der schnellen Änderung animierter Lichtmuster auf Oberflächen; die RIS-Animationsgewichte wurden gegen die Gesamtgewichte moduliert, um dies zu optimieren.
Hologramme: Die Emissionsfarbenanimationen in Hologrammen wurden im Guide-Buffer nicht korrekt dargestellt, was zu Unschärfen führte. Es wurden Anpassungen vorgenommen, um die diffuse und spiegelnde Albedo im Guide-Buffer durch die Emissionsfarbe zu ersetzen.

Ein Vergleichsbild, das „Strands Rasterizer Strand Hair“ mit zwei nebeneinander stehenden Abschnitten zeigt, die von NVIDIA mit „Hardware Rasterizer“ und „Hardware Rasterizer + Software Rasterizer[4]“ beschriftet sind.

Sowohl Resident Evil Requiem als auch PRAGMATA nutzen CAPCOMs proprietäre Stranghaar-Technologie, die erstmals im Resident Evil 4 Remake (2023) vorgestellt und seitdem weiterentwickelt wurde. Dieser Ansatz verwendet eine hybride Hardware- und Software-Rasterisierungspipeline. Dickere Haarsträhnen werden klassifiziert und aussortiert, bevor dichtere Strähnen hardwareseitig gerastert und feinere Härchen softwareseitig halbtransparent dargestellt werden. Beim Raytracing ersetzt ein Fallback-Mesh die vollständige Stranggeometrie im BVH. PRAGMATA erweitert dies auf ein formales Strang-BVH, um das fließende, lange Haar der Hauptfigur besser darzustellen.

Calvin Shu schloss die Präsentation mit der Erläuterung des Optimierungsprozesses anhand einer Testszene von PRAGMATA ab, die die Leistungsfähigkeit von DLSS Ray Reconstruction, DLAA und der RTX 5090 in 4K-Auflösung demonstrierte. Diese spezielle Szene umfasste 73 analytische Lichtquellen und 32 emittierende Samples eines 4K-Arrays.

Eine mit „Testszene“ beschriftete Szene zeigt eine Figur, die eine andere Person in einer futuristischen Umgebung trägt, mit dem Text „DLSS-RR (DLAA) auf RTX 5090 @ 4K: Taktraten auf Basis gesperrt“.

Bühne	Frame-Zeit	Anmerkungen
Basislinien-CS-Wellenfront	21 ms	Langsame Performance aufgrund hoher Thread-Anzahl und Ineffizienz in Light-Sampling-Schleifen.
Vereinfachtes RIS BRDF	17, 7 ms	Die Effizienz wurde durch die Optimierung von Zufallsaufrufen und die Aufteilung von UInt32 in zwei Gleitkommazahlen erreicht.
Naiver SER-Port	23, 5 ms	Ohne SER-Neuanordnung blieben die Ergebnisse erwartungsgemäß hinter den Erwartungen zurück.
SER aktiviert	20, 8 ms	Verbesserte Kohärenz, jedoch traten Verzögerungen im Befehlscache auf.
SER + bindungslose Ressourcen	~16, 9 ms	Die Anzahl der Anweisungen wurde deutlich reduziert und Engpässe wurden beseitigt.
Fahreroptimierungen	13, 3 ms	Zum Zeitpunkt der Präsentation noch nicht veröffentlicht.

Die Optimierung des Pfad-Tracings in der RE Engine verlief alles andere als linear, da die Implementierung der Shader-Ausführungsreihenfolge (SER) zu deutlichen Regressionspunkten führte. Die Untersuchung ergab, dass das Zusammenführen zweier Compute-Shader-Durchläufe zu einem einheitlichen Dispatch-Ray-Aufruf unbeabsichtigt zu Befehlsduplizierung führte und die Leistungsprobleme verschärfte. Der Übergang zu bindless behebt diese Ineffizienzen und zeigt eine signifikante Verbesserung der Optimierung.

Zum Abschluss seiner Präsentation betonte Calvin Shu die Wichtigkeit der Implementierung von DXR 1.2 mit Shader Execution Reordering für zukünftige Path-Trace-Implementierungen. Dieser Ansatz könne eine nahezu „ Lichtgeschwindigkeit “ erreichen und damit NVIDIAs ambitioniertes Leistungsziel für GPUs unterstreichen. Er stellte außerdem die kommende Version 2.0 der DLSS Ray Reconstruction Disocclusion Mask vor, die die Behandlung von Grenzfällen, die in Resident Evil Requiem und PRAGMATA auftraten, verbessern soll.

Quellen & Bilder