PC 그래픽 렌더링 파이프라인의 진화: 고정 함수 방식에서 실시간 경로 추적 방식으로의 전환

게임 엔진은 다음과 같은 변화를 겪기 시작했습니다.

• 자신만의 렌더링 그래프를 구성하세요.
• 작업량을 명시적으로 예약합니다.
• 리소스 수명 관리;
• 그래픽과 컴퓨팅 작업을 매끄럽게 결합합니다.

이러한 발전 덕분에 GPU는 수수께끼 같은 블랙박스에서 개발자들이 직접 관리할 수 있는 맞춤형 기기로 변모했습니다.

새로운 혁신 기술들이 개발 중입니다

이 시기에는 새로운 개념들이 도입되거나 공식화되기도 했습니다.

• 메시 셰이더 – 기존의 정점 및 기하 처리 방식을 대체합니다.
• 샘플러 피드백 스트리밍 — 가상 텍스처 기법 활용 촉진;
• 바인딩되지 않는 리소스 — 상태 전환 오버헤드 최소화;
• 타일형 및 클러스터형 조명 – 수천 개의 광원을 효율적으로 관리합니다.

그래픽 파이프라인은 경직된 일련의 작업에서 벗어나 유연하고 데이터 중심적인 아키텍처로 전환되었습니다.

하지만 Direct3D 12나 Vulkan 1.0과 같은 초기 저수준 그래픽 API 구현은 완벽하지 않았습니다.저수준 세부 설정을 제대로 조정하지 못하면 최적화된 Direct3D 11 구현보다 성능이 저하되어 미세한 끊김 현상, 비효율적인 GPU 사용, 불규칙한 프레임 페이싱과 같은 문제가 발생했습니다.이는 개발자들이 이러한 API의 잠재력을 최대한 활용하는 데 어려움을 초래했고, 장기적인 이점에도 불구하고 빠른 도입을 저해했습니다.

5.실시간 레이 트레이싱 및 하이브리드 파이프라인 (2010년대 후반~현재)

최근 렌더링 기술의 혁신으로 실시간 레이 트레이싱이 등장했는데, 이는 한때 그래픽 렌더링의 궁극적인 성과로 여겨졌으며, 주로 디즈니나 픽사 같은 스튜디오의 고예산 애니메이션 영화에서 볼 수 있는 오프라인 제작 품질과 연관되었습니다.

RTX의 혁신

2018년 NVIDIA는 튜링 아키텍처 기반의 GeForce RTX 20 시리즈를 공개하며 다음과 같은 특징을 선보였습니다.

• 광선 추적(RT) 코어를 통해 광선/상자 및 광선/삼각형 교차 계산 속도를 향상시킵니다.
• 머신러닝 기반 시간적 업스케일링을 위해 설계된 텐서 코어 ;
• 마이크로소프트의 DirectX Raytracing (DXR)은 실시간 레이 트레이싱을 위한 표준 API입니다.

GPU가 처음으로 실시간 게임 플레이에 활용할 수 있을 만큼 빠른 속도로 장면을 통과하는 광선을 추적할 수 있게 되었습니다.

마이크로소프트의 DXR API를 통해 제공되는 레이 트레이싱 기능과 더불어, DirectX 12 생태계는 Microsoft DirectX 12 Ultimate 의 도입으로 더욱 발전했습니다. DirectX 12 Ultimate는 주요 그래픽 기술들을 단일 API로 통합하여 개발자들이 차세대 게임에서 성능, 시각적 품질, 적응성을 향상시킬 수 있는 향상된 기능을 제공합니다.

• DirectX Raytracing(DXR) 1.1 — 유연한 제어 기능과 향상된 GPU 기반 레이 트레이싱 기능을 제공하는 고급 버전입니다.
• 메시 셰이더 는 기존의 정점 및 테셀레이션 워크플로우를 재구성하여 컴퓨팅 스타일 작업에 최적화하는 새로운 프로그래밍 가능한 기하 처리 모델입니다.
• 가변 셰이딩(VRS) — 개발자가 프레임 전체에 걸쳐 셰이딩 속도를 다양하게 조절할 수 있도록 하여 중요도가 낮은 영역의 작업 부하를 줄여 성능을 향상시킵니다.
• 샘플러 피드백 — 상세한 샘플링 데이터를 제공하여 지능형 텍스처 스트리밍 및 셰이딩을 지원함으로써 광활한 세계에서 로딩 시간과 시각적 오류를 최소화합니다.

이러한 모든 혁신은 DirectX 12 Ultimate를 이전 버전과 차별화하는 핵심적인 개선 사항을 의미하며, 최신 게임이 더욱 효율적으로 실행되고 더욱 풍부한 시각적 경험을 제공할 수 있도록 도와줍니다.

하이브리드 렌더링이 주목받고 있습니다

현대 게임들은 레이 트레이싱을 선호하여 래스터화 방식을 버리는 것이 아니라, 두 가지 방식을 모두 통합합니다.

• 래스터화는 형상을 픽셀로 변환하고 화면에 보이지 않는 요소를 제거합니다.
• 레이 트레이싱은 직접 조명과 간접 조명 요소를 모두 향상시키며, 다음과 같은 영역을 포함합니다.
  • 성찰;
  • 그림자;
  • 주변부 폐쇄;
  • 지구 조명;
  • 부식성 물질;
  • 그 외에도 더 있습니다.

이 하이브리드 파이프라인은 성능과 현실감을 완벽하게 결합합니다.

파이프라인에 AI 통합

실시간 레이 트레이싱의 실현 가능성은 인공지능 및 머신러닝과 불가분의 관계에 있다.

• NVIDIA DLSS Ray Reconstruction 및 AMD FSR Ray Regeneration 과 같은 AI 기반 노이즈 제거 기술은 픽셀당 최소한의 광선 데이터로 선명한 이미지를 재구성합니다.
• NVIDIA DLSS Super Resolution, Intel XeSS, AMD FSR Upscaling을 포함한 머신러닝 메커니즘을 활용한 시간적 업스케일링으로 저해상도 영상을 고화질 영상으로 구현합니다.
• NVIDIA DLSS(멀티) 프레임 생성, AMD FSR 프레임 생성, Intel XeSS 프레임 생성 과 같은 기술을 활용한 AI 기반 프레임 보간은 향상된 부드러움을 제공하는 고품질 보간 프레임을 생성하지만, 지연 시간 및 시각적 아티팩트 측면에서 약간의 단점이 있을 수 있습니다.

그 결과, AI 기술은 더 이상 부가적인 요소가 아니라 현대 그래픽 파이프라인의 필수적인 부분이 되었습니다.

실시간 경로 추적을 향하여

일부 혁신적인 게임과 데모에서는 이제 거의 모든 조명 상호 작용에 경로 추적 기능을 적용하는 완전한 경로 추적 기술을 구현하고 있습니다.

• 사이버펑크 2077 RT 오버드라이브;
• 마인크래프트 RTX;
• 퀘이크 II RTX.

여전히 많은 리소스를 요구하지만, 이러한 예시들은 래스터화와 관련된 근사치를 제거하고 전체적인 조명 모델로 정의되는 미래를 엿볼 수 있게 해줍니다.

DirectX 12 Ultimate 및 Vulkan 1.4 와 같은 최신 그래픽 API는 연산 중심 처리 로의 뚜렷한 전환을 보여주며, 고정된 셰이더 단계, 특히 효율성이 떨어지는 지오메트리 셰이더에 대한 의존도를 줄여 GPU의 활용성을 향상시킵니다.

메시 셰이더 및 컴퓨팅 기반 지오메트리 렌더링과 같은 혁신적인 기술 (예: 언리얼 엔진 5의 나나이트 가상화 지오메트리 시스템) 덕분에 개발자는 이제 오클루전 컬링, LOD(Level Of Detail) 선택, 프로시저럴 생성, 가시성 계산과 같은 복잡한 지오메트리 연산을 컴퓨팅 중심적인 방식으로 실행할 수 있게 되었습니다.이는 정점 셰이더, 픽셀 셰이더, 컴퓨팅 셰이더가 현대 그래픽 파이프라인의 핵심 프로그래밍 구성 요소로 자리 잡는 광범위한 추세를 반영하며, 이를 통해 컴퓨팅 리소스가 기존에는 그래픽 영역 외부에 있던 작업까지 지원할 수 있게 되었습니다.

6.오프라인 렌더링의 영향: 꾸준한 영감의 원천

그래픽 렌더링 기술의 지속적인 발전 과정에서 오프라인 렌더링은 다음과 같은 혁신적인 기술들을 꾸준히 선보여 왔습니다.

• 양방향 반사율 분포 함수(BRDF )
• 몬테카를로 샘플링 ;
• 전역 조명 ;
• 노이즈 제거 알고리즘 ;
• 영화적 톤 매핑.

과거에는 대규모 렌더팜에서만 가능했던 작업이 알고리즘 발전과 GPU 성능 향상 덕분에 실시간으로 구현 가능해지고 있습니다.오프라인 렌더링과 실시간 렌더링 기술의 경계가 점점 모호해지면서, 최신 게임 엔진과 GPU 설계에 큰 영향을 미치고 있습니다.

7.래스터화, 레이 트레이싱, 패스 트레이싱: 세 가지 패러다임, 하나의 미래

그래픽 렌더링 파이프라인의 발전 과정을 살펴보면, 단일한 지배적 렌더링 기법에서 벗어나고 있음을 알 수 있습니다.오늘날 최신 PC 그래픽은 래스터화, 레이 트레이싱, 패스 트레이싱 (풀 레이 트레이싱이라고도 함)이라는 세 가지 주요 패러다임이 공존하고 융합되는 형태를 띠고 있습니다.이러한 패러다임의 고유한 특성을 이해하는 것은 그래픽 파이프라인의 현재 상태와 미래 방향을 파악하는 데 필수적입니다.

래스터화: 실시간 그래픽의 초석

래스터화는 실시간 렌더링이 처음 등장한 이래로 그 기반이 되어 왔습니다.

래스터화는 삼각형을 화면에 투영하고 해당 삼각형이 차지하는 픽셀을 결정하는 방식으로 작동합니다.높은 효율성, 강력한 병렬 처리 기능, GPU 하드웨어와의 완벽한 호환성을 자랑합니다.기하학적 형상을 픽셀과 직접 연관시키기 때문에 래스터화는 다음과 같은 분야에서 탁월한 성능을 발휘합니다.

• 높은 데이터 처리량;
• 일관된 성과;
• 방대한 양의 기하학적 정보를 관리합니다.

하지만 래스터화에는 중요한 한계가 있습니다.바로 빛을 시뮬레이션하지 못한다는 점입니다.조명, 그림자, 반사, 전역 조명 등 모든 측면은 다음과 같은 다양한 방법을 사용하여 근사화해야 합니다.

• 그림자 지도 ;
• 화면 공간 반사 ;
• 광 탐침 ;
• 주변부 차폐 ;
• 미리 구워진 조명.

이러한 방법들은 매우 현실적인 결과를 도출할 수 있지만, 근본적으로는 발견적 방법일 뿐 진정한 물리적 시뮬레이션은 아닙니다.

오늘날에도 래스터화는 특히 주요 가시성 계산 및 고성능 렌더링에 필수적이며, 앞으로도 오랫동안 그 중요성이 지속될 것으로 예상됩니다.

레이 트레이싱: 물리적 영감과 선택적 강조

레이 트레이싱은 렌더링에 있어 정반대의 접근 방식을 취합니다.카메라(및 광원)에서 장면으로 향하는 광선을 추적하여 빛이 표면과 상호 작용하는 방식을 세밀하게 시뮬레이션합니다.

이 방법론을 통해 레이 트레이싱은 다음과 같은 것들을 기본적으로 처리할 수 있습니다.

• 진정한 반영;
• 부드러운 그림자;
• 지구 조명;
• 굴절.

하지만 레이 트레이싱은 특히 다양한 효과가 포함된 복잡한 장면을 렌더링할 때 CPU와 GPU 모두에서 엄청난 연산 능력을 요구합니다.따라서 최신 게임들은 하이브리드 렌더링 프레임워크 내에서 레이 트레이싱을 선택적으로 활용합니다.

• 래스터화는 보이는 형상을 계산합니다.
• 레이 트레이싱은 특정 조명 효과를 다룹니다.

이 하이브리드 접근 방식은 시각적 충실도와 계산 효율성 사이에서 중요한 균형을 유지하며, 기존 파이프라인을 완전히 대체하지 않고 렌더링 프로세스를 최적화합니다.

특히, 레이 트레이싱은 Microsoft DXR 및 Vulkan RT 와 같은 API를 통해 그래픽 파이프라인에 통합되어, 오프라인 전용 기술에서 실용적인 실시간 렌더링 도구로 전환되었습니다.

패스 트레이싱: 조명 시뮬레이션을 위한 최고의 접근 방식

패스 트레이싱 또는 풀 레이 트레이싱은 픽셀당 수많은 광선을 추적하고 그 기여도를 종합하여 장면의 모든 조명 역학을 정확하게 시뮬레이션하는 특수한 방법입니다.

래스터화 또는 하이브리드 레이 트레이싱과는 극명한 대조를 이루며, 패스 트레이싱은 다음을 필요로 하지 않습니다.

• 그림자 지도;
• 광 탐침;
• 화면 공간 수정;
• 구운 조명.

직접 조명과 간접 조명, 반사, 굴절, 코스틱 효과를 포함한 모든 조명 요소는 이 시뮬레이션에서 자연스럽게 생성되므로, 라이트맵 텍스처 베이킹이 필요 없어 개발자의 시간을 크게 절약할 수 있습니다.

이 방법의 주요 단점은 성능 입니다.경로 추적은 래스터화보다 기하급수적으로 더 많은 계산량을 요구하며, 선택적 광선 추적보다도 더 많은 계산량을 필요로 합니다.따라서 현재는 다음과 같은 용도로만 사용이 제한됩니다.

• 실험 장치;
• 고급 사용자용 PC 하드웨어;
• 간결한 장면들.

그럼에도 불구하고, 머신러닝 기반 시간적 업스케일링, 프레임 생성 및 노이즈 제거와 같은 기술의 급속한 발전으로 인해 패스 트레이싱을 사용하는 것은 “불가능”에서 “비실용적”으로, 그리고 미래에는 “표준”으로 전환될 가능성이 있습니다.

수렴의 경로

주목할 만한 점은 그래픽 파이프라인의 발전 방향이 래스터화를 패스 트레이싱으로 갑자기 대체하는 것을 포함하지 않는다는 것입니다.

오히려 우리는 수렴 현상을 목격하고 있습니다.

• 래스터화는 속도와 기하학적 처리량을 제공합니다.
• 레이 트레이싱은 물리적으로 근거 있는 빛 시뮬레이션을 도입합니다.
• AI는 재구성을 용이하게 하고 성능 최적화를 지원합니다.

이러한 요소들이 결합되어 새로운 유형의 파이프라인을 구축합니다.이는 순수한 래스터 방식도 아니고 레이에만 초점을 맞춘 방식도 아닌, 정확성과 상호작용성을 모두 고려하여 정교하게 조정된 하이브리드 시스템입니다.

이러한 융합은 PC 그래픽 환경의 가장 혁신적인 변화 중 하나를 의미합니다.

마지막으로

PC 그래픽 렌더링 파이프라인의 발전 과정은 창의적 자유의 확장을 중심으로 전개되어 왔다.

초기에 엄격하게 정의된 일련의 프로세스로 시작했던 파이프라인은 이제 기하학적 구조뿐만 아니라 빛까지 시뮬레이션할 수 있는 고도로 프로그래밍 가능한 하이브리드 대규모 병렬 프레임워크로 성장했습니다.고정 기능 아키텍처에서 셰이더 프로그래밍으로의 전환, 개별 하드웨어에서 통합 설계로의 변화, 고수준 API 제약에서 저수준 제어로의 전환, 그리고 래스터 방식에서 레이 트레이싱 및 패스 트레이싱으로의 전환 등 모든 변화는 개발자의 시각적 스토리텔링 능력을 크게 확장시켜 주었습니다.

실시간 그래픽과 오프라인 렌더링 원리의 결합은 놀라운 결과를 가져왔습니다.물리 기반 재질, 전역 조명, 몬테카를로 샘플링, 노이즈 제거와 같은 기술들은 한때 영화 스튜디오의 전유물이었던 것들이 이제 현대 비디오 게임의 시각적 특징을 정의하는 필수 요소가 되었습니다.”실시간” 렌더링과 “오프라인” 렌더링의 구분은 모호해졌고, 유연한 스펙트럼으로 확장되었습니다.

이러한 발전에도 불구하고 그래픽 파이프라인은 여전히 ​​과거의 전통에 뿌리를 두고 있습니다.실시간 렌더링의 핵심인 래스터화는 단순한 유물이 아니라, 더욱 발전되고 물리적으로 정확한 방식들이 구축된 토대가 되는 기본 기술로서 여전히 중요한 구성 요소로 남아 있습니다.오늘날의 그래픽은 속도와 사실성이라는 이분법적 대립의 문제가 아니라, 이 둘을 능숙하게 결합하는 문제입니다.

앞으로 PC 그래픽 파이프라인의 특징은 컴퓨팅, 그래픽, AI/ML, 시뮬레이션의 통합에 더욱 의존하게 될 것입니다. GPU가 더욱 전문화되고 기능이 확대됨에 따라, 그리고 게임 엔진이 경직된 구조에서 벗어나 데이터 중심적으로 발전함에 따라, “렌더링 방식”과 “시뮬레이션 내용”을 구분하는 경계가 점점 모호해지는 상황에 직면하게 될 것입니다.

이러한 맥락에서 그래픽 파이프라인은 단순히 정점에서 픽셀로 이어지는 순차적인 경로에서 벗어나 실시간으로 현실을 모델링하는 정교한 시스템으로 변모합니다.

출처 및 이미지