모더들이 구형 GPU에 제한된 DLSS 기능을 포팅하다

최근 몇 주 동안 NBA 2K27에서 DLSS 5 Neural Rendering이 출시되었고, 이어서 [구형 GPU 세대로 포팅]되었으며, DLSS Multi Frame Generation (MFG)이 [구형 그래픽 카드용으로 해제]되는 것을 목격했습니다. 하지만 이 모든 것이 어떻게 일어났으며, Nvidia가 최신 Blackwell 기반 GPU 사용자 외의 사람들에게 잠가둔 기능을 모딩 커뮤니티의 사람들이 어떻게 해제하고 있는 것일까요? 저희는 모더인 Dashdogy와 Uncle Burrito를 만나 모딩 커뮤니티가 Nvidia의 소프트웨어 기반 잠금을 어떻게, 그리고 왜 깨뜨리고 있는지 알아봅니다.

2025년 RTX 5000 시리즈 그래픽 카드 출시 당시, 한 호주 학생은 Nvidia 엔지니어들과 함께하는 Digital Foundry 인터뷰를 보고 있었습니다. 그곳에서 팀은 Blackwell GPU에만 제한된 기능인 Multi Frame Generation (MFG)을 시연하고 있었습니다. 팟캐스트 동안 MFG가 구형 RTX 4000 시리즈 하드웨어에서 작동할 수 있다는 아이디어가 제기되었지만, 이 기능은 Ada Lovelace 하드웨어용으로는 출시되지 않았습니다. 수학 및 우주 과학을 전공하는 물리학과 학생인 Dashdogy는 “몇 달에 한 번씩 구글 검색을 해서 실제로 그렇게 되었는지 확인하곤 했습니다.”라고 말했습니다.

“몇 주 전, 완벽한 폭풍이 닥쳤습니다. 학기 중 방학이 막 시작되었고, 저는 항상 하던 대로 같은 구글 검색을 했습니다. 하지만 ‘어쩌면 한번 알아볼까?’라는 생각이 들었습니다. 얼마나 어려울까요?”

하나의 AWS 인스턴스와 늦은 밤을 보낸 일주일 만에, 그는 Ada Lovelace 하드웨어에서 '진정한' MFG(Multi Frame Generation)를 구현하는 데 성공했습니다. 이는 이전에 호환되지 않는 명령어와 그 앞선 모더들의 진행을 막았던 검은 화면 때문에 불가능하다고 여겨졌던 성과입니다. 저희는 이 모드를 광범위하게 테스트했으며 그 결과는 눈에 띕니다. Multi Frame Generation이 비(非)Blackwell 하드웨어에서도 비공식적으로 도착했습니다.

Dashdogy가 구형 GPU의 기능을 구현하기 위해 열심히 노력하는 유일한 모더는 아닙니다. 몇 주 전, DLSS5의 Neural Rendering DLL이 처음 인터넷에 공개되었을 때, RTX Remix 모더인 Uncle Burrito가 그 목표를 직접 겨냥했습니다. 그는

NBA 2K27의 얼리 액세스 버전에서 DLL이 출시된 지 하루도 채 되지 않아 Uncle Burrito는 해당 기술을 Ada 하드웨어로 성공적으로 포팅했습니다. Uncle Burrito가 Ada GPU용 DLSS 5 NR 초기 언락을 공개한 이후 몇 주 동안, Nvidia는 Neural Rendering가 실제로 [RTX 4000 시리즈 GPU]에서 지원될 것임을 명확히 했습니다(https://www.tomshardware.com/pc-components/gpus/dlss-5-officially-launches-inside-nba-2k27-limited-to-rtx-50-series-gpus-for-now-nvidia-promises-to-bring-neutral-rendering-tech-to-rtx-40-series-soon). 이는 Ada GPU에 대한 구현이 DLSS 5 DLL의 초기 출시 버전에서는 단순히 미완성 상태였을 뿐이라는 생각에 힘을 실어주었습니다.

Dashdogy와 Uncle Burrito가 만든 이 두 가지 핵심 모드는 이제 무수히 많은 포크(forks)와 Neural Rendering 및 MFG를 구형 하드웨어에 통합하는 기준점이 되었습니다. 이 모드는 이제 2018년 Turing 아키텍처까지, 그리고 DLSS 5 NR의 경우 AMD 하드웨어까지 포팅할 수 있게 했습니다. 이제는 여러 도구 중 하나를 사용하여 두 가지 기능을 클릭 한 번으로 설치하여 수백 개의 게임에 적용하는 것이 매우 쉬워졌습니다.

MFG 언락 (Dashdogy)

Explainer image for DLSS 4 Multi Frame Generation

(이미지 출처: Nvidia)

모딩 분야에서 Dashdogy의 경험은 여러 해에 걸쳐 이어져 왔으며, 고등학교 재학 중에도 Stellaris 모드를 만들고 여러 모드들을 패치하기 위한 호환성 스크립트를 제작했습니다. 하지만 DLSS MFG를 Ada 장치로 포팅하는 것은 완전히 다른 차원의 일이었습니다. Blackwell과 Ada는 소프트웨어적인 유사성에도 불구하고 완전히 다른 ISA(Instruction Set Architecture, 명령어 세트 아키텍처)를 사용합니다. 그는

출시된 타이틀에서 DLSS를 구현하는 NVIDIA의 기반에는 두 가지 소프트웨어가 있습니다. 하나는 Streamline이라는 패키지로, 일반적으로 일련의 DLSS 소프트웨어를 포함하며, 게임이 DLSS와 같은 다양한 업스케일링 기술을 실행할 수 있도록 하는 범용 번역기 역할을 합니다. Streamline과 함께 사용되는 것이 Neural Graphics Framework (NGX)이며, 이는 Super Resolution 및 Frame Generation과 같은 AI 기반 노력을 뒷받침하는 NVIDIA의 독점 소프트웨어입니다. 게임이 도구를 요청하면 NGX가 계산을 처리하고 Streamline이 주어진 게임 엔진에 이를 제공합니다.

Dashdogy가 MFG를 Ada와 호환되도록 하는 방법을 탐구하면서, 이 모더는 Streamline과 NGX를 직접 목표로 삼았습니다. 그는 “GPU가 생성하도록 허용된 프레임 수를 정의하는 메모리 내의 Streamline 및 NGX 호출을 구체적으로 스푸핑(spoof)했습니다.”라고 말했습니다. 이 접근 방식 덕분에 Ada 기반 GPU는 평소보다 더 많은 프레임을 생성할 수 있도록 허용되었다고 인식하게 되었습니다. 그는 “꽤 간단한 가로채기이며, 40 시리즈에서는 1을 5로 바꿉니다. 이제 GPU는 ‘나는 4080이고 다섯 개의 프레임을 생성하도록 허용되었다’고 알게 됩니다.”라고 말했으며, 이를 통해 다른 초기 모더들이 겪었던 검은색 프레임 문제를 성공적으로 우회하여 더 높은 프레임 생성 배율을 해제할 수 있었습니다.

Dashdogy는 빠르게 Cyberpunk 2077 모드로 패키징하여 Nexus Mods에 배포했습니다. 이것은 더 성숙한 통합을 위한 초기 신호탄이었지만, 아직 완벽하지는 않았습니다. Dashdogy와 다른 모더들은 문제가 있다고 보고했는데, Ada에서 Cyberpunk 2077의 MFG를 2X 이상 사용할 때 시스템이 느리게 느껴졌다는 것입니다. 지연 시간(Latency)이 좋지 않았고, 또 다른 모더의 도움으로 그들은 이것이 MFG 출력을 부드럽게 하는 전설적인 “하드웨어 플립 계측(Hardware Flip Metering)”의 작용이라고 믿었으며, 이는 NVIDIA가 이 기능이 구형 그래픽 카드에서 작동하지 않는 이유로 제시하는 주된 근거였습니다.

RTX 6000 Pro Blackwell GPU를 사용하는 클라우드 인스턴스를 장비한 Dashdogy는 MFG 모드를 개선하는 작업에 빠르게 착수했다. 그는 “GPU가 MFG를 실행하는 동안 커널 덤프(kernel dump)를 수행했습니다.”라고 말했다. Dashdogy는 또한 OpenAI의 Daybreak Blue AI 모델, 즉 방어적 사이버 보안 작업 및 취약점 발견을 허용하도록 조정된 GPT 5.6-Sol의 수정 버전도 갖추고 있었다. 이 모델과 자신의 전문 지식을 활용하여 그는 RTX 6000 Pro의 커널 덤프를 분석함으로써 MFG 모드에 문제가 발생할 수 있는 부분을 확인하고, 이를 자신이 구현한 네이티브 RTX 4000 시리즈 통합 방식과 직접 비교했다.

그는 _Tom’s Hardware Premium_에게 “6배 프레임 생성(frame generation)의 경우, GPU가 실제 프레임 두 개를 렌더링한 다음, 다섯 개의 프레임을 생성하여 이 두 실제 프레임 사이에 배치합니다.”라고 설명했다. 이 통합 방식을 복사하지 않았을 때, 기존 솔루션의 프레임 페이싱(frame pacing)은 어색하고 단절된 느낌이었다.

RTX MFG frame interval graph

“RTX 4080, 수정 완료”라는 문구는 프레임 간격 사이에 불규칙한 페이싱을 가진 일련의 프레임을 보여준다. (이미지 출처: Dashdogy)

그는 “40 시리즈로 생성된 프레임들은 두 프레임 구간의 중간쯤에 모두 압축되어 있었습니다. [위 이미지에서 볼 수 있듯이] 우리가 기대했던 것, 그리고 제가 [RTX Pro 6000 Blackwell]에서 측정한 것은 다섯 개의 프레임이 별도의 간격에 깔끔하게 배치되는 것이었습니다. 하지만 40 시리즈 GPU는 이 모든 것을 마치 2배 프레임 생성(2x frame gen)이 단 하나의 프레임을 배치하는 것처럼 같은 구간으로 강제하고 있었습니다.”

이는 초기 모드의 MFG 프레임 페이싱을 느리고, 이상하며, 반응성이 떨어지게 만들었다. 왜냐하면 프레임 페이싱은 특히 어떤 프레임 생성 도구가 개입될 때 타이틀이 부드럽게 느껴지는 데 매우 중요하기 때문이다. 그는 “40 시리즈의 모션 처리 담당 커널이 2배에 대해서만 중간점 스케일링(midpoint scaling)을 출력하도록 하드코딩되어 있다는 것을 발견했습니다.”라고 설명했다. “여러 생성 프레임들이 이를 중앙으로 압축시켰습니다. 수정 후에는 Blackwell 레퍼런스처럼 훨씬 더 넓게 퍼졌습니다.”

“이 모드는 일반적인 프레임 생성(frame generation)이 구현된 모든 게임에서 작동할 수 있습니다.” Dashdogy가 말하며, 사용자들이 무엇이 정확히 변경되는지 볼 수 있도록 추가 원격 측정 기능(telemetry)을 제공한다고 전했습니다. “커널은 40 시리즈와 50 시리즈 모두 동일합니다. [다만] Ada에서는 MFG를 차단하는 아키텍처별 기능이 있을 뿐입니다. 50 시리즈에는 제가 백포팅(backported)한 Blackwell 전용 최적화가 여러 가지 있는데, 이것들이 전반적인 지연 시간(latency) 개선에 기여합니다.”

모더는 프레임 페이싱 수정(frame pacing fix)이 현재 범용화된 Ada용 MFG 포트에서 가장 어려웠던 부분이라고 설명했습니다. 하지만 출시된 후에는 이제 게임 디렉터리에 로드 가능한 ASI로 자리 잡았으며, 지원되는 타이틀에서 최대 6배의 프레임 생성을 제어합니다. 이 프로젝트는 다른 작가들에 의해 포크(forked)되었는데, 이는 Dashdogy가 작성한 로직을 인기 그래픽 모드 도구인 ReShade에 연결하는 역할을 합니다.

DLSS 5 NR (Uncle Burrito) 잠금 해제

Control Running DLSS 5 on RTX 4080 Super

(이미지 출처: Remedy Entertainment / Tom's Hardware)

“저는 수년 동안 3D 아트와 그래픽 분야에서 일해 왔습니다.” 몇 년 전 RTX Remix를 사용하여 Need For Speed Underground 2에 패스 트레이싱(Path Tracing)을 구현했던 그래픽 애호가 Uncle Burrito가 설명했습니다. “세월이 흐르면서 저는 실시간 렌더링과 그에 사용되는 기술에 대해 더 많이 배우기 위해 RTX Remix 커뮤니티에 머물렀습니다.”

Nvidia의 RTX Remix Discord 채널에서 시간을 보내던 중, DLSS 5의 nvngX_dlssnr.dll 출현 소식이 빠르게 퍼졌습니다. Uncle Burrito에 따르면, 모드들은 이 DLL에 대한 논의를 빠르게 차단했고, 모더들은 개발 및 통합을 논의하기 위해 RenoDX Discord 서버와 같은 비공개 채널과 대체 서버로 몰려들었습니다. 이 DLL 자체는 Blackwell 전용으로 작성되었지만, Ada 아키텍처는 FP8 명령어를 읽을 수 있는 능력을 공유하고 있으며, 이것이 DLL이 DLSS 5 Neural Rendering의 모델 가중치(model weights)를 로드하는 데 사용하는 것입니다.

이를 시작점으로 삼아, Uncle Burrito는 곧바로 작업에 착수했다. 그는 “모델 자체는 단지 가중치(weights)일 뿐입니다. 이 가중치들은 실행될 코드가 필요합니다. 그 코드는 Blackwell 전용으로만 작성되었죠. CUDA 바이너리 말씀이시죠?”라고 설명했다. 하지만 그럼에도 불구하고, 그리고 Blackwell과 Ada 사이의 ISA 차이가 언급된 것에도 불구하고, 특정 명령어는 더 낮은 사양의 RTX 4000 시리즈 GPU에서는 읽을 수 없었다.

“nvngx_dlssnr.dll 내에 포함된 15개의 CUDA 바이너리 중 4개는 Ada에서 실행되지 않았습니다.” 하지만 이것은 불가능한 작업이 아니었다. Uncle Burrito가 이전에 설명했듯이, Ada용 통합은 미완성 상태였고 따라서 완전히 불가능하지 않았다. “저는 단순히 대체 컴파일된 바이너리를 패치(patch)하기만 하면 되었습니다.” 이는 RTX 4000 시리즈 그래픽 카드에서 작동하게 만들기 위해 영향을 받은 4개의 CUDA 바이너리만 패치하면 된다는 의미였다고 Uncle Burrito가 Tom’s Hardware Premium에 전했다.