밸브 엔지니어, 8GB GPU의 고질병 해결… 리눅스 게이밍 VRAM 혁신

밸브(Valve)의 리눅스 그래픽 드라이버 엔지니어 나탈리 복(Natalie Vock)이 8GB VRAM GPU의 게임 성능 저하 문제를 근본적으로 해결하는 커널 패치를 공개했다. 리눅스가 게임 대신 백그라운드 앱을 VRAM에서 우선 퇴거시키도록 하는 ‘dmemcg-booster’ 기술로, 저사양 GPU 사용자의 게이밍 경험이 획기적으로 개선된다.

리눅스의 VRAM 관리, 무엇이 문제였나

리눅스 커널은 기본적으로 비디오 메모리(VRAM) 요청을 처리할 때 게임과 비게임 프로세스를 구분하지 않는다. VRAM이 가득 차면 운영체제는 메모리 블록을 더 느린 시스템 RAM(GTT, Graphics Translation Table)으로 무작위로 이전한다. 이 과정에서 실행 중인 게임의 텍스처와 셰이더 데이터가 크롬(Chrome), 디스코드(Discord), 심지어 스팀(Steam) 같은 백그라운드 앱보다 먼저 VRAM에서 퇴거될 수 있다.

이 문제는 VRAM이 충분한 고급 GPU에서는 크게 체감되지 않지만, 8GB 이하 VRAM을 탑재한 보급형 GPU에서는 심각한 프레임 드롭과 스터터링을 유발한다. 스팀 덱(Steam Deck)을 비롯한 밸브의 리눅스 기반 게이밍 생태계에서 특히 치명적인 문제였다.

dmemcg-booster: 게임에 VRAM 우선권을 부여하다

나탈리 복이 개발한 솔루션의 핵심은 리눅스 커널의 cgroups(제어 그룹)와 DMEM(Device Memory) 컨트롤러를 활용한 것이다. ‘dmemcg-booster’라는 유저스페이스 패키지는 현재 실행 중인 게임을 ‘보호’ 대상으로 지정해 VRAM에서 퇴거되지 않도록 한다. VRAM이 부족해지면 백그라운드 앱이 먼저 GTT로 이전되고, 게임의 핵심 데이터는 빠른 VRAM에 유지된다.

함께 개발된 ‘plasma-foreground-booster’는 KDE 데스크톱 환경에서 현재 활성화된 창(즉, 게임)에 포커스 우선순위를 부여하는 역할을 한다. 이 두 패키지의 조합으로 리눅스는 비로소 “어떤 앱이 우선권을 가지고, 어떤 앱이 퇴거될 수 있는지를 식별”할 수 있게 됐다고 복은 자신의 블로그에서 설명했다.

밸브·인텔·레드햇의 합작품

이 기술은 밸브 단독이 아닌 업계 협력의 결과물이다. DMEM 그룹 컨트롤러는 인텔의 마르턴 랑크호스트(Maarten Lankhorst)와 레드햇의 막심 리파르(Maxime Ripard)가 복과 함께 공동 개발했다. 리눅스 커널 수준의 변경, 유저스페이스 패키지 2개, KDE 데스크톱 통합까지 스택 전체를 아우르는 포괄적 접근이 특징이다.

현재 이 기술을 가장 먼저 체험할 수 있는 방법은 게이밍에 최적화된 리눅스 배포판 캐시OS(CachyOS)를 사용하는 것이다. 향후 각 구성 요소가 리눅스 커널 업스트림에 병합되고, KDE 공식 패키지에 포함되면 모든 리눅스 배포판에서 자동으로 혜택을 받을 수 있게 된다.

스팀 덱과 보급형 GPU 사용자에게 의미 있는 진전

이번 패치는 특히 8GB VRAM GPU 사용자와 스팀 덱 소유자에게 실질적 의미가 크다. 엔비디아의 RTX 4060, AMD의 RX 7600 등 보급형 GPU는 최신 AAA 게임에서 VRAM 부족 현상을 빈번히 겪는데, 이 패치로 동일한 하드웨어에서 더 안정적인 프레임레이트를 기대할 수 있다. 밸브가 자사 스팀 덱의 리눅스 기반 운영체제(SteamOS)에 이 기술을 통합할 경우, 휴대용 게이밍 PC의 성능 한계를 소프트웨어적으로 한 단계 끌어올리는 효과가 있을 전망이다.