클라우드 서버 통째로 장악…엔비디아 고성능 GPU 뚫는 '로우해머' 해킹 비상

수천만 원에 달하는 엔비디아 (NVIDIA) 그래픽 처리 장치(GPU )를 여러 사용자가 공유하는 클라우드 환경에서 보안 비상이 걸렸다. GPU 메모리를 물리적으로 두드려 해킹하는 새로운 ‘로우해머(Rowhammer)’ 공격이 시스템 전체를 통제하는 호스트 최고 관리자 권한(root)까지 단숨에 탈취할 수 있다는 연구 결과가 나왔기 때문이다. 이제 로우해머 공격은 중앙 처리 장치(CPU)의 일반 메모리(DRAM )를 넘어, 고성능 GPU 전용 메모리(GDDR)까지 위협 범위를 빠르게 넓히고 있다.

“GPU에서 시작해 CPU까지 장악한다”

IT 전문 매체 아르스 테크니카(Ars Technica) 보도에 따르면, 연구진은 엔비디아 고성능 GPU를 장착한 서버에서 두 가지 새로운 로우해머 변종 공격을 직접 시연했다. 공격자들은 GPU 메모리에 수없이 반복적으로 접근하는 일명 ‘해머링(Hammering)’ 기법을 사용해 데이터의 최소 단위인 비트(Bit) 값을 강제로 뒤집었다. 그리고 이 변조된 결과를 교묘하게 이용해 호스트 시스템의 CPU 메모리와 권한까지 완전히 장악하는 데 성공했다.

원래 로우해머는 지난 2014년 DDR3 규격의 메모리(DRAM)에서 처음 발견한 하드웨어 물리 취약점이다. 메모리 칩 내부의 특정 데이터 행(Row)에 매우 빠르게 반복 접근하면 전자기적 간섭이 발생해 인접한 행의 데이터가 0에서 1로, 혹은 그 반대로 뒤집히는 현상을 악용한다. 해커는 이를 통해 시스템 권한을 허가 없이 높이거나, 격리된 보안 공간인 샌드박스(Sandbox)를 손쉽게 탈출할 수 있다.

처음 발견된 이후 10년 동안 로우해머 공격은 끊임없이 진화했다. 데이터 오류 수정 코드(ECC)를 적용한 방어망을 뚫어낸 것은 물론, DDR4나 표적 행 새로고침(TRR) 방어 기술을 탑재한 최신 세대의 메모리까지 공격 대상을 넓혀왔다. 또한 특정 데이터를 노리는 풍수(Feng shui) 기법이나 로우프레스(RowPress)처럼 더욱 정교한 공격 방식이 속속 등장하면서, 이제는 민감한 정보가 담긴 아주 작은 메모리 영역까지 정확하게 골라서 타격할 수 있다.

이번 연구는 이러한 진화에서 한 걸음 더 나아가, 압도적인 데이터 대역폭을 자랑하는 GDDR 기반의 엔비디아 GPU 메모리조차 로우해머 공격에서 결코 안전하지 않다는 사실을 명백히 입증한다.

공유 환경인 클라우드에서 더욱 치명적인 이유

고성능 엔비디아 GPU는 개당 수천만 원에 달하는 값비싼 장비다. 이 때문에 일반적인 상용 클라우드 환경에서는 한 장의 물리적인 GPU를 여러 고객이나 작업 단위(워크로드 )가 쪼개어 공유하는 멀티테넌시(Multi-tenancy) 구조를 주로 사용한다.

연구진이 시연한 새로운 해킹 기법은 바로 이 자원 공유 지점의 취약성을 파고들었다. 공격 과정을 살펴보면, 해커는 우선 GPU 자원을 임대하는 평범한 일반 사용자로 가장해 클라우드 서버에 합법적으로 접속한다. 이후 자신에게 할당된 GPU 메모리 영역에서 특정 패턴의 연산을 무수히 반복하며 GDDR 메모리에 집중적인 로우해머 공격을 가한다. 이 과정에서 메모리 데이터의 비트가 뒤집히는 현상을 유도하여 호스트 시스템의 철통같은 보호 장치를 우회하고, 최종적으로 CPU 측 메모리와 핵심 권한으로 깊숙이 침투한다.

상황이 이쯤 되면 공격자와 같은 GPU를 무심코 공유하고 있던 다른 선량한 사용자의 민감한 데이터나 인공지능(AI) 모델, 로그인 세션까지 모조리 위험에 빠진다. 이는 단순히 진행 중인 GPU 연산 작업이 오류로 멈추거나 실패하는 가벼운 수준을 넘어, 클라우드 서버의 두뇌 격인 호스트 운영체제 (OS ) 자체가 통째로 해커의 손에 넘어갈 수 있는 매우 치명적이고 심각한 문제다.

로우해머 10년의 진화가 던지는 GPU 시대의 보안 과제

10여 년 전 로우해머 현상을 처음 학계에 보고했을 때만 해도, 보안 전문가들은 이를 실험실 환경에서나 간신히 가능한 ‘이론적인 증명’ 정도로 여겼다. 하지만 이후의 후속 연구를 통해 상황은 180도 달라졌다. 스마트폰의 최고 권한을 빼앗는 안드로이드 루팅(Rooting)을 시작으로, 네트워크 데이터 조각(패킷)만 전송하여 원격으로 메모리 비트를 뒤집거나, 철벽 보안을 자랑하는 2048비트 암호화 키를 통째로 훔쳐내는 등 실용적이고 파괴적인 공격 시나리오가 하나둘 현실 세계에서 입증되었다.

결국 로우해머는 하드웨어 제조사와 펌웨어 개발자, 운영체제 설계자가 머리를 맞대고 함께 방어해야만 하는 근본적인 시스템 취약점으로 확고히 자리 잡았다. 특히 엔비디아 GPU를 겨냥한 이번 공격은 폭발적으로 성장하고 있는 AI 시대 IT 인프라의 뼈아픈 현실을 정확히 찌른다.

현재 챗GPT 같은 거대 언어 모델(LLM )을 학습시키는 대규모 AI 클러스터나 상용 GPU 클라우드, 그리고 기업 및 대학 연구소의 공유 서버 시스템 등은 예외 없이 제한된 GPU 자원을 수많은 사용자와 프로세스가 나누어 쓰는 방식을 채택하고 있다. 이번 연구는 고성능 GPU 메모리가 더 이상 복잡한 연산을 돕는 가속기 내부만의 안전하고 독립된 세계가 아니라는 강력한 경고다. 오히려 호스트 시스템의 메인 메모리 및 핵심 권한과 아주 긴밀하게 연결된 매력적인 공격 통로임이 만천하에 드러난 셈이다.

AI 인프라 보안을 위한 새로운 필수 점검표

이번 충격적인 연구 결과는 클라우드와 AI 인프라 보안을 책임지는 실무진에게 몇 가지 뼈아프고 현실적인 숙제를 던진다. 가장 먼저 여러 사용자가 하나의 물리적 하드웨어를 나누어 쓰는 ‘GPU 멀티테넌시’ 환경을 앞으로 어떻게 안전하게 통제하고 설계할 것인지 깊이 고민해야 한다.

보안 등급이나 소속이 완전히 다른 이질적인 고객들이 동일한 물리적 GPU를 동시에 공유하지 않도록 서버 아키텍처를 원천적으로 분리하는 것이 가장 이상적이다. 만약 비용이나 자원 문제로 현실적인 분리가 어렵다면, 최소한 보안 침해 시 파급력이 큰 고위험 핵심 작업만큼은 다른 일반 작업과 절대 섞이지 않도록 전용 GPU나 독립된 물리 서버 노드(Node)에 철저히 격리하는 강력한 정책을 서둘러 도입해야 한다.

또한 하드웨어 구동 프로그램인 펌웨어나 장치 드라이버, 메모리 컨트롤러 수준에서 근본적인 물리적 방어막을 제대로 갖추고 있는지도 필수 점검 대상이다. TRR과 같은 기존의 주 메모리 방어 기법이 실제 고속 GPU 전용 메모리 환경에서 어떻게 구현되고 작동하는지 엔비디아와 같은 장비 제조사와의 긴밀한 기술 협업과 검증이 그 어느 때보다 중요해졌다.

무엇보다 클라우드 방어자들은 “GPU는 CPU와 완전히 분리되어 있어 상대적으로 안전하다”는 안일하고 낡은 전제를 미련 없이 버려야 한다. 지금까지 대다수 데이터센터의 시스템 보안 패러다임이 중앙 처리 장치(CPU) 쪽의 시스템 메모리 보호에만 급급했다면, 이제부터는 GPU 메모리 공간까지 깊숙이 포함하는 포괄적인 종단간(End-to-End) 사이버 위협 대응 모델을 밑바닥부터 다시 짜야만 한다.

로우해머는 지난 10년이 넘는 기나긴 세월 동안 창과 방패의 싸움을 거듭하며 끈질기게 진화해 온 무서운 하드웨어 취약점이다. 인공지능 혁명을 이끌며 천하무적일 것 같았던 엔비디아의 고성능 GPU까지 그 공격 사정권에 완벽히 들어갔다는 이번 연구 결과는 시장에 명확한 경고 메시지를 보낸다. 다가오는 본격적인 AI 시대의 클라우드 인프라 설계는 단순히 소프트웨어나 네트워크망의 해킹을 막는 1차원적인 수준을 넘어, 눈에 보이지 않는 반도체 칩 내부의 물리적 계층까지 촘촘하게 포괄하는 완전히 새로운 차원의 거시적인 보안 아키텍처가 필요하다는 절박하고 분명한 신호다.

About

클라우드 서버 통째로 장악…엔비디아 고성능 GPU 뚫는 ‘로우해머’ 해킹 비상

AI 서버 대란에 고급 FC-BGA 기판 부족… 삼성전기, 가격 올린다

아르테미스II, 실리콘밸리 없는 마지막 달 임무

마이크로소프트, 일본에 100억달러 AI 인프라 베팅