구글 ‘제미나이에 10만 회 이상 프롬프트 공격…복제 시도’

구글이 자사 AI 챗봇 제미나이(Gemini)가 10만 회 이상의 프롬프트를 통한 대규모 복제 공격을 받았다고 밝혔다. ‘증류(distillation)’ 기법을 활용해 제미나이의 추론 로직을 탈취하려는 시도로, 구글은 이를 “지적재산 절도”로 규정했다. 업계 전반에 AI 모델 보안의 새로운 위협이 대두되고 있다.

구글, 제미나이 대상 대규모 ‘증류 공격’ 공개

구글이 목요일 발표한 보고서에서 자사 AI 챗봇 제미나이가 ‘상업적 동기’를 가진 행위자들로부터 반복적인 복제 시도 공격을 받고 있다고 밝혔다. NBC 뉴스에 따르면(링크), 한 캠페인에서는 제미나이에 10만 회 이상의 프롬프트가 전송됐다.

구글은 이를 ‘증류 공격(distillation attacks)’이라고 설명했다. 증류란 챗봇의 내부 작동 방식을 파악하기 위해 반복적으로 질문을 던지는 기법으로, ‘모델 추출(model extraction)’이라고도 불린다. 잠재적 복제자들이 시스템의 패턴과 로직을 파악하기 위해 시스템을 탐색하는 것이다.

데이터코노미(Dataconomy)에 따르면, 한 캠페인은 특히 제미나이의 추론 능력을 표적으로 삼았다. 제미나이는 일반적으로 전체 내부 ‘사고 과정(chain of thought)’을 노출하지 않지만, 공격자들은 더 상세한 추론 능력을 드러내도록 강제하려 했다. 10만 건 이상의 프롬프트 규모는 다양한 작업에 걸친 제미나이의 추론 능력을 복제하려는 시도였음을 시사한다. 테크브리플리(TechBriefly)는 이를 “제미나이의 AI 로직을 복제하기 위한 대규모 증류 공격”으로 표현했다.

공격의 배후에 대해 구글은 대부분 경쟁 우위를 얻으려는 민간 기업이나 연구자들로 추정하고 있다. NBC 뉴스에 따르면, 구글 대변인은 공격이 전 세계에서 왔다고 밝혔으나 용의자에 대한 추가 정보 공개는 거부했다. 구글은 증류를 “지적재산 절도”로 간주한다고 명확히 했다.

구글 위협 인텔리전스 그룹의 수석 분석가 존 헐트퀴스트(John Hultquist)는 “제미나이에 대한 공격 규모는 이러한 공격이 곧 더 작은 기업들의 맞춤형 AI 도구에도 일반화될 것임을 나타낸다”며 “우리는 훨씬 더 많은 사건의 탄광 속 카나리아가 될 것”이라고 경고했다.

이번 사건은 AI 업계의 모델 보안 문제를 다시 조명한다. 어택오브더팬보이(Attack of the Fanboy)에 따르면, 챗GPT를 개발한 오픈AI는 지난해 중국 경쟁사 딥시크(DeepSeek)가 자사 모델 개선을 위해 증류 공격을 수행했다고 비난한 바 있다. 제미나이에 대한 공격 외에도 보고서는 구글 API를 사용해 온디맨드 코드를 생성하는 AI 기반 피싱 및 악성코드 실험 등 제미나이의 다른 오용 사례도 설명하고 있다.