RSL 1.0: AI 시대의 웹 콘텐츠 보호를 위한 새로운 표준

웹 콘텐츠 보호와 AI 크롤러 문제 해결을 위한 새로운 라이선싱 표준인 Really Simple Licensing 1.0(RSL 1.0)이 10일(현지시각) 발표됐다. RSL은 AI 기업들이 웹 콘텐츠를 수집할 때 대가를 요구하거나 사용 조건을 지정할 수 있도록 하는 오픈 라이선싱 표준으로, AI 크롤러의 무단 수집으로 인한 문제를 해결하고자 한다. 이와 함께 클라우드플레어(Cloudflare)는 2025년 7월부터 AI 크롤러를 기본적으로 차단하고 ‘크롤 당 페이(Pay Per Crawl)’ 기능을 통해 대가를 청구하는 정책을 전환했다.

AI 크롤러가 웹 콘텐츠를 무단으로 수집하여 학습 및 응답 생성에 활용하는 사례가 증가하면서, 웹사이트 방문자 감소와 광고 수익 하락 문제가 발생하였다. 이러한 문제를 해결하기 위해 개발된 RSL은 AI 기업들이 웹 콘텐츠를 사용할 때 지켜야 할 라이선스 조건을 명시하여, 콘텐츠 제공자들이 트래픽 감소와 광고 수익 하락을 방지할 수 있도록 한다. 클라우드플레어의 ‘크롤 당 페이’ 기능 도입은 이러한 흐름 속에서, 콘텐츠 사용에 대한 라이선스 조건과 보상 요구를 자동화하는 기술적 표준으로 등장하였다.

RSL 1.0은 기존의 robots.txt 프로토콜을 확장하여, AI 크롤러에게 허용 범위뿐 아니라 라이선스 조건과 보상 요구를 명시할 수 있다. “ 요소에 `”ai-all”`, `”ai-input”`, `”ai-index”` 같은 세분화된 AI 사용 허용 범주를 추가하여, 검색 엔진에는 인덱싱을 허용하지만 AI 검색 기능에는 사용을 금지하는 식의 설정이 가능하다. 또한, 크리에이트 커먼(Creative Commons)와 협력해 비영리 단체 및 개발자를 위한 “기부(contribution)” 지불 모델도 도입되었다. XML 기반의 라이선스 표현은 `robots.txt`, HTTP 헤더, RSS 피드, HTML 링크 요소 등에 통합할 수 있다.

클라우드플레어의 ‘크롤 당 페이’ 기능은 HTTP 402 응답 코드를 활용하여 요금을 제시하는 구조로, 크롤러가 콘텐츠에 접근하려 할 때 요금을 제시하는 헤더 없이 요청 시 402 응답과 함께 가격 정보가 반환된다. 이후 크롤러가 가격에 동의하면, 결제 의사를 담은 헤더와 함께 재요청하여 콘텐츠를 받을 수 있다. 퍼블리셔는 도메인 전체에 대해 ‘허용(Allow)’, ‘요금 부과(Charge)’, ‘차단(Block)’ 중 선택 가능하며, 특정 크롤러에 대해서만 예외 설정도 가능하다. Ed25519 키 쌍을 사용한 웹 봇 인증(Web Bot Auth) 프로토콜을 통해 크롤러의 신원을 확인하고, 스푸핑을 방지한다.

RSL과 클라우드플레어 정책은 웹 퍼블리셔들에게 AI 스크래핑에 대한 명확한 경제적 프레임워크를 제공하며, 투명성과 책임성을 기반으로 한 인터넷 혁신의 기반을 마련한다는 평가를 받고 있다. RSL Collective는 Yahoo, Ziff Davis, O’Reilly Media 등의 지원을 받아 1,500개 이상의 미디어와 플랫폼이 참여하고 있으며, 크레이이트 커먼과의 협력을 통해 비영리 단체 및 개발자를 위한 지불 모델도 도입되었다. 이러한 표준은 웹 인프라 제공업체(클라우드플레어,  아카마이(Akamai), 패스트리(Fastly) 등)가 이를 지원함으로써 실질적 집행 가능성도 높아졌다.

RSL의 도입으로 AI 기업과 퍼블리셔는 새로운 대응 방안을 마련해야 할 것이다. AI 기업들은 RSL 준수 여부에 따라 라이선스 협상, 비용 지불, 또는 회피 전략을 선택해야 할 상황에 직면하게 된다. 반면, 퍼블리셔들은 콘텐츠 통제력 확보 및 새로운 수익 창출 수단을 확보하게 된다. 장기적으로는 AI 모델의 출처 투명성, 정당한 보상 체계, 고품질 콘텐츠 활용이 강조되는 방향으로 생태계가 재편될 가능성이 있다.