캘리포니아, AI 기업에 첫 안전 행정명령

캘리포니아주 개빈 뉴섬(Gavin Newsom) 주지사가 AI 기업에 안전장치를 요구하는 최초의 행정명령에 서명했다. 주 정부와 계약하려는 AI 기업은 아동 성착취물 방지, 편향 감시, 시민권 보호 인증을 의무적으로 갖춰야 한다. 트럼프 행정부의 AI 규제 완화 기조에 정면으로 맞서는 조치이다.

뉴섬 주지사, 행정명령 N-5-26 서명

캘리포니아주 개빈 뉴섬(Gavin Newsom) 주지사가 2026년 3월 30일 AI 기업을 대상으로 하는 최초의 안전 행정명령 N-5-26에 서명했다. 이 행정명령은 캘리포니아 주 정부와 계약을 맺으려는 AI 기업에 대해 새로운 인증 기준을 마련하도록 주 기관에 지시하는 내용을 담고 있다. 뉴섬 주지사는 “캘리포니아는 언제나 혁신의 발상지였지만, 잘못된 손에 혁신이 들어가면 사람들을 위험에 빠뜨릴 수 있다는 것도 이해하고 있다”고 밝혔다. 주 정부 총무부(Department of General Services)와 캘리포니아 기술부(Department of Technology)는 120일 이내에 새로운 AI 벤더 인증 기준을 제안해야 한다. 캘리포니아는 전 세계 상위 50개 비상장 AI 기업 중 33곳이 소재하고, 미국 AI 특허의 25%를 차지하는 글로벌 AI 산업의 심장부이다.

세 가지 핵심 규제 영역

행정명령이 요구하는 인증 기준은 크게 세 가지 영역으로 구분된다. 첫째, 불법 콘텐츠 방지다. AI 기업은 자사 기술이 아동 성착취물(CSAM)이나 비동의 친밀 이미지 등 불법 콘텐츠의 생성·유통에 악용되지 않도록 하는 정책과 안전장치를 갖추고 이를 증명해야 한다. 둘째, 유해 편향 방지다. AI 모델이 유해한 편향을 나타내거나 편향을 줄이기 위한 거버넌스가 부재한 경우를 방지하는 인증이 필요하다. 셋째, 시민권 및 시민 자유 보호다. 표현의 자유, 투표권, 인간 자율성, 불법 차별·구금·감시로부터의 보호 등 핵심 시민권이 AI 시스템에 의해 침해되지 않도록 해야 한다. 이 기준을 충족하지 못하는 기업은 세계 4위 규모의 정부 조달 시장인 캘리포니아 주 정부 계약에서 배제될 수 있다.

AI 생성 콘텐츠 워터마킹, 미국 최초 시도

행정명령은 캘리포니아 기술부에 120일 이내에 AI가 생성하거나 실질적으로 조작한 이미지 및 영상에 대한 워터마킹 베스트 프랙티스 가이드라인을 개발하도록 지시했다. 이는 미국 내에서 정부 차원에서 AI 생성 콘텐츠 워터마킹을 의무화하는 최초의 시도이다. 딥페이크 기술의 급속한 발전으로 AI가 만든 가짜 이미지와 영상이 선거 개입, 사기, 명예 훼손 등에 악용되는 사례가 급증하면서 워터마킹은 글로벌 AI 규제의 핵심 의제로 부상했다. 유럽연합(EU)의 AI법(AI Act)도 AI 생성 콘텐츠의 표시 의무를 규정하고 있어, 캘리포니아의 이번 조치는 미국 내에서 유럽에 가장 가까운 수준의 규제 프레임워크를 구축하려는 시도로 해석된다. 또한 행정명령은 주 기관 직원들에게 적절한 프라이버시 및 사이버 보안 안전장치를 갖춘 검증된 생성형 AI 도구에 대한 접근 권한을 제공하도록 지시하며, 규제와 활용의 균형을 동시에 추구하고 있다.

SB 1047 거부 이후 새로운 접근

이번 행정명령은 뉴섬 주지사의 AI 규제 전략이 입법에서 행정 조치로 전환됐음을 보여준다. 뉴섬 주지사는 2024년 9월 AI 안전 법안 SB 1047을 거부한 바 있다. SB 1047은 대규모 AI 모델에 대한 포괄적 안전 의무를 부과하려 했으나, 혁신을 저해할 수 있다는 우려로 거부됐다. 대신 뉴섬 주지사는 2025년 9월에 프론티어 AI 투명성법(Transparency in Frontier AI Act)에 서명했고, 2026년 1월에는 고용, 의료, 교육 분야를 아우르는 20개 이상의 AI 관련 법령이 발효됐다. 이번 행정명령은 이 연장선에서 나온 것으로, 법률이 아닌 행정 조달 요건을 통해 사실상의 산업 표준을 형성하는 전략이다. 리서치 애널리스트 닐 샤(Neil Shah)는 “이 명령은 본질적으로 조달, 안전, 윤리에 관한 사실상의 AI 표준 벤치마크를 설정하려는 것”이라고 분석했다.

트럼프 행정부와의 정면 충돌, 그리고 전망

이번 행정명령의 정치적 맥락은 분명하다. 트럼프 행정부는 2026년 3월 초 빅테크 기업들의 로비에 힘입어 주(州) 단위 AI 규제를 제한하고 연방 차원의 단일 규제 프레임워크를 추진하는 국가 방침을 발표했다. 뉴섬 주지사는 이에 정면으로 맞서며 “워싱턴의 다른 이들이 악용의 그림자 속에서 정책을 설계하고 계약을 만드는 동안, 우리는 올바른 방식으로 하는 데 집중하고 있다”고 선언했다. 또한 행정명령은 캘리포니아 최고정보보안책임자(CISO)에게 연방 공급망 지정을 검토하고 필요시 이를 재평가할 수 있는 권한도 부여하고 있다. 한국 관점에서 보면, 캘리포니아의 이번 행정명령은 향후 한국 기업이 미국 시장에 AI 제품을 수출하거나 정부 조달에 참여할 때 요구되는 인증 기준의 선행 지표로 작용할 가능성이 높다. AI 안전 인증, 편향 감사, 워터마킹 기술 등을 선제적으로 준비해야 할 시점이다.