캘리포니아, AI 기업에 첫 안전 행정명령

캘리포니아주 개빈 뉴섬(Gavin Newsom) 주지사가 AI 기업에 안전장치를 요구하는 최초의 행정명령에 서명했다. 주 정부와 계약하려는 AI 기업은 아동 성착취물 방지, 편향 감시, 시민권 보호 인증을 의무적으로 갖춰야 한다. 트럼프 행정부의 AI 규제 완화 기조에 정면으로 맞서는 조치이다.

뉴섬 주지사, 행정명령 N-5-26 서명

캘리포니아주 개빈 뉴섬(Gavin Newsom) 주지사가 2026년 3월 30일 AI 기업을 대상으로 하는 최초의 안전 행정명령 N-5-26에 서명했다. 이 행정명령은 캘리포니아 주 정부와 계약을 맺으려는 AI 기업에 대해 새로운 인증 기준을 마련하도록 주 기관에 지시하는 내용을 담고 있다. 뉴섬 주지사는 “캘리포니아는 언제나 혁신의 발상지였지만, 잘못된 손에 혁신이 들어가면 사람들을 위험에 빠뜨릴 수 있다는 것도 이해하고 있다”고 밝혔다. 주 정부 총무부(Department of General Services)와 캘리포니아 기술부(Department of Technology)는 120일 이내에 새로운 AI 벤더 인증 기준을 제안해야 한다. 캘리포니아는 전 세계 상위 50개 비상장 AI 기업 중 33곳이 소재하고, 미국 AI 특허의 25%를 차지하는 글로벌 AI 산업의 심장부이다.

세 가지 핵심 규제 영역

행정명령이 요구하는 인증 기준은 크게 세 가지 영역으로 구분된다. 첫째, 불법 콘텐츠 방지다. AI 기업은 자사 기술이 아동 성착취물(CSAM)이나 비동의 친밀 이미지 등 불법 콘텐츠의 생성·유통에 악용되지 않도록 하는 정책과 안전장치를 갖추고 이를 증명해야 한다. 둘째, 유해 편향 방지다. AI 모델이 유해한 편향을 나타내거나 편향을 줄이기 위한 거버넌스가 부재한 경우를 방지하는 인증이 필요하다. 셋째, 시민권 및 시민 자유 보호다. 표현의 자유, 투표권, 인간 자율성, 불법 차별·구금·감시로부터의 보호 등 핵심 시민권이 AI 시스템에 의해 침해되지 않도록 해야 한다. 이 기준을 충족하지 못하는 기업은 세계 4위 규모의 정부 조달 시장인 캘리포니아 주 정부 계약에서 배제될 수 있다.

AI 생성 콘텐츠 워터마킹, 미국 최초 시도

행정명령은 캘리포니아 기술부에 120일 이내에 AI가 생성하거나 실질적으로 조작한 이미지 및 영상에 대한 워터마킹 베스트 프랙티스 가이드라인을 개발하도록 지시했다. 이는 미국 내에서 정부 차원에서 AI 생성 콘텐츠 워터마킹을 의무화하는 최초의 시도이다. 딥페이크 딥페이크
딥페이크는 인공지능을 이용해 사람의 얼굴·신체·음성 등을 실제처럼 합성하거나 조작하여, 원본과 구분하기 어려운 영상·이미지·오디오를 만들어내는 기술 및 결과물을 뜻한다. 생성형 AI의 보급과 함께 제작 난도가 크게 낮아지면서, 엔터테인먼트·교육·접근성 향상 같은 긍정적 활용과 더불어 명예훼손, 성범죄, 선거 개입, 사기 범죄 등 다양한 사회적 위험이 동시에 부각되고 있다. 목차 개요 기술적 특징 역사: 연구 단계에서 대중화·상업화, 그리고 재등장 긍정적 활용 사례 악용 사례, 주요 사건·논란, 규제와 대응 1. 개요 딥페이크는 기계학습(특히 딥러닝)을 이용해 기존 인물의 정체성을 바꾸거나, 존재하지 않는 인물을 사실적으로 생성하는 “합성 미디어(synthetic media)”의 대표적 형태다. 초기에는 얼굴 합성 중심의 영상이 주목을 받았으나, 현재는 음성 복제(보이스 클로닝)와 실시간 영상 합성까지 확장되어, 원격 회의·전화·SNS 등 일상적 커뮤니케이션 채널에서 악용될 가능성이 커졌다. 딥페이크 문제의 핵심은 (1) 사실처럼 보이는 시청각 증거의 신뢰를 훼손하고, (2) 피해자 동의 없는 성적 이미지 생성 등 개인의 인격권을 침해하며, (3) 사회적 의사결정(선거, 금융 거래, 공공 안전)을 교란할 수 있다는 점에 있다. 2. 기술적 특징 2.1 생성·조작 방식의 유형 얼굴 교체(Face Swap): 타인의 얼굴을 대상 영상의 얼굴에 자연스럽게 덮어씌우는 방식이다. 표정·입 모양 재연(Facial Reenactment / Lip-sync): 화자의 표정이나 입 모양을 다른 영상에 이식하여, 마치 실제로 그 말을 하는 것처럼 보이게 한다. 음성 합성(Voice Cloning): 짧은 음성 샘플로 화자의 목소리를 모사해 통화·녹취·영상 나레이션을 조작한다. 완전 생성(Full Synthesis): 실재 인물의 외형을 참조하거나 또는 완전히 새로운 인물을 생성해 이미지·영상·오디오를 만든다. 2.2 기술 발전의 동인 딥페이크 품질은 학습 데이터(대상 인물의 다양한 각도·표정·발화 음성), 생성 모델의 구조, 후처리(색감·조명·경계 보정) 수준에 의해 좌우된다. 연구 단계에서 발전한 얼굴 재연 기술과, 대중화된 생성 모델·편집 도구가 결합되면서 “전문가만 가능하던 합성”이 대중적 수준으로 확산되었다. 2.3 탐지와 한계 탐지는 프레임 단위의 인공적 흔적(경계, 조명 불일치), 생체 신호(깜박임·미세 표정), 생성 모델의 통계적 패턴 등을 이용하는 방식으로 발전해 왔다. 다만 생성 기술이 빠르게 개선되면서 탐지 모델도 지속적으로 업데이트가 필요하며, 플랫폼 유통 환경에서는 원본 손실(재압축, 리사이즈)로 탐지가 어려워지는 문제가 있다. 3. 역사: 연구 단계에서 대중화·상업화, 그리고 재등장 3.1 연구 기반 축적 딥페이크로 불리는 현상은 갑자기 등장한 것이 아니라, 컴퓨터 그래픽스·비전 분야의 얼굴 모델링과 영상 합성 연구가 축적되면서 가능해졌다. 2010년대 중후반에는 영상 속 얼굴 표정을 실시간으로 재연하거나, 오디오로부터 자연스러운 립싱크 영상을 합성하는 연구가 주목을 받았다. 3.2 아마추어 개발 시기 “딥페이크”라는 용어는 2017년 말 온라인 커뮤니티에서 비동의 합성 포르노 콘텐츠와 함께 널리 알려졌다. 이후 커뮤니티 기반 공유가 확산되며 제작 도구와 학습 방법이 빠르게 전파되었고, 플랫폼들이 비동의 성적 합성물 문제를 이유로 제재에 나서는 흐름이 나타났다. 3.3 상업적 개발 얼굴 합성의 자동화 도구가 보급되면서, 영상 제작·마케팅·교육·콘텐츠 분야에서 상업적 활용이 늘어났다. 동시에, 사기·허위정보 유통에 악용될 수 있다는 우려가 커지며 “기술의 상용화”와 “사회적 안전장치”가 함께 논의되기 시작했다. 3.4 재등장: 생성형 AI 시대의 확산 2020년대 중반 이후 생성형 AI가 대중화되면서, 음성 복제와 이미지·영상 생성이 손쉬워졌고 딥페이크가 다시 사회적 의제로 부상했다. 과거에는 고성능 GPU와 긴 학습 시간이 요구되었지만, 최신 도구는 접근 비용을 낮추어 범죄·정치 선전·상업적 기만에 활용될 여지를 확대했다. 4. 긍정적 활용 사례 4.1 배우 교체 및 후반 제작 효율화 영화·드라마 제작에서 딥페이크 계열 기술은 더빙 립싱크 개선, 스턴트·대역 활용, 촬영 후 수정 등 후반 제작의 효율을 높일 수 있다. 제작 과정에서의 창작적 표현과 비용 절감이 가능하다는 점이 장점으로 거론된다. 4.2 고인(故人) 구현 역사 교육, 기록물 복원, 추모 콘텐츠 등에서 고인의 모습을 재현하려는 시도가 존재한다. 다만 인격권·유족 동의·상업적 이용 범위가 핵심 쟁점이 되며, 명확한 동의와 윤리 기준이 전제되어야 한다. 4.3 밈과 유행 온라인 문화에서는 패러디·풍자·밈 형태로 딥페이크가 소비되기도 한다. 이 경우에도 당사자 동의 여부, 허위사실 유포 가능성, 특정 집단에 대한 혐오 조장 여부가 경계선이 된다. 4.4 인터뷰이 인권 보호 및 익명성 강화 보도·다큐멘터리에서 신변 보호가 필요한 인터뷰이의 얼굴을 익명 처리하는 방식으로, 기존의 모자이크·흑실루엣보다 자연스러운 시청 경험을 제공하면서도 개인정보를 보호하려는 사례가 제시되었다. 4.5 버추얼 인플루언서 실재 인물이 아닌 디지털 페르소나(가상 인플루언서)를 제작해 브랜드 커뮤니케이션에 활용하는 흐름도 확산되었다. 이는 딥페이크와 동일 범주로 단정할 수는 없지만, “사실 같은 인물 표현”을 생성·운영한다는 점에서 합성 미디어 생태계의 한 축으로 논의된다. 5. 악용 사례, 주요 사건·논란, 규제와 대응 5.1 명예훼손과 모욕 실제 발언이나 행동이 아닌 합성 콘텐츠가 유통되면, 피해자는 사회적 평판 훼손과 심리적 피해를 입을 수 있다. 특히 짧은 클립·캡처 이미지가 맥락 없이 확산될 경우 정정이 어렵고, “거짓임을 증명해야 하는 부담”이 피해자에게 전가되는 문제가 발생한다. 5.2 가짜 뉴스 및 정치적 조작 정치인이나 공인 발언을 조작한 영상은 여론에 영향을 미칠 수 있다. 국제적으로도 선거를 앞두고 딥페이크 규제와 투명성 의무(합성 사실 표시 등)가 논의되며, 한국에서는 선거 국면에서 “AI 기반 딥페이크 영상 등을 이용한 선거운동”을 별도 조항으로 규율하는 체계가 운영되고 있다. 5.3 사기 및 보이스피싱 딥페이크는 금융 범죄의 공격 난도를 낮춘다. 원격 회의에서 임원·동료의 얼굴과 목소리를 모사해 송금을 유도하는 사례가 보고되었고, 국내에서도 가족·지인 납치 협박 등으로 금전을 요구하는 변종 사기 위험이 경고된 바 있다. 조직 차원에서는 영상회의에서의 이중 인증, 송금 승인 절차 강화, “긴급 송금” 요구에 대한 역확인 프로토콜 등이 중요해졌다. 5.4 성범죄 비동의 성적 합성물은 대표적인 딥페이크 악용 형태로 지적된다. 기술적으로는 “얼굴 합성”만으로도 피해자의 성적 수치심을 유발할 수 있고, 유통 경로가 폐쇄형 메신저·커뮤니티로 이동하면서 단속이 어려워지는 문제가 반복적으로 제기되었다. 한국에서는 허위영상물의 제작·유포뿐 아니라 소지·시청까지 처벌하는 방향으로 법·정책이 강화되는 흐름이 나타났다. 5.5 주요 논란 및 사건사고 버락 오바마 딥페이크(2018): 딥페이크의 위험성을 알리기 위한 경고성 콘텐츠로 널리 인용되었으며, “누구든지 말하지 않은 말을 한 것처럼 보이게 할 수 있다”는 메시지를 대중적으로 각인시켰다. 도널드 트럼프 관련 딥페이크(2019 등): TV 쇼 인상 연기를 기반으로 얼굴을 합성한 영상이 확산되면서, 딥페이크가 정치 풍자와 허위정보 사이에서 쉽게 경계를 넘을 수 있음을 보여줬다. 이후에도 AI 생성·합성 콘텐츠가 대중문화 영역에서 반복적으로 등장해 논쟁을 촉발했다. 딥페이크 처벌법 ‘알면서’ 문구 논란(한국): 성적 딥페이크 처벌 강화 과정에서 “알면서”와 같은 요건 문구가 포함·삭제되는 논쟁이 있었고, 고의 입증과 처벌 실효성에 대한 사회적 토론이 이어졌다. 5.6 규제와 대응 규제는 크게 (1) 성적 합성물·명예훼손·사기 등 개별 범죄 유형을 기존 형사 체계로 다루는 방식과, (2) 선거·플랫폼 유통·AI 투명성처럼 특정 영역에 대한 특별 규율을 두는 방식으로 전개된다. 한국에서는 성폭력처벌법상 허위영상물 관련 처벌 규정이 운영되고 있으며, 선거 영역에서는 딥페이크 선거운동 규율 조항과 운용기준이 제시되어 왔다. 국제적으로는 합성 콘텐츠에 대한 표시·고지 의무 등 투명성 규범이 강화되는 추세다. 출처 https://en.wikipedia.org/wiki/Deepfake https://ko.wikipedia.org/wiki/%EB%94%A5%ED%8E%98%EC%9D%B4%ED%81%AC https://grail.cs.washington.edu/projects/AudioToObama/siggraph17_obama.pdf https://niessnerlab.org/papers/2016/1facetoface/thies2016face.pdf https://www.gq.com/story/jordan-peele-made-a-fake-obama-video-to-prove-how-easily-conned-we-are https://www.youtube.com/watch?v=cQ54GDm1eL0 https://www.theguardian.com/technology/ng-interactive/2019/jun/22/the-rise-of-the-deepfake-and-the-threat-to-democracy https://law.go.kr/LSW//lsSideInfoP.do?docCls=jo&joBrNo=02&joNo=0014&lsiSeq=277347&urlMode=lsScJoRltInfoR https://www.easylaw.go.kr/CSP/CnpClsMain.laf?ccfNo=2&cciNo=1&cnpClsNo=2&csmSeq=1594 https://www.reuters.com/world/asia-pacific/south-korea-criminalise-watching-or-possessing-sexually-explicit-deepfakes-2024-09-26/ https://apnews.com/article/409516f159827770913ddf8d39f84cfd https://www.khan.co.kr/article/202409291659001 https://www.nec.go.kr/site/eng/ex/bbs/View.do?bcIdx=226657&cbIdx=1270 https://img.nec.go.kr/cmm/dozen/view.do?bcIdx=196745&cbIdx=1090&fileNo=4 https://www.counterscam112.go.kr/bbs002/board/boardDetail.do?pstSn=5 https://www.theguardian.com/world/2024/feb/05/hong-kong-company-deepfake-video-conference-call-scam https://www.ft.com/content/b977e8d4-664c-4ae4-8a8e-eb93bdf785ea https://partnershiponai.org/wp-content/uploads/2024/03/pai-synthetic-media-case-study-bbc.pdf https://artificialintelligenceact.eu/article/50/ https://digital-strategy.ec.europa.eu/en/news/commission-launches-work-code-practice-marking-and-labelling-ai-generated-content  
기술의 급속한 발전으로 AI가 만든 가짜 이미지와 영상이 선거 개입, 사기, 명예 훼손 등에 악용되는 사례가 급증하면서 워터마킹은 글로벌 AI 규제의 핵심 의제로 부상했다. 유럽연합(EU)의 AI법(AI Act)도 AI 생성 콘텐츠의 표시 의무를 규정하고 있어, 캘리포니아의 이번 조치는 미국 내에서 유럽에 가장 가까운 수준의 규제 프레임워크를 구축하려는 시도로 해석된다. 또한 행정명령은 주 기관 직원들에게 적절한 프라이버시 및 사이버 보안 안전장치를 갖춘 검증된 생성형 AI 도구에 대한 접근 권한을 제공하도록 지시하며, 규제와 활용의 균형을 동시에 추구하고 있다.

SB 1047 거부 이후 새로운 접근

이번 행정명령은 뉴섬 주지사의 AI 규제 전략이 입법에서 행정 조치로 전환됐음을 보여준다. 뉴섬 주지사는 2024년 9월 AI 안전 법안 SB 1047을 거부한 바 있다. SB 1047은 대규모 AI 모델에 대한 포괄적 안전 의무를 부과하려 했으나, 혁신을 저해할 수 있다는 우려로 거부됐다. 대신 뉴섬 주지사는 2025년 9월에 프론티어 AI 투명성법(Transparency in Frontier AI Act)에 서명했고, 2026년 1월에는 고용, 의료, 교육 분야를 아우르는 20개 이상의 AI 관련 법령이 발효됐다. 이번 행정명령은 이 연장선에서 나온 것으로, 법률이 아닌 행정 조달 요건을 통해 사실상의 산업 표준을 형성하는 전략이다. 리서치 애널리스트 닐 샤(Neil Shah)는 “이 명령은 본질적으로 조달, 안전, 윤리에 관한 사실상의 AI 표준 벤치마크를 설정하려는 것”이라고 분석했다.

트럼프 행정부와의 정면 충돌, 그리고 전망

이번 행정명령의 정치적 맥락은 분명하다. 트럼프 행정부는 2026년 3월 초 빅테크 기업들의 로비에 힘입어 주(州) 단위 AI 규제를 제한하고 연방 차원의 단일 규제 프레임워크를 추진하는 국가 방침을 발표했다. 뉴섬 주지사는 이에 정면으로 맞서며 “워싱턴의 다른 이들이 악용의 그림자 속에서 정책을 설계하고 계약을 만드는 동안, 우리는 올바른 방식으로 하는 데 집중하고 있다”고 선언했다. 또한 행정명령은 캘리포니아 최고정보보안책임자(CISO)에게 연방 공급망 지정을 검토하고 필요시 이를 재평가할 수 있는 권한도 부여하고 있다. 한국 관점에서 보면, 캘리포니아의 이번 행정명령은 향후 한국 기업이 미국 시장에 AI 제품을 수출하거나 정부 조달에 참여할 때 요구되는 인증 기준의 선행 지표로 작용할 가능성이 높다. AI 안전 인증, 편향 감사, 워터마킹 기술 등을 선제적으로 준비해야 할 시점이다.