클로드 코드, 이제 컴퓨터를 직접 조작한다

앤스로픽(Anthropic)이 AI 코딩 도구 ‘클로드 코드(Claude Code)’에 컴퓨터 사용(Computer Use) 기능을 추가했다. AI가 마우스와 키보드를 직접 조작해 앱을 열고, 화면을 탐색하며, GUI 기반 작업을 자동화할 수 있다. 현재 macOS에서 리서치 프리뷰로 제공되며, 프로(Pro)·맥스(Max) 구독자가 이용할 수 있다.

코딩을 넘어 데스크톱 전체로

앤스로픽이 2026년 3월 23일 클로드 코드 데스크톱 앱에 ‘컴퓨터 사용’ 기능을 공식 탑재했다. 이 기능은 AI가 사용자의 macOS 화면을 직접 보고, 마우스 클릭과 키보드 입력을 수행하며, 앱을 열고 조작할 수 있게 한다. 기존 클로드 코드가 터미널 명령어와 코드 편집에 한정됐다면, 이제는 GUI가 필요한 작업까지 AI의 손이 닿게 된 셈이다.

대표적인 활용 사례로는 iOS 시뮬레이터에서의 네이티브 앱 테스트, CLI가 없는 데스크톱 도구 조작, GUI 전용 워크플로 자동화 등이 있다. 앤스로픽은 공식 문서에서 “화면 제어는 다른 어떤 도구로도 접근할 수 없는 네이티브 앱, 하드웨어 제어 패널, iOS 시뮬레이터, API가 없는 독점 도구 등에 사용된다”고 설명했다.

3단계 권한 체계로 안전성 확보

앤스로픽은 컴퓨터 사용 기능에 3단계 앱 권한 체계를 적용했다. 브라우저는 ‘보기 전용(View only)’으로 제한되어 스크린샷 확인만 가능하고, 터미널과 IDE는 ‘클릭 전용(Click only)’으로 타이핑이 차단된다. 나머지 앱에서만 ‘전체 제어(Full control)’가 허용된다. 이는 클로드가 이미 전용 도구(배시(Bash) 셸, 크롬 연동 등)를 갖고 있는 영역에서 컴퓨터 사용을 남용하지 않도록 설계한 것이다.

투자·트레이딩 플랫폼과 암호화폐 앱은 기본적으로 차단되며, 클로드가 새로운 앱에 접근할 때마다 사용자에게 승인 요청이 표시된다. 승인은 해당 세션 동안만 유효하다. 또한 화면 콘텐츠에서 프롬프트 인젝션(prompt injection) 시도를 자동으로 감지하는 보안 스캔 시스템도 탑재됐다.

‘디스패치’로 폰에서 작업 지시, PC에서 결과 확인

컴퓨터 사용 기능과 함께 출시된 ‘디스패치(Dispatch)’는 모바일-데스크톱 간 연속 작업을 가능하게 하는 기능이다. 사용자가 아이폰의 클로드 앱에서 작업을 지시하면, 클로드가 맥(Mac)에서 해당 작업을 자동으로 수행한다. 이동 중에 “로그인 버그 수정해줘”라고 지시하고, 사무실에 돌아와서 완성된 코드를 확인하는 식이다.

디스패치에서 생성된 코드 세션에서도 컴퓨터 사용이 가능하지만, 보안을 위해 앱 승인이 30분마다 갱신된다. 일반 세션에서는 세션 전체 동안 승인이 유지되는 것과 차이가 있다.

도구 우선순위: 정밀한 것부터 사용

클로드는 컴퓨터 사용을 ‘최후의 수단’으로 취급한다. 작업 수행 시 가장 정밀한 도구부터 순서대로 시도한다.

1. 커넥터(Connector): 슬랙(Slack), 구글 캘린더(Google Calendar), 리니어(Linear) 등 서비스 연동이 있으면 이를 우선 사용
2. 배시(Bash) 셸: 터미널 명령으로 처리 가능한 작업은 셸로 실행
3. 크롬 연동: 브라우저 작업은 클로드 인 크롬(Claude in Chrome) 활용
4. 컴퓨터 사용: 위 어떤 도구로도 불가능한 경우에만 화면 제어 실행

이러한 설계는 화면 조작이 API나 CLI 대비 느리고 오류 가능성이 높다는 점을 반영한 것이다. 앤스로픽은 공식 문서에서 “컴퓨터 사용은 클로드의 코딩이나 텍스트 처리 능력에 비하면 아직 초기 단계”라며 “실수가 있을 수 있다”고 밝혔다.

데스크톱 앱에 추가된 12가지 신기능

컴퓨터 사용 외에도 클로드 코드 데스크톱은 대폭 업그레이드됐다. 주요 신기능은 다음과 같다.

특히 ‘오토(Auto) 모드’는 팀(Team)·엔터프라이즈(Enterprise)·API 플랜에서 사용 가능하며, 클로드 소네 4.6(Sonnet 4.6) 또는 오퍼스 4.6(Opus 4.6) 모델이 필요하다. 백그라운드에서 안전성 검사를 수행하면서도 권한 승인 프롬프트를 최소화해 작업 효율을 높인다.

AI 에이전트 경쟁, 데스크톱으로 확대

앤스로픽의 이번 업데이트는 AI 코딩 도구를 넘어 ‘AI 데스크톱 에이전트’로의 확장을 본격화한 것이다. 2026년 1월 출시된 ‘코워크(Cowork)’가 일반 사용자를 위한 데스크톱 제어 도구였다면, 이번 클로드 코드의 컴퓨터 사용 기능은 개발자를 위한 고급 자동화 도구다.

경쟁사들도 유사한 방향으로 움직이고 있다. 오픈AI(OpenAI)의 ‘오퍼레이터(Operator)’와 구글의 ‘프로젝트 마르코(Project Marko)’ 등 주요 AI 기업들이 컴퓨터 제어 에이전트를 속속 공개하고 있다. 다만 앤스로픽은 “민감한 정보가 포함된 작업에는 사용을 자제하라”고 권고하며, 연구 프리뷰 단계에서 사용자 피드백을 기반으로 기능을 조정해 나갈 계획이다.

현재 컴퓨터 사용 기능은 macOS 전용이며, 윈도우 지원은 추후 예정이다. 팀(Team)과 엔터프라이즈(Enterprise) 플랜에서는 아직 사용할 수 없다. 앤스로픽은 이 기능이 아직 “초기 단계”임을 인정하면서도, AI가 사용자의 데스크톱 환경을 이해하고 직접 조작하는 미래를 향해 빠르게 진화하고 있음을 보여주고 있다.