Claude computer use: 화면을 보고 마우스와 키보드를 쓰는 API

한 문장 요약: Anthropic이 새 Claude 3.5 Sonnet과 화면 캡처·마우스·키보드 제어 도구의 공개 베타를 발표했다.

무엇이 발표됐나

Anthropic의 공식 발표일은 2024-10-22다. 이날 공개된 Claude computer use의 핵심은 다음과 같다. 개발자가 일반 데스크톱 환경에서 사람처럼 소프트웨어를 조작하는 에이전트를 만들 수 있게 했다.

기술적으로 볼 지점

모델이 스크린샷 좌표를 해석하고 클릭·입력 명령을 낸 뒤 새 화면을 관찰하는 반복 루프가 핵심이다.

왜 중요했고, 무엇을 경계해야 하나

전용 API가 없는 레거시 소프트웨어까지 자동화 범위에 포함되며 GUI 에이전트가 본격적인 개발 대상이 됐다.

초기 OSWorld 성능은 사람보다 크게 낮았고 프롬프트 인젝션, 오클릭, 민감 작업 때문에 샌드박스와 인간 승인이 필수였다.

이 글은 발표 당시의 핵심을 빠르게 확인하기 위한 브리핑이다. 수치와 제공 범위는 아래 1차 출처를 기준으로 정리했으며, 별도의 직접 벤치마크를 수행했다는 의미는 아니다.

공식 1차 출처

• Computer use and new Claude 3.5 models — Anthropic, 2024-10-22