핵심 요약
Vercel Labs의 agent-desktop(v1.1.0, Apache-2.0)은 화면 좌표 대신 **운영체제의 접근성 트리(Accessibility Tree)**를 읽어 데스크톱 앱을 조작하는 CLI 및 C 라이브러리다. snapshot → 참조 기반 동작 → 재스냅샷 주기로 상태를 검증하지만, OS 권한 범위와 화면 텍스트 노출에 대한 별도 통제가 필수다.
동작 구조: 스냅샷과 요소 참조
- 관찰(Snapshot): 대상 앱의 접근성 트리에서 상호작용 가능한 UI 요소를 JSON과 고유 참조(Reference)로 추출한다.
- 실행(Action): 에이전트가 화면 좌표가 아닌 해당 참조를 지정해 클릭·입력 등을 요청한다.
- 재관찰(Verify): 동작 직후 새 스냅샷을 읽어 실제 UI 상태 변경 여부를 확인한다.
요소 참조에는 스냅샷 식별자가 결합되어 있다. 화면 구조가 바뀌어 기존 참조가 만료되면 이전 번호를 재사용하지 않고 새 스냅샷에서 요소를 다시 조회해야 한다.
운영체제별 실행 및 권한 조건
| 운영체제 | 필수 권한 및 환경 조건 |
|---|---|
| macOS | 시스템 설정에서 접근성(Accessibility) 권한 부여 필요 |
| Windows | 일반 권한 앱과 관리자 권한(Elevated) 실행 앱 간 입력 제어 조건 분리 |
| Linux | 사용자 그래픽 세션 및 at-spi2-core 환경 구성 확인 필요 |
데이터 노출 및 외부 모델 전송 경계
- 민감 정보 포함 가능성: 접근성 스냅샷에는 창 제목과 화면 내 텍스트가 그대로 담기며, 클립보드·알림·스크린샷·로그에도 개인정보가 남을 수 있다.
- 로컬 CLI vs 원격 모델: 공식 FAQ 기준 기본 CLI 자체는 원격 AI 모델 호출을 강제하지 않는다. 단, 선택적 도우미 기능이나 외부 에이전트를 연동하면 화면 설명 데이터가 설정된 모델 제공자로 전송된다.
- 라이선스 구분: 도구 코드는 Apache-2.0 무료 라이선스이지만, 연동하는 상용 AI 모델의 API 비용과 약관은 별도로 적용된다.