컴퓨터 제어 사용하기
1. 컴퓨터 제어 사용하기
지금까지 Work는 파일을 읽고 쓰고 명령을 실행하는 방식으로 일했습니다. 그런데 세상의 많은 프로그램은 파일이나 명령이 아니라 화면과 마우스로만 다룰 수 있습니다. 사내 전용 프로그램, 오래된 업무 시스템, 버튼을 눌러야만 하는 웹 사이트 같은 것들입니다. 컴퓨터 제어(Computer Use)는 이 마지막 영역을 여는 기능입니다. ChatGPT가 화면을 보고, 마우스를 움직이고, 키보드를 입력해 사람처럼 프로그램을 조작합니다.
실제로 한 외신 기자는 이 기능으로 ChatGPT에게 체스 프로그램을 시켜보았는데, 화면 속 체스판을 읽고 말을 옮기며 게임을 진행하는 모습을 보여주었습니다. 화면을 '이미지'가 아니라 '조작할 수 있는 대상'으로 이해한다는 뜻입니다.
1.1 켜는 방법
컴퓨터 제어는 플러그인으로 제공됩니다.
- 앱에서 플러그인 > Computer Use를 엽니다.
- 설치 안내가 나오면 플러그인을 설치합니다.
- Computer Use 서버와 스킬 설정을 켭니다.
- 시스템 권한을 요구하면 안내에 따라 허용합니다.
운영체제별로 요구 권한과 동작 방식이 다릅니다.
| 구분 | macOS | Windows |
|---|---|---|
| 필요 권한 | 화면 기록, 손쉬운 사용(Accessibility) | 별도 시스템 권한 없이 앱 내 승인 |
| 동작 방식 | 화면 잠금 상태에서 백그라운드 작업 가능 | 활성 데스크톱의 포그라운드에서만 동작 |
| 작업 중 내 컴퓨터 사용 | 잠금 상태로 두고 다른 일 가능 | 작업 동안 마우스·키보드를 에이전트가 사용 |
Windows에서는 에이전트가 일하는 동안 내 마우스가 움직이는 것을 지켜보게 됩니다. macOS는 화면을 잠근 채 뒤에서 작업시킬 수 있어 한층 실용적입니다.
1.2 승인 모델
컴퓨터 제어는 작업 중에 프로그램 단위로 접근 허락을 구합니다. 예를 들어 엑셀을 조작해야 하면 "엑셀에 접근해도 될까요?"라고 묻는 식입니다.
- 이번만 허용: 해당 작업에서만 허용합니다.
- 항상 허용: 반복 작업에 쓰는 프로그램이라면 항상 허용으로 등록할 수 있습니다. 이 목록은 내 컴퓨터의 설정 파일(config.toml)에 저장되며, 설정 화면에서 관리할 수 있습니다.
1.3 무엇에 쓰면 좋은가
공식 문서가 권하는 사용처는 다음과 같습니다.
- 파일로는 접근할 수 없는 화면 전용 프로그램 조작: 사내 시스템에서 데이터 조회·입력, 설정 화면 확인.
- 여러 프로그램에 걸친 작업: 웹에서 자료를 확인해 데스크톱 프로그램에 입력하는 식의 다리 놓기.
- 브라우저 작업: 로그인이 필요한 웹 페이지 탐색과 양식 입력.
- (개발자라면) 개발 중인 앱 화면 테스트와 버그 재현.
반대로, 파일을 다루는 일에는 컴퓨터 제어를 쓸 이유가 없습니다. 파일 작업은 지금까지처럼 Work의 기본 방식이 훨씬 빠르고 정확합니다. 컴퓨터 제어는 화면으로만 접근되는 대상을 위한 마지막 수단으로 아껴 쓰세요.
1.4 할 수 없는 일
컴퓨터 제어에는 의도적으로 막아둔 영역이 있습니다.
- 터미널(명령어 창) 자체를 조작하는 일과 ChatGPT 앱 자신을 조작하는 일은 할 수 없습니다.
- 관리자 인증을 대신 통과할 수 없습니다. UAC 창이나 암호 입력이 뜨면 멈추고 사람을 기다립니다.
- 보안·개인정보 확인 창을 대신 승인할 수 없습니다.
에이전트가 제 권한을 스스로 키우는 길을 막아둔 설계입니다. 사람의 확인이 필요한 관문은 반드시 사람 손에 남습니다.
민감한 작업에는 쓰지 마세요. 계정, 결제, 비밀번호를 다루는 화면은 내가 옆에서 매 단계를 승인할 수 있을 때만 맡기고, 자리 비운 사이에 돌리지 않는 것이 원칙입니다. 또 로그인된 브라우저를 조작하게 하면 웹 페이지의 악성 콘텐츠가 에이전트를 속이려 들 수 있고, 사이트는 에이전트의 행동을 내 계정의 행동으로 간주합니다. 보안 이야기는 8장에서 자세히 다룹니다.
다음 절에서는 결과물을 세상에 내보내는 기능들, 내장 브라우저와 Sites를 다룹니다.