AI가 내 컴퓨터를 직접 조작하게 만들기 — Cua · Codex 플러그인 설치

한눈에 보기

두 도구가 하는 일은 이렇게 다릅니다

이름이 비슷해 보여도 역할이 완전히 다릅니다. 한 줄로 구분하면 Cua는 «AI에게 컴퓨터를 주는 것»이고, Codex 플러그인은 «AI에게 다른 AI를 붙여주는 것»입니다.

	Cua Driver	Codex 플러그인 (codex-plugin-cc)
만든 곳	trycua (Y Combinator 2025 봄)	OpenAI 공식
한 줄 정의	AI가 화면을 보고 마우스·키보드를 조작하게 해주는 프로그램	Claude Code 안에서 Codex를 불러 쓰는 확장
무엇이 좋아지나	파일만 다루던 AI가 프로그램 화면까지 다룹니다	한 AI의 결과물을 다른 AI가 검토합니다
비용	내 PC에서 쓰는 건 무료 (MIT 라이선스) 클라우드(Fleets)만 사용량 과금	무료 · ChatGPT 구독 사용량에 포함 무료 등급으로도 사용 가능
설치 시간	약 5분	약 5분
선행 조건	Windows·macOS·Linux 중 하나	Claude Code + Node.js 18.18 이상

«컴퓨터 사용 에이전트»가 무슨 말인가

영어로 Computer-Use Agent(CUA)라고 씁니다. 사람이 컴퓨터를 쓰듯 AI가 화면을 보고 클릭·타이핑하는 방식을 말합니다. Cua라는 이름이 여기서 왔습니다. 스스로를 «컴퓨터 사용 에이전트를 위한 Docker»라고 소개합니다.

Cua 공식 홈페이지 첫 화면 — **화면 1.** Cua 공식 사이트(cua.ai) 첫 화면입니다. «Scale computer fleets for every agent» — 모든 에이전트에게 컴퓨터를 주겠다는 뜻입니다.

1단계 · 이해

Cua는 무엇으로 이루어져 있나

Cua는 하나의 프로그램이 아니라 다섯 덩어리로 된 묶음입니다. 교육담당자가 실제로 쓸 것은 사실상 첫 번째 하나뿐입니다. 나머지는 «이런 것도 있다» 정도로만 알아두시면 됩니다.

구성 요소	하는 일	우리가 쓰나
Cua Driver	내 PC에서 AI가 화면 캡처·클릭·타이핑을 하게 해줍니다. 마우스와 화면 포커스를 뺏지 않고 백그라운드로 도는 것이 핵심입니다	이걸 씁니다
Cua Sandbox	내 PC와 완전히 분리된 가상 컴퓨터를 만들어 그 안에서만 AI가 놀게 합니다	선택
Cua Fleets	클라우드에 가상 컴퓨터를 미리 켜두고 순식간에 배정합니다. 수백 대를 동시에 돌릴 때 씁니다	기업용
Cua Bench	AI가 컴퓨터를 얼마나 잘 쓰는지 시험 보고 채점합니다	연구용
CUA-S1 · Lume	컴퓨터 조작 전용 소형 AI 모델 / 맥에서 가상머신 관리	선택

«마우스를 뺏지 않는다»가 왜 중요한가

기존 자동화 도구는 AI가 일하는 동안 내 마우스 커서가 제멋대로 움직여 아무것도 못 했습니다. Cua Driver는 백그라운드로 창을 조작해서, AI가 일하는 동안에도 사용자는 다른 창에서 계속 작업할 수 있습니다. 이 점이 실무에서 가장 큰 차이를 만듭니다.

Cua GitHub 저장소 화면 — **화면 2.** GitHub 저장소(github.com/trycua/cua)입니다. **MIT 라이선스**로 공개되어 있어 사내에서 자유롭게 쓰실 수 있습니다.

2단계 · 설치

Cua Driver 설치 — Claude 에게 맡기기

명령을 직접 칠 필요가 없습니다. 아래 상자의 말을 복사해 Claude Code 입력창에 붙여 넣으면 Claude 가 대신 설치합니다. 관리자 권한이 필요 없고, 내 사용자 폴더 안에만 설치됩니다. Claude Code 가 아직 없으시면 «설치 02»를 먼저 하십시오.

💬 AI 입력창 2-1

Cua Driver 설치 (Windows)

Claude 에게 붙여넣기 · 약 1분

Cua Driver 를 Windows 공식 설치 스크립트(https://cua.ai/driver/install.ps1)로 이 PC에 설치해줘.
관리자 권한 없이 내 사용자 폴더에만 설치하는 기본 방식 그대로 하면 돼.
중간에 «관리자 권한 허용» 창이 뜨면 내가 직접 누를게.
끝나면 설치된 버전과 설치 폴더를 알려줘. 오류가 나면 무엇이 문제인지 쉬운 말로 설명하고 고쳐줘.

설명 Claude 가 공식 사이트의 설치 스크립트를 받아 대신 실행합니다. Claude 가 실행해도 되는지 물으면 주소가 cua.ai 가 맞는지 눈으로 한 번 확인하고 허용하십시오.

💬 AI 입력창 2-2

맥·리눅스를 쓰신다면

맥·리눅스의 Claude 에게 붙여넣기

나는 맥(또는 리눅스)을 쓰고 있어. Cua Driver 를 공식 설치 스크립트(https://cua.ai/driver/install.sh)로 설치해줘.
맥이면 설치 뒤 cua-driver permissions grant 를 실행해서 «손쉬운 사용»과 «화면 기록» 권한을 허용하는 방법을 한 단계씩 안내해줘.
끝나면 설치된 버전을 알려줘. 오류가 나면 무엇이 문제인지 쉬운 말로 설명하고 고쳐줘.

맥 전용 맥에서는 설치 후 손쉬운 사용 권한과 화면 기록 권한을 따로 허용해야 합니다. Claude 가 안내를 띄워 주지만, 시스템 설정의 허용 스위치는 직접 켜셔야 합니다.

설치가 끝나면 이런 기록이 나옵니다

실제 출력

설치 완료 화면 (2026-09-21 실측)

Claude 의 답이나 실행 기록에 이 문구들이 보이면 성공입니다

==> cua-driver-rs installer (Windows)
==>   install dir : C:\Users\사용자\AppData\Local\Programs\Cua\cua-driver\bin
==>   package home: C:\Users\사용자\.cua-driver
==> downloading cua-driver-rs-0.28.2-windows-x86_64.zip
==> extracting ...

cua-driver-rs 0.28.2 installed.

Added ...\Cua\cua-driver\bin to your User PATH.
  cua-driver resolves immediately in THIS shell and in any new shell.

중간에 UAC 창 설치 막바지에 «관리자 권한 허용» 창이 한 번 뜹니다. 로그인할 때마다 Cua가 자동으로 켜지도록 등록하는 과정입니다. 허용을 누르시면 됩니다. 원치 않으시면 거절해도 설치 자체는 끝난 상태이며, 필요할 때 수동으로 켜면 됩니다.

💬 AI 입력창 2-3

제대로 깔렸는지 확인

Claude 에게 붙여넣기 · 버전 번호를 알려주면 성공

cua-driver 가 제대로 깔렸는지 버전을 확인해서 알려줘.
명령을 찾을 수 없다고 나오면 설치 폴더(AppData\Local\Programs\Cua\cua-driver\bin)에서 직접 실행해 보고, 왜 그런지 쉬운 말로 설명해줘.

결과 「cua-driver 0.28.2」처럼 버전 번호를 알려주면 정상입니다. Claude 가 «설치 폴더에서는 되는데 이름만으로는 안 찾아진다»고 하면 설치는 끝난 것입니다 — Claude Code 를 닫고 새로 열면 다음부터는 바로 찾습니다.

✓ 2단계 완료 기준 — 2-3 에서 Claude 가 버전 번호를 알려주면 다음으로 넘어가십시오.

3단계 · 연결

내 AI에게 «이 손을 써라»고 알려주기

설치만으로는 아무 일도 일어나지 않습니다. Cua는 손과 눈일 뿐이고, 그것을 쓸 AI에게 연결해야 합니다. Claude Code를 쓰신다면 아래 한 문단을 Claude 에게 붙여넣으면 됩니다.

💬 AI 입력창 3-1

Claude Code 에 Cua 연결하기

Claude 에게 붙여넣기 · 끝나면 Claude Code 를 새로 엽니다

cua-driver mcp-config --client claude 를 실행해서 Claude Code 연결용 명령을 확인하고,
화면에 나온 그 명령(claude mcp add-json ...)을 그대로 실행해서 cua-driver 를 MCP 로 등록해줘.
등록이 끝나면 MCP 목록에 cua-driver 가 보이는지 확인해서 알려줘. 오류가 나면 무엇이 문제인지 쉬운 말로 설명하고 고쳐줘.

중요 원래는 연결용 명령을 «출력»만 하고 사람이 그 줄을 다시 복사해 붙여야 하는 단계인데, Claude 가 찾기 → 실행까지 한 번에 합니다. 등록 결과는 Claude Code 를 완전히 닫고 새로 열어야 반영됩니다.

💬 AI 입력창 3-2

Codex(ChatGPT)에 연결하려면

Codex CLI를 쓰시는 경우 · Claude 에게 붙여넣기

Codex CLI 에도 cua-driver 를 MCP 로 연결해줘. 이름은 cua-driver, 실행 명령은 cua-driver mcp 로 해서 codex mcp add 로 등록하면 돼.
끝나면 Codex 의 MCP 목록에 cua-driver 가 보이는지 확인해서 알려줘. Codex CLI 가 없으면 설치하지 말고 없다고만 알려줘.

MCP가 뭔가요 AI와 프로그램을 잇는 표준 규격입니다. 콘센트 규격이 같아야 플러그를 꽂을 수 있듯, MCP를 통해 AI가 Cua를 «도구»로 인식합니다. «설치 02»의 9단계에서 다룬 그 MCP가 맞습니다.

💬 AI 입력창 3-3

AI용 사용설명서까지 자동 설치 (권장)

Claude 에게 붙여넣기 · AI가 Cua 쓰는 법을 스스로 배웁니다

cua-driver skills install 로 Cua 사용설명서(스킬)를 Claude Code·Codex 에 설치해줘.
끝나면 어디에 무엇이 설치됐는지 알려줘. 오류가 나면 무엇이 문제인지 쉬운 말로 설명하고 고쳐줘.

이게 왜 좋은가 Claude Code·Codex 등에 «Cua 사용법 문서»를 넣어줍니다. 이걸 해두면 AI에게 «계산기 열어서 6 곱하기 7 해봐»처럼 말만 해도 알아서 도구를 골라 씁니다.

Cua 공식 연결 안내 문서 — **화면 3.** 공식 연결 안내 문서입니다. 여기에 Claude·Codex·Cursor 등 **도구별 연결 방법**이 전부 정리되어 있습니다. — 원문 열기

4단계 · 실습

첫 실습 — AI에게 계산기를 시켜봅니다

공식 문서가 제안하는 첫 실습입니다. 거창하지 않지만 «AI가 정말로 내 화면을 조작하는가»를 눈으로 확인하는 데 이만한 것이 없습니다.

Claude Code를 엽니다. 3단계 연결을 마친 뒤 새로 열어야 Cua가 인식됩니다.
아래 문장을 그대로 입력합니다. 명령어가 아니라 그냥 한국어로 말하면 됩니다.
화면을 지켜봅니다. 계산기가 열리고 숫자가 눌리는 것이 보입니다. 이때 내 마우스는 그대로입니다.
결과를 확인합니다. AI가 «42가 표시되었습니다»라고 답하면 성공입니다.

💬 AI 입력창 4-1

첫 실습 프롬프트

Claude Code 입력창에 붙여넣기

cua-driver를 써서 윈도우 계산기를 열고, 6 곱하기 7을 계산한 다음,
화면에 42가 표시되는지 확인해줘. 확인한 화면도 캡처해서 보여줘.

안 될 때 AI가 «cua-driver가 뭔지 모르겠다»고 하면 3단계 연결이 안 된 것입니다. 3-1 을 Claude 에게 다시 시키고, Claude Code 를 완전히 닫았다가 새로 여십시오.

교육담당자가 실제로 써볼 만한 것

사내 시스템 반복 입력

LMS에 수강생 30명 일괄 등록
그룹웨어 교육 신청 승인 처리
웹 기반 사내 시스템 값 옮기기

자료 만들기 보조

엑셀 창을 직접 열어 표 정리
여러 사이트 자료를 모아 정리
설문 결과 화면을 캡처해 보고서에

다만 솔직히 말씀드립니다 — 지금 단계에서 «업무 투입»은 이릅니다

화면을 보고 조작하는 방식은 버튼 위치가 조금만 바뀌어도 틀립니다. 실제로 이 분야 최고 성능 AI도 전문가 과제 25개 중 6개만 통과합니다(Cua 공식 벤치마크). 중요한 업무를 맡기기엔 아직 불안정합니다.

지금은 «이런 것이 가능해졌다»를 눈으로 확인하는 단계로 쓰시길 권합니다. 교육에서 시연 소재로는 충분히 강력합니다.

5단계 · 설치

Codex 플러그인 — Claude에게 «검토자»를 붙입니다

여기서부터는 다른 도구입니다. OpenAI가 직접 만든 플러그인으로, Claude Code 안에서 ChatGPT의 Codex를 불러 씁니다. 한 AI가 만든 것을 다른 회사 AI가 검토하게 하는 셈입니다.

openai/codex-plugin-cc GitHub 저장소 — **화면 4.** OpenAI 공식 저장소(github.com/openai/codex-plugin-cc)입니다. 설명이 **«Use Codex from Claude Code»** — 경쟁사 도구 안에서 자사 AI를 쓰게 한 점이 이례적입니다.

먼저 확인 — 이것이 필요합니다

① Claude Code(«설치 02»에서 설치) · ② Node.js 18.18 이상(«설치 02»에서 설치) · ③ ChatGPT 계정. 셋 다 있으시면 바로 진행하십시오. ChatGPT는 무료 등급으로도 됩니다.

💬 AI 입력창 5-1

플러그인 저장소 등록

Claude 에게 붙여넣기

openai/codex-plugin-cc 를 Claude Code 플러그인 마켓플레이스로 등록해줘(claude plugin marketplace add).
끝나면 등록된 마켓플레이스 이름을 알려줘. 오류가 나면 무엇이 문제인지 쉬운 말로 설명하고 고쳐줘.

결과 Claude 가 openai-codex 마켓플레이스가 등록됐다고 알려주면 성공입니다. 실행 기록에는 Successfully added marketplace: openai-codex 가 찍힙니다.

💬 AI 입력창 5-2

플러그인 설치

5-1 다음에 바로 · Claude 에게 붙여넣기

방금 등록한 마켓플레이스에서 codex@openai-codex 플러그인을 설치해줘.
끝나면 이 플러그인의 버전과 들어 있는 것(스킬·에이전트·훅 개수)을 보여줘. 오류가 나면 무엇이 문제인지 쉬운 말로 설명하고 고쳐줘.

결과 Claude 가 설치됐다고 알려주고 아래 «설치 확인»과 같은 목록을 보여주면 성공입니다. 실행 기록에는 Successfully installed plugin: codex@openai-codex 가 찍힙니다.

💬 AI 입력창 5-3

Codex 로그인 (아직 안 하셨다면)

Claude 에게 붙여넣기 · 브라우저에 ChatGPT 로그인 화면이 열립니다

Codex CLI 가 설치돼 있는지 확인하고, 없으면 npm install -g @openai/codex 로 설치해줘.
그다음 codex login 을 실행해서 ChatGPT 로그인 화면을 브라우저로 열어줘. 로그인은 내가 직접 할게.
로그인이 끝나면 Codex 가 로그인된 상태인지 확인해서 알려줘.

로그인은 직접 아이디·비밀번호는 Claude 대화창이 아니라 브라우저 로그인 화면에 직접 넣으십시오. Claude 는 창을 열고 끝났는지만 확인합니다.

실제 출력

설치 확인 (2026-09-21 실측)

5-2 끝에 Claude 가 이런 내용을 보여주면 완료입니다

codex 1.0.6
  Description: Use Codex from Claude Code to review code or delegate tasks.
  Source: codex@openai-codex

Component inventory
  Skills (11)  adversarial-review, cancel, rescue, result, review, setup, status, transfer ...
  Agents (1)   codex-rescue
  Hooks (3)    SessionStart, SessionEnd, Stop

기능 11가지 스킬 11개가 함께 깔립니다. 이 중 실제로 자주 쓰는 것은 검토(review)와 작업 위임(rescue) 둘입니다. 다음 장에서 설명합니다.

✓ 5단계 완료 기준 — Claude Code를 새로 연 다음 입력창에 /codex: 까지만 쳐서 명령 목록이 뜨면 성공입니다.

6단계 · 사용법

Codex 플러그인 — 실제로 쓰는 명령 6가지

Claude Code 입력창에 슬래시(/)로 시작하는 명령을 칩니다. 전부 외울 필요 없고, 처음 두 개만 알아도 충분합니다.

명령	하는 일	언제 쓰나
`/codex:review`	Claude가 만든 결과물을 Codex가 검토합니다. 읽기만 하고 고치지 않습니다	가장 많이 씁니다. 작업을 마친 뒤 «한 번 봐달라»
`/codex:adversarial-review`	일부러 트집을 잡는 검토입니다. 설계 자체가 맞는지 따집니다	중요한 결정 전에 «반대 의견»이 필요할 때
`/codex:rescue`	문제 해결을 Codex에게 통째로 맡깁니다	Claude가 같은 오류에서 계속 헤맬 때
`/codex:status`	맡긴 작업이 어디까지 됐는지 봅니다	뒤에서 돌리는 중일 때
`/codex:result`	끝난 작업의 결과를 꺼내 봅니다	작업 완료 후
`/codex:cancel`	돌고 있는 작업을 멈춥니다	잘못 시켰을 때

💬 AI 입력창 6-1

가장 기본 — 그냥 검토 요청

Claude Code 입력창에 그대로

/codex:review

결과 Codex가 방금까지 한 작업을 훑어보고 «여기가 이상하다»를 지적합니다. 고치지는 않습니다. 고칠지 말지는 소장님이 정하십시오.

💬 AI 입력창 6-2

반대 의견을 일부러 받기

중요한 판단 전에

/codex:adversarial-review 이 방식이 정말 최선인지 반대 입장에서 따져봐줘

쓸모 AI는 사용자에게 동조하는 경향이 있습니다. 다른 회사 AI에게 «반박해봐»라고 시키면 놓친 구멍이 드러납니다. 교육 기획 검토에도 같은 원리를 쓰실 수 있습니다.

💬 AI 입력창 6-3

막혔을 때 다른 AI에게 넘기기

Claude가 같은 오류를 반복할 때

/codex:rescue 왜 계속 같은 오류가 나는지 원인을 찾아줘

뒤에서 돌리려면 뒤에 --background를 붙이면 다른 일을 하면서 기다릴 수 있습니다. /codex:status로 진행 상황을 봅니다.

교육담당자에게 이게 왜 의미 있나

코딩에만 쓰는 기능처럼 보이지만, 본질은 «한 AI의 결과를 다른 AI가 검증한다»입니다. 교안 초안을 Claude로 만들고 Codex에게 «빠진 관점이 없는지» 물어보는 식으로 업무 문서에도 그대로 적용됩니다. AI 하나만 쓰면 그 AI의 편향을 그대로 받습니다.

7단계 · 안전

설치 전에 꼭 짚고 넘어갈 것

Cua는 «내 컴퓨터를 조작하는» 프로그램입니다

회사 PC라면 IT 부서에 먼저 확인하십시오. 화면 캡처와 입력 제어를 하는 프로그램이라 보안 정책에 걸릴 수 있습니다.
로그인된 창을 조작할 수 있습니다. 은행·메일·사내 시스템이 열려 있으면 AI가 그것도 건드릴 수 있습니다. 중요한 창은 닫고 실습하십시오.
자동 실행이 등록됩니다. 설치 시 로그인할 때마다 Cua가 자동으로 켜집니다. 원치 않으면 아래 7-2 를 Claude 에게 시켜 끄십시오.
사용 정보가 수집됩니다. 기본값이 «수집 함»입니다. 화면 내용이나 파일 경로는 수집하지 않는다고 명시되어 있지만, 끄시려면 아래 7-1 을 Claude 에게 시키십시오.

💬 AI 입력창 7-1

사용 정보 수집 끄기 (권장)

설치 직후 한 번만 · Claude 에게 붙여넣기

cua-driver 의 사용 정보 수집(telemetry)을 꺼줘(cua-driver telemetry disable).
끝나면 꺼진 상태인지 확인해서 알려줘.

💬 AI 입력창 7-2

자동 실행 끄기 (선택)

필요할 때만 수동으로 켜고 싶다면 · Claude 에게 붙여넣기

cua-driver 가 로그인할 때마다 자동으로 켜지지 않게 자동 실행을 꺼줘(cua-driver autostart disable).
끝나면 꺼진 상태인지 확인해서 알려주고, 나중에 필요할 때 수동으로 켜는 방법도 한 줄로 알려줘.

Codex 플러그인은 상대적으로 안전합니다

화면을 조작하지 않고 코드와 문서만 읽습니다. 검토(review) 기능은 읽기 전용이라 파일을 고치지 않습니다. 다만 작업 내용이 OpenAI 서버로 전송되므로, 회사 기밀이 포함된 폴더에서는 쓰지 마십시오.

8단계 · 문제 해결

막혔을 때 보는 표

증상	원인	해결
`cua-driver`를 찾을 수 없다고 나옴	열려 있던 창이 새 설치 경로를 아직 모름	Claude Code 를 닫고 새로 여십시오
AI가 «cua-driver가 뭔지 모른다»고 함	3단계 연결을 안 했거나 앱을 재시작 안 함	3-1 을 Claude 에게 다시 시키고 Claude Code를 새로 여십시오
계산기 실습에서 아무 반응 없음	드라이버가 안 켜져 있음	Claude 에게 «Cua 드라이버 켜줘(cua-driver autostart kick)»
`/codex:` 명령이 안 보임	플러그인 설치 후 재시작 안 함	Claude Code를 완전히 종료 후 다시 여십시오
Codex가 «로그인하라»고 함	ChatGPT 계정 연결 안 됨	5-3 을 Claude 에게 다시 시키십시오
설치 중 UAC 창에서 거절함	자동 실행 등록만 안 된 상태	설치는 끝났습니다. Claude 에게 «Cua 드라이버 켜줘(cua-driver autostart kick)»

💬 AI 입력창 8-1

한 번에 전체 진단

뭐가 문제인지 모르겠을 때 · Claude 에게 붙여넣기

cua-driver health-report 로 Cua 상태를 전체 진단해줘.
결과를 읽고 문제가 있으면 원인을 쉬운 말로 설명하고 고쳐줘. 고친 뒤 한 번 더 진단해서 결과를 알려줘.

결과 진단 결과를 사람이 읽을 필요가 없습니다. Claude 가 결과를 읽고 무엇이 문제였고 어떻게 고쳤는지를 우리말로 알려줍니다.

더 알아보기

Cua 공식 사이트 Cua GitHub Cua 연결 문서 Codex 플러그인 GitHub «설치 02» — 환경 설정

이 자료를 만든 방식

이 글의 모든 명령과 화면은 2026년 9월 21일 Windows 11 PC에서 실제로 설치하며 확인했습니다. 설치 결과 화면(cua-driver 0.28.2, codex 플러그인 1.0.6)은 그때 나온 실제 출력입니다. 두 프로젝트 모두 업데이트가 잦아 버전 숫자는 달라질 수 있습니다.