Claude Code Computer Use の落とし穴

Claude Code Computer Use とは — 4 ツールの最後の選択肢

Claude Code Computer Use は、Claude Code の CLI セッション内から Claude にマウス・キーボード・スクリーン認識を委譲する仕組みです。computer-use という名前の組み込み MCP サーバーとして実装されており、デフォルトでは無効、/mcp メニューで有効化したプロジェクトでのみ起動します(出典: Claude に CLI からコンピュータを使用させる)。

重要なのは Anthropic が公式ドキュメントで Computer Use を「最も広く、最も遅い」ツールと位置づけ、Claude が利用可能な選択肢の中で最後に検討するよう設計している点です。優先順位は以下のとおり明文化されています。

つまり Computer Use は「ネイティブ macOS アプリ・iOS Simulator・デザインツール・API のないツール」のように 他の手段では到達不能な場面に予約された最終兵器 です。逆に、CLI で完結する処理や MCP サーバーが整っているサービスを Computer Use で操作するのは設計上の誤りで、遅さとセキュリティ境界の広さを引き受ける見返りが得られません。

Desktop アプリ版との違い

Claude Code CLI と Claude Desktop アプリは同じ Computer Use エンジンを共有しますが、UI と一部機能が異なります(出典: Claude に CLI からコンピュータを使用させる)。

Dispatch(Claude のクラウド実行基盤)から起動された Desktop セッションは Computer Use を呼び出せますが、Claude Code CLI セッションでは Dispatch 経由実行という概念がそもそも適用されません。「クラウド側で Computer Use を回したい」要件があるなら Desktop + Dispatch を選びます。

4 つの利用条件 — Mac / Pro・Max / v2.1.85 / インタラクティブ

Computer Use は他の Claude Code 機能と異なり、利用条件が厳格に絞られています。4 つすべて満たさないと /mcp メニューに computer-use が現れません(出典: Claude に CLI からコンピュータを使用させる)。

加えて claude.ai を通じた認証必須 という暗黙の条件があります。Amazon Bedrock・Google Cloud Vertex AI・Microsoft Foundry などサードパーティ経由で Claude にアクセスしている場合、Computer Use のためだけに別の claude.ai アカウントを用意する必要があります。

Team・Enterprise プランで使えない理由

Pro・Max プランで使えるのに Team・Enterprise で使えない仕様は直感に反しますが、これは Computer Use がまだ研究プレビュー段階で、個人ユーザーでの使用想定 を中心に検証フェーズにあるためと推察されます。組織アカウントで業務マシンを Claude が直接操作する状況は、企業のセキュリティ統制と整合性を取るうえで論点が多く、機能リリースが慎重に進んでいる構造です。

Team・Enterprise プランで Computer Use を使いたい場合、現時点では 個人の Pro・Max アカウントに切り替える か、Desktop アプリで利用する のどちらかが現実解です。Computer Use のロードマップ上は Team・Enterprise への展開可能性は否定されておらず、/status でプラン状況をチェックしながら待ちます。

-p 非インタラクティブモードで使えない理由

Claude Code は claude -p "prompt" のように一発実行する非インタラクティブモードを提供しますが、この経路では Computer Use が使えません。理由は Computer Use が ターン中に macOS 通知・ダイアログ・Esc キー受付などインタラクティブな安全装置を要求する ためで、CI/CD やバッチ実行のようにユーザーが見ていない状況では危険性が許容できないと判断されています。

GitHub Actions など自動実行環境で GUI 操作を回したい要件には、Playwright や AppleScript・Shortcuts といった既存の自動化ツールを Bash 経由で呼ぶ方が現実的です。Computer Use はあくまで「人間が画面を見ているインタラクティブなセッション」を前提にした機能と理解してください。

5 分セットアップ — /mcp 有効化と macOS 2 つの許可

利用条件をクリアしたら、セットアップは 3 ステップで完了します。所要時間は実測で 5 分以内、許可付与のためのシステム設定起動を含めても 10 分は超えません(出典: Claude に CLI からコンピュータを使用させる)。

# Step 1: インタラクティブセッションで MCP メニューを開く
$ claude
> /mcp
# サーバー一覧で `computer-use` を見つける(無効状態で表示)

# Step 2: `computer-use` を選択 → Enable
# 設定はプロジェクトごとに保持されるため、各プロジェクトで 1 回だけ実行

# Step 3: 初回利用時、macOS が 2 つの許可をプロンプト
#   - Accessibility(クリック・入力・スクロール)
#   - Screen Recording(スクリーン認識)
# プロンプトのリンクから System Settings を開いて両方付与

Screen Recording を付与した直後は、macOS が要求プロセスの再起動を要求する場合があります。Claude Code を完全に終了してから再起動し、もう一度同じプロンプトに到達すると Try again ボタンで進められます。プロンプトが繰り返し出るときは System Settings > Privacy & Security > Screen Recording で Claude Code の項目が有効になっているかを目視確認してください。

セットアップ後、自然言語で GUI が必要なタスクを依頼します。

Build the app target, launch it, and click through each tab to make
sure nothing crashes. Screenshot any error states you find.

computer-use が /mcp に出ないときの確認順

/mcp 一覧に computer-use が表示されない場合、4 つの利用条件を順に確認します。

1. claude --version が 2.1.85 以上 か(以前のバージョンは MCP 自体が表示対象外)
2. /status で Pro または Max プラン が有効か
3. macOS で動かしているか(Linux・WSL では非表示)
4. claude をフラグなしで起動しているか(-p 経由は対象外)

すべて満たしているのに表示されない場合、claude.ai 経由の認証 をしているかを確認します。Bedrock などサードパーティ経由でのみ認証している場合、Computer Use 機能フラグがアカウントに乗っておらず、別途 claude.ai アカウントの紐付けが必要です。

安全運用 — 3 ティア制御とアプリごと session 承認

Computer Use は サンドボックス化された Bash ツールとは異なり、実際のデスクトップで承認したアプリへ直接アクセスします。プロンプトインジェクションや意図せぬ操作のリスクを下げるため、Anthropic は 5 段構えのガードレールを組み込んでいます(出典: Claude に CLI からコンピュータを使用させる)。

アプリごと session 承認とセンチネル警告

computer-use を有効にしただけではマシン上の全アプリへのアクセスは付与されません。Claude がセッション中に新しいアプリを必要としたタイミングで、ターミナルにアプリ名と追加権限のプロンプトが出ます。Allow for this session か Deny を選択し、承認は現在のセッション内でのみ有効です。

広いアクセス範囲を持つアプリには、承認前に センチネル警告 が表示されます。

これらのアプリは禁止されているわけではなく、警告によって タスクが本当にこのレベルのアクセスを必要としているか を人間に判断させる設計になっています。例えば「Slack のスレッドをスクリーンショットして」だけのタスクで Finder を承認する必要はないので、デフォルトで Deny して構いません。

3 ティアの制御レベル

承認したアプリでも、Claude の制御レベルはアプリカテゴリで自動的に絞られます。

ブラウザの Full control を取らない設計は、フィッシングサイトを誤認識した Claude が金融サービスの送金ボタンを押すような事故を防ぐためです。ブラウザ操作が本来の業務なら、優先順位 3 の Chrome の Claude を使うのが正解です。

Esc グローバル中止とロックファイル

Claude がスクリーン制御を取った瞬間に、macOS 通知が出ます: 「Claude is using your computer · press Esc to stop」。どこからでも Esc を押せば現在のアクションを直ちに中止 し、ターミナルの Ctrl+C でも同じ効果が得られます。Esc キープレスは Claude 側で消費されるため、プロンプトインジェクションを使ってダイアログを閉じる悪用も封じられています。

加えて、Computer Use はアクティブ中に マシン全体のロックを保持 します。別の Claude Code セッションが既にコンピュータを使っている場合、新しい試みは「Computer use is in use by another Claude session」のメッセージで失敗します。最初に保持側のセッションを終了してください。クラッシュ等で異常終了した場合、Claude がプロセス不在を検出して自動でロックを解放します。

加えて、Claude が制御中はターミナルウィンドウが スクリーンショットから自動除外 されます。これにより、画面に表示された不正なプロンプトが Claude にフィードバックされてセッションを乗っ取る経路が遮断されます。

できること 4 種 — ネイティブビルド / E2E / ビジュアル / GUI 駆動

Computer Use の本領は、「ターミナルから離れて手動でやる必要がある」あらゆる作業を CLI セッション内に取り込めること です。公式ドキュメントは 4 種類の代表的なワークフローを示しています(出典: Claude に CLI からコンピュータを使用させる)。

ネイティブアプリのビルドと検証

macOS や iOS のネイティブアプリ(Swift / Objective-C)は、xcodebuild でビルドしたあと 実機起動して GUI が動くか確認 する工程が手作業で残りがちです。Computer Use を使えば 1 つのプロンプトでこの全工程を自動化できます。

Build the MenuBarStats target, launch it, open the preferences window,
and verify the interval slider updates the label. Screenshot the
preferences window when you're done.

Claude は xcodebuild を Bash 経由で実行し、コンパイル成功後にアプリを起動して preferences ウィンドウを開き、スライダーを動かしてラベル更新を目視確認します。失敗すれば失敗箇所を、成功すれば検証済みのスクリーンショットを返します。

エンドツーエンド UI テスト

Electron アプリや任意のネイティブアプリの オンボーディングフロー全体を 1 プロンプトで網羅 できます。Playwright のセットアップやテストハーネスの構築が不要で、「サインアップから完了まで全画面をスクリーンショットして」というレベルの自然言語指示で完結します。

Open the iOS Simulator, launch the app, tap through the onboarding
screens, and tell me if any screen takes more than a second to load.

iOS Simulator のような GUI 専用ツールも、マウスを使う場合と同じ操作感で Claude が制御します。テスト工数を E2E スクリプトのメンテに割いてきたチームには、十分検討に値する自動化です。

ビジュアルバグとレイアウト不具合の再現

特定のウィンドウサイズでのみ発生する CSS バグなど、人間が見て初めて気づく不具合の再現を Claude に任せられます。

The settings modal clips its footer on narrow windows. Resize the app
window down until you can reproduce it, screenshot the clipped state,
then check the CSS for the modal container.

Claude はウィンドウをリサイズしながら不具合発生条件を探し、再現したらスクリーンショットを撮り、関連 CSS を読んで原因仮説を提示します。「ピクセル単位の見た目バグ」は AI ペアプロでは扱いにくい領域でしたが、Computer Use はここを正面突破します。

GUI 専用ツールの駆動

CLI や API が提供されていない GUI 専用ツール ── デザインソフト・ハードウェアコントロールパネル・iOS Simulator・社内独自ツール ── を Claude に駆動させられます。「他の自動化手段が一切ない」状況でも、人間がマウスで操作できるならば Computer Use は同じ操作を再現できます。

逆に、CLI・API・MCP コネクタがある場面では 絶対に Computer Use を選ばない のが鉄則です。優先順位 1〜3 のツールが使える場面で Computer Use を選ぶのは、遅さ・セキュリティ境界の広さ・スクリーンショット消費 token の増加を引き受けて何のメリットも得られない悪手です。

まとめ — Computer Use を選ぶ判断基準

Claude Code Computer Use は、Claude が macOS の GUI を直接操作する研究プレビュー機能で、ネイティブアプリビルド・E2E UI テスト・ビジュアルバグ再現・GUI 専用ツール駆動の 4 用途で他に代えがたい価値を発揮します。一方で Anthropic 自身が 「最後の選択肢」 と位置づけており、MCP・Bash・Chrome の Claude が使える場面では先にそちらを試すのが原則です。

利用前のチェックリストは次の 4 項目です。

• macOS で動かしている(Linux・Windows は対象外)
• Pro または Max プランに加入(Free・Team・Enterprise は対象外)
• Claude Code v2.1.85 以降を実行している
• インタラクティブセッション(-p フラグなし)で起動している

セットアップは /mcp で computer-use を有効化し、Accessibility と Screen Recording の 2 つの macOS 許可を付与するだけで完了します。運用中は アプリごと session 承認・3 ティア制御・Esc グローバル中止・ロックファイル・スクリーンショット除外 の 5 段構えの安全装置が働きます。

研究プレビュー段階のため、API 形式やプラン要件は今後変更される可能性があります。最新仕様は Claude に CLI からコンピュータを使用させる で確認してください。

出典(一次情報)

• Claude に CLI からコンピュータを使用させる(Claude Code 公式ドキュメント)
• Desktop でのコンピュータ使用(Claude Code 公式ドキュメント)
• MCP(Model Context Protocol)(Claude Code 公式ドキュメント)
• サンドボックス化(Claude Code 公式ドキュメント)
• コンピュータ使用セーフティガイド(Anthropic Support)

関連記事

• Claude Code 入門 — 非エンジニアでも動く 9 機能
• Claude MCP とは — できること一覧と接続 5 手順
• Claude Code スケジュール — 4 方式と落とし穴
• Claude Code スケジュール — 4 方式と落とし穴
• Claude Code Mac 入門 — brew + Apple Silicon + 通知設定