Claude Codeのコンピューター操作の使い方｜画面を見てクリック

公開 更新 著者 永上裕之導入とルール
#Claude Code#コンピューター操作#computer use#macOS#自動化
AIがパソコンの画面を見ながらアプリをクリックして動作を確かめるイメージ

この記事の要点

  • コンピューター操作は、画面を見てクリック・入力するClaude Codeの機能（macOS・研究プレビュー）
  • /mcp で computer-use を有効にし、macOSの「アクセシビリティ」「画面収録」を許可する
  • アプリはセッションごとに承認制。Escキーでいつでも止められる

コマンドや API では届かない作業があります。ボタンを押して確かめる画面のテスト、API のない社内ツール、シミュレーターの操作などです。

Claude Code の コンピューター操作（computer use） は、こうした「画面でしかできない作業」を AI に任せる機能です。この記事では、公式ドキュメント（2026年10月29日確認）にもとづいて、始め方と安全な使い方をまとめます。

結論：ほかの手段で届かない作業だけに使う「最後の手段」

コンピューター操作は、アプリを開き、クリックし、文字を入力し、画面を見る 機能です。いちばん幅広く使えますが、いちばん遅い方法でもあります。

そのため Claude は、次の順に道具を選びます。

  1. その仕事用の MCP サーバー があれば、それを使う（MCPの使い方）
  2. コマンドで済むなら、コマンドを使う
  3. ブラウザの作業で Claude in Chrome が使えるなら、それを使う（Chromeとつなぐ方法）
  4. どれにも当てはまらないときだけ、コンピューター操作を使う

使える条件

項目内容
状態研究プレビュー（今後変わる可能性あり）
OSターミナル版は macOS のみ（デスクトップアプリ版は macOS と Windows）
プランPro または Max（Team・Enterprise は対象外）
使い方対話しながら使うセッションのみ。-p の自動実行では使えない

始め方：3つの手順

  1. Claude Code の会話で /mcp と打ち、一覧の computer-use を選んで Enable にする（プロジェクトごとに1回）
  2. 初めて画面を使うときに出る案内から、macOS の アクセシビリティ（クリック・入力のため）と 画面収録（画面を見るため）を許可する
  3. 「Try again」を選ぶ。画面収録を許可したあとは、Claude Code の再起動が必要なことがある

あとは、画面が必要な仕事を頼むだけです。

アプリをビルドして起動し、タブを1つずつ開いて落ちないか確かめて。エラーの画面があればスクリーンショットを残して

アプリはセッションごとに承認する

有効にしても、すべてのアプリを触れるわけではありません。あるアプリを初めて使うとき、ターミナルに確認が出ます。

「Allow for this session（このセッションだけ許可）」か「Deny（拒否）」を選びます。許可はそのセッションの間だけ有効です。

影響の大きいアプリには、追加の警告が出ます。

警告対象
シェルを使えるのと同じターミナル、VS Code などの開発ツール
どのファイルも読み書きできるFinder
システム設定を変えられるシステム設定

また、アプリの種類によって操作できる範囲が違います。ブラウザや取引のアプリは見るだけ、ターミナルや開発ツールはクリックだけ、それ以外はすべての操作ができます。

作業中の動き

止めたいとき

操作が始まると、macOS の通知に「press Esc to stop」と出ます。どこからでも Esc キー を押せば、その操作がすぐ止まります。ターミナルで Ctrl+C でも止まります。止めると、隠れていたアプリも元に戻ります。

向いている作業

注意点

コマンドの実行は サンドボックス で囲えますが、コンピューター操作は 実際のデスクトップ の上で動きます。画面に表示された文章に、AI へのだまし指示（プロンプトインジェクション）が紛れていることもあります。

まとめ

出典

永上裕之

ユニコスクール株式会社 代表取締役。AIエージェント専門のスクール＆コミュニティを運営しています。

この記事はAIを使って下書きし、著者が事実確認・加筆しています。ツールの機能や料金は変わることがあるため、最新の情報は各社の公式ページでご確認ください。

関連する記事

Claude CodeをJetBrainsで使う方法｜IntelliJ対応2026-10-29・導入とルール
Claude Codeのデスクトップアプリの始め方｜Codeタブの使い方2026-10-28・導入とルール
Claude Codeをスマホで使う方法｜iPhone・Androidから指示2026-10-28・導入とルール