本文へスキップ
ブラックフライデー:30% オフ今週限定BF2026今すぐ購入 →バンドルの詳細を見る
Device MCP
← ブログ

お知らせ · 2026/11/20 · 5 分で読めます

Device MCP が Apple Vision Pro シミュレータに対応:エージェントが見てピンチする

Device MCP が visionOS 27 シミュレータのミラーリングと操作に対応しました。クリックは視線とピンチになり、AI エージェントも MCP で同じ入力を使えます。visionOS アプリを開いて使い、見たものを報告します。

執筆:Device MCP チーム

visionOS アプリは、画面の中にはありません。ウインドウは部屋の中に浮かび、目と指で操作します。ボタンを見てピンチすれば、押されます。AI エージェントにとって難しいのはそこです。iPhone ならタップできますが、Vision Pro にはタップする位置がなく、見る先があるだけです。

Device MCP が Apple Vision Pro シミュレータのミラーリングと操作に対応しました。iPhone、Apple Watch、Apple TV と並んでサイドバーに表示されます。ミラーをクリックすると視線とピンチになり、エージェントも MCP で同じ入力を使えます。

主な機能

  • サイドバーに Apple Vision Pro。+ → New Simulator → Apple Vision Pro を選び、Start を押します。
  • 装着者が見ている映像。Device MCP はシミュレータの映像を直接読み取ります。3840 × 2160 のロスレスで、毎秒約 60 フレームです。
  • マウスで見てピンチ。クリックすると、その位置を見てピンチします。ドラッグすると、ピンチしたまま手を動かし、ウインドウの内容をスクロールできます。ツールバーの Home で Digital Crown を押します。
  • 同じ MCP サーバー。Claude Code や Codex に Device MCP を追加済みなら、エージェントは今すぐ Vision Pro シミュレータを使えます。

プロンプト 1 つ、視線とピンチ

上のスクリーンショットは、実際に動かしたときのものです。架空の番組を並べた小さなストリーミングアプリ「Marquee」を、Apple Vision Pro シミュレータにインストールしました。visionOS では、サイドバーに番組が並び、選んだ番組がその横に表示されるウインドウです。そして、Claude Code に 1 文だけ伝えました。

Apple Vision Pro シミュレータで Marquee アプリを開いて、料理番組を探して Up Next に追加して。それから、どんな番組か教えて。

Claude Code が 24 秒でしたことは次のとおりです。

  1. list_devices で実行中の Vision Pro を見つけ、launch_app で Marquee を名前で開きました。
  2. take_screenshot で部屋に浮かぶウインドウを確認し、list_elements でその中の言葉を読み取りました。サイドバーの番組、おすすめ番組のタイトル、その 2 つのアクションです。
  3. Salt & Ember の行を tap すると、その行を見てピンチしました。詳細ペインが開き、2025 · Cooking · 10 episodes と表示されました。
  4. Add to Up Next を tap すると、もう一度見てピンチし、最後のスクリーンショットには青いチェックマーク付きの In Up Next が写っていました。

そして、こう答えました。

Apple Vision Pro シミュレータの Marquee で、Salt & Ember を Up Next に追加しました。ボタンには今、青いチェックマーク付きで「In Up Next」と表示されています。

番組について:2025 年の料理シリーズで、全 10 話です。アプリの説明文は次のとおりです。"Two chefs, one fire pit, and a coastline of villages that have cooked the same way for centuries."

さらに、Night Market も食べ物に関係がありそうだと指摘し、そちらのことかと確認してきました。優れたテスターなら気づくところです。

視線とピンチの仕組み

Device MCP で開いた Apple Vision Pro シミュレータのホームビュー。リビングルームにアプリのアイコンが浮かび、ミラーの下に Home、Screenshot、Record が並んでいる

Vision Pro シミュレータはタッチを受け付けません。Xcode の Device Hub は代わりに視線と手でシミュレータを操作しており、Device MCP も同じ方法を使います。シミュレータには何もインストールしません。

  • タップでは、装着者の目から画像上の位置を通る視線を送り、視線が定まるまで少し待ってから、ピンチして離します。実際のヘッドセットと同じように、見ているものにハイライトが移るのがわかります。
  • ドラッグやスクロールでは、ピンチして手を動かします。ピンチしたものが一緒に動くので、ウインドウのリストがエージェントの指示どおりにスクロールします。
  • ボタンは、ヘッドセット自体のボタンとして送ります。ホームには Digital Crown を使います。

画面の読み取りも異なります。iPhone では、エージェントはアクセシビリティツリー、つまりすべてのボタンとそのラベル、フレームを読み取ります。visionOS はウインドウを 3D 空間に配置するため、その要素は画像上に位置を持ちません。そこで Device MCP は、人が見るのと同じように画面上のテキストを読み取り、エージェントはその言葉を tap_text で、または位置でタップします。

ツールApple Vision Pro での動作
tap、tap_text位置または言葉を見て、ピンチします
swipe、scroll、dragピンチして手を動かします
press_button homeDigital Crown を押します
list_elements画面上の言葉を、人が読むように読み取ります
launch_app名前またはバンドル ID でアプリを開きます
start_simulatorVision Pro シミュレータを起動または作成します

頼めること

  • アプリの主な流れをひととおり試す。「Vision Pro シミュレータで私のアプリを開いて、テストアカウントでサインインし、最初の項目を開いて」。どこで行き詰まったかを、エージェントが教えてくれます。
  • 収まっているかを確認する。visionOS のウインドウは、iPhone の画面とは形が違います。すべての画面をたどって、切れていたり詰まっていたりするテキストを報告するようエージェントに頼みましょう。
  • プラットフォームを比べる。「同じ画面を iPhone と Vision Pro シミュレータで開いて、違うところを一覧にして」。Device MCP Pro なら両方を同時にミラーリングできます。
  • 設定を確認する。「Vision Pro で設定 › アクセシビリティを開いて、『スピーチ』までスクロールして」。

iPhone との違い

  • シミュレータのみ。Device MCP は実機の Apple Vision Pro はミラーリングしません。
  • アプリは名前で開く。ホームビューのアイコンは視線を向けると光りますが、ピンチには反応しないため、エージェントは launch_app を使います。
  • ピンチに反応しないコントロールもまだある。私たちのテストでは、自作のアプリでも設定でも、リストの行とリンクは毎回反応しましたが、リストの外のボタンは光るだけでした。お手元で反応するボタンがあれば、お知らせください。
  • Settings タブ、ステータスバーの整形はなし。visionOS には切り替える先のライトモードがありません。シミュレータ自体の 設定 アプリを使ってください。
  • Full で起動。Slim シミュレータは iOS と watchOS のみです。

詳しくは Apple Vision Pro のドキュメントをご覧ください。

試してみる

Device MCP をダウンロードするか、すでにお使いの場合は Device MCP → Check for Updates… を選びます。Xcode → Settings → Components で visionOS 27 のランタイムを追加し、サイドバーから Apple Vision Pro シミュレータを起動して、1 つのコマンドで Device MCP を Claude Code に追加します。

claude mcp add --scope user device-mcp -- "/Applications/Device MCP.app/Contents/MacOS/device-mcp"

あとは、Vision Pro でアプリを開くようエージェントに頼むだけです。Apple TV シミュレータにも対応しました。エージェント用の Siri Remote 付きです。エージェントがリモコンを持つ様子をご覧ください。

次に読む

Device MCP は、Proxyman、Tiny Shield、TCP Viewer を開発する Proxyman LLC が作っています。