Apple Vision Pro
Device MCP で visionOS 27 の Apple Vision Pro シミュレータを起動、ミラーリング、操作できます。マウスで見てピンチでき、AI エージェントも同じ MCP ツールで visionOS アプリをテストできます。
Device MCP は、Apple Vision Pro シミュレータを iPhone のシミュレータと同じようにミラーリングして操作できます。同じサイドバーに並び、専用のフレームに表示され、AI エージェントも同じ MCP ツールを使えます。visionOS はタッチではなく視線とピンチで操作するため、クリックは視線とピンチになります。シミュレータには何もインストールしません。
1. 必要なもの
- Mac に Xcode と visionOS 27 のシミュレータランタイムが必要です。ランタイムは Xcode → Settings → Components で追加します。
- visionOS 27 以降の Apple Vision Pro シミュレータに対応しています。
- 対応しているのは Apple Vision Pro シミュレータのみです。Device MCP は実機の Apple Vision Pro はミラーリングしません。
2. Apple Vision Pro シミュレータを起動する
- サイドバー上部の + をクリックし、New Simulator → Apple Vision Pro を選びます。
- Start をクリックします。Device MCP がシミュレータを起動し、準備ができ次第その映像を表示します。
Apple Vision Pro シミュレータの一覧表示、起動、シャットダウンは iPhone のシミュレータと同じで、サイドバーにはバイザーのアイコンで表示されます。iOS シミュレータをご覧ください。
3. ミラーリングと操作
- 装着者が見ている映像:ミラーにはシミュレータの映像が、3840 × 2160 のロスレス、毎秒約 60 フレームで、角の丸い細いフレームの中に表示されます。
- クリックで見てピンチ:Device MCP はクリックした位置を見てから、ピンチします。ドラッグすると、ピンチしたまま手を動かします。ピンチしたものが一緒に動くので、ドラッグでウインドウの内容をスクロールできます。
- キーボード:ミラーをクリックしてから、フォーカスのあるフィールドに入力します。
- Digital Crown:ツールバーの Home をクリックするか ⇧⌘H を押すと、Digital Crown を押してホームビューを開きます。
- スクリーンショットと画面収録:スクリーンショットと画面収録をご覧ください。
4. AI エージェントで使う
エージェントは、iPhone と同じ MCP サーバーを通じて Apple Vision Pro シミュレータを使います。
tapはある位置を見てピンチします。swipe、scroll、dragはピンチして手を動かします。list_elementsは画面上のテキストを読み取ります。visionOS はウインドウを 3D 空間に配置するため、人が見るのと同じように画面を読み取り、エージェントはその言葉をtap_textでタップします。press_button homeは Digital Crown を押します。launch_appはアプリを開きます。ホームビューのアイコンは視線を向けると光りますが、ピンチには反応しないため、エージェントはアプリを名前で開きます。start_simulatorは Apple Vision Pro シミュレータを起動または作成します。
✅ プロンプトの例
- Apple Vision Pro シミュレータを起動して、スクリーンショットを撮って。
- Vision Pro シミュレータで私のアプリを開いて、料理番組を探して Up Next に追加して。
- Vision Pro で設定 › アクセシビリティを開いて、「スピーチ」までスクロールして。
5. iPhone との違い
- タッチではなく視線とピンチ:アプリのウインドウ内のリストの行やリンクはピンチに反応します。リストの外にあるボタンは、視線を向けると光りますが、まだピンチには反応しません。必要なコントロールが反応しない場合は、お知らせください。
- アクセシビリティツリーはなし:エージェントは代わりに画面上の言葉を読み取り、その言葉か位置でタップします。
- 回転、Appスイッチャー、コントロールセンター、ロック、音量ボタンはなし:Vision Pro で Device MCP が押せるボタンは Digital Crown だけです。
- Settings タブ、ステータスバーの整形はなし:visionOS には切り替える先のライトモードがありません。設定は、シミュレータ自体の 設定 アプリで変更します。
- Full で起動:Slim シミュレータは iOS と watchOS のみです。