跳到主要内容
黑色星期五:立减 30%仅限本周BF2026立即抢购 →了解套装
Device MCP

设备

Apple Vision Pro

在 Device MCP 中启动、镜像和控制运行 visionOS 27 的 Apple Vision Pro 模拟器,用鼠标完成注视和捏合,并让 AI Agent 用同一套 MCP 工具测试你的 visionOS App。

Device MCP 镜像和控制 Apple Vision Pro 模拟器的方式与 iPhone 模拟器相同:在同一个侧边栏里,显示在它自己的外框中,AI Agent 也使用同一套 MCP 工具。visionOS 不靠触摸,而是靠注视和捏合,所以点击就变成了注视加捏合。模拟器中无需安装任何东西。

1. 要求

  • Mac 上需要安装 Xcode,并带有 visionOS 27 模拟器运行时。可在 Xcode → Settings → Components 中添加。
  • 支持运行 visionOS 27 或更高版本的 Apple Vision Pro 模拟器。
  • 仅支持 Apple Vision Pro 模拟器。Device MCP 不能镜像 Apple Vision Pro 真机。

2. 启动 Apple Vision Pro 模拟器

  1. 点击侧边栏顶部的 +,选择 New Simulator → Apple Vision Pro。
  2. 点击 Start。Device MCP 会启动模拟器,并在启动完成后立即显示它的画面。

Apple Vision Pro 模拟器的列出、启动和关闭方式与 iPhone 模拟器相同,在侧边栏中显示为头显图标。参见 iOS 模拟器。

3. 镜像与控制

  • 佩戴者看到的画面:镜像显示模拟器的画面,以 3840 × 2160 无损呈现,约每秒 60 帧,外面是一圈细窄的圆角外框。
  • 点击即注视并捏合:Device MCP 会注视你点击的位置,然后捏合。拖动即捏合并移动手部:捏住的内容会随之移动,所以拖动可以滚动窗口中的内容。
  • 键盘:先点击镜像,再在获得焦点的输入框中输入。
  • 数码旋钮:点击工具栏中的 Home 或按 ⇧⌘H 即可按下它,打开主视图。
  • 截图与录屏:参见截图与录屏。

4. 配合 AI Agent 使用

你的 Agent 通过与 iPhone 相同的 MCP 服务器使用 Apple Vision Pro 模拟器:

  • tap 注视某个位置并捏合。swipe、scroll 和 drag 会捏合并移动手部。
  • list_elements 读取屏幕上的文字:visionOS 把窗口放置在 3D 空间中,所以屏幕会按人眼看到的样子来读取,你的 Agent 再用 tap_text 按这些文字轻点。
  • press_button home 按下数码旋钮。
  • launch_app 打开 App。主视图中的图标在注视下会高亮,但不响应捏合,所以你的 Agent 改为按名称打开 App。
  • start_simulator 启动或新建 Apple Vision Pro 模拟器。

✅ 示例提示词

  • 启动 Apple Vision Pro 模拟器并截图。
  • 在 Vision Pro 模拟器上打开我的 App,找到那档烹饪节目,把它加入 Up Next。
  • 在 Vision Pro 上打开“设置 › 辅助功能”,滚动到“语音”。

5. 与 iPhone 的区别

  • 靠注视和捏合,而不是触摸:在 App 的窗口中,捏合可以作用于列表行和链接。列表之外的按钮在注视下会高亮,但暂时还不响应捏合。如果你需要的控件不响应,请告诉我们。
  • 没有辅助功能树:你的 Agent 改为读取屏幕上的文字,再按文字或位置轻点。
  • 没有旋转、App 切换器、控制中心、锁定和音量按钮:数码旋钮是 Device MCP 在 Vision Pro 上唯一会按的按钮。
  • 没有 Settings 标签页和整洁状态栏:visionOS 没有可切换的浅色模式。请在模拟器自己的设置 App 中更改设置。
  • 以完整方式启动:精简模拟器仅适用于 iOS 和 watchOS。