Apple Vision Pro
在 Device MCP 中启动、镜像和控制运行 visionOS 27 的 Apple Vision Pro 模拟器,用鼠标完成注视和捏合,并让 AI Agent 用同一套 MCP 工具测试你的 visionOS App。
Device MCP 镜像和控制 Apple Vision Pro 模拟器的方式与 iPhone 模拟器相同:在同一个侧边栏里,显示在它自己的外框中,AI Agent 也使用同一套 MCP 工具。visionOS 不靠触摸,而是靠注视和捏合,所以点击就变成了注视加捏合。模拟器中无需安装任何东西。
1. 要求
- Mac 上需要安装 Xcode,并带有 visionOS 27 模拟器运行时。可在 Xcode → Settings → Components 中添加。
- 支持运行 visionOS 27 或更高版本的 Apple Vision Pro 模拟器。
- 仅支持 Apple Vision Pro 模拟器。Device MCP 不能镜像 Apple Vision Pro 真机。
2. 启动 Apple Vision Pro 模拟器
- 点击侧边栏顶部的 +,选择 New Simulator → Apple Vision Pro。
- 点击 Start。Device MCP 会启动模拟器,并在启动完成后立即显示它的画面。
Apple Vision Pro 模拟器的列出、启动和关闭方式与 iPhone 模拟器相同,在侧边栏中显示为头显图标。参见 iOS 模拟器。
3. 镜像与控制
- 佩戴者看到的画面:镜像显示模拟器的画面,以 3840 × 2160 无损呈现,约每秒 60 帧,外面是一圈细窄的圆角外框。
- 点击即注视并捏合:Device MCP 会注视你点击的位置,然后捏合。拖动即捏合并移动手部:捏住的内容会随之移动,所以拖动可以滚动窗口中的内容。
- 键盘:先点击镜像,再在获得焦点的输入框中输入。
- 数码旋钮:点击工具栏中的 Home 或按 ⇧⌘H 即可按下它,打开主视图。
- 截图与录屏:参见截图与录屏。
4. 配合 AI Agent 使用
你的 Agent 通过与 iPhone 相同的 MCP 服务器使用 Apple Vision Pro 模拟器:
tap注视某个位置并捏合。swipe、scroll和drag会捏合并移动手部。list_elements读取屏幕上的文字:visionOS 把窗口放置在 3D 空间中,所以屏幕会按人眼看到的样子来读取,你的 Agent 再用tap_text按这些文字轻点。press_button home按下数码旋钮。launch_app打开 App。主视图中的图标在注视下会高亮,但不响应捏合,所以你的 Agent 改为按名称打开 App。start_simulator启动或新建 Apple Vision Pro 模拟器。
✅ 示例提示词
- 启动 Apple Vision Pro 模拟器并截图。
- 在 Vision Pro 模拟器上打开我的 App,找到那档烹饪节目,把它加入 Up Next。
- 在 Vision Pro 上打开“设置 › 辅助功能”,滚动到“语音”。