公告 · 2026年11月20日 · 阅读约 5 分钟
Device MCP 支持 Apple Vision Pro 模拟器:你的 Agent 会注视和捏合了
Device MCP 现在可以镜像和控制 visionOS 27 模拟器。点击变成注视加捏合,你的 AI Agent 也通过 MCP 获得同样的输入方式,可以打开你的 visionOS App、使用它,再告诉你它看到了什么。
作者:Device MCP 团队

visionOS App 不在屏幕上。它的窗口悬浮在房间里,你用眼睛和手指来操作:看向一个按钮,捏合一下,它就被按下了。这正是 AI Agent 的难点。它能轻点 iPhone,但 Vision Pro 上没有可以轻点的点,只有可以注视的地方。
Device MCP 现在可以镜像和控制 Apple Vision Pro 模拟器。它们就在侧边栏里,和你的 iPhone、Apple Watch、Apple TV 放在一起。在镜像上点击就是注视加捏合,你的 Agent 也通过 MCP 获得同样的输入方式。
新功能一览
- 侧边栏里的 Apple Vision Pro:选择 + → New Simulator → Apple Vision Pro,然后按 Start。
- 佩戴者看到的画面:Device MCP 直接读取模拟器的画面:3840 × 2160,无损,约每秒 60 帧。
- 用鼠标注视和捏合:点击即注视某个位置并捏合。拖动即捏合并移动手部,可用来滚动窗口中的内容。工具栏中的 Home 会按下数码旋钮。
- 同一个 MCP 服务器:如果 Claude Code 或 Codex 中已经添加了 Device MCP,你的 Agent 现在就能使用 Vision Pro 模拟器。
一句提示词,一次注视加捏合
上面的截图来自一次真实运行。我们把 Marquee(一款收录虚构节目的小型流媒体 App)装到 Apple Vision Pro 模拟器上。在 visionOS 上,它是一个窗口:节目列在侧边栏中,选中的节目显示在旁边。然后我们给了 Claude Code 一句话:
在 Apple Vision Pro 模拟器上打开 Marquee App,找到那档烹饪节目,把它加入 Up Next。然后告诉我它讲的是什么。
下面是它在 24 秒内做的事:
list_devices找到正在运行的 Vision Pro,launch_app按名称打开 Marquee。take_screenshot显示了房间里的窗口,list_elements读取了其中的文字:侧边栏中的节目、推荐节目的标题和它的两个操作。- 对 Salt & Ember 那一行执行
tap,注视它并捏合。详情面板打开了:2025 · Cooking · 10 episodes。 - 对 Add to Up Next 执行
tap,再次注视并捏合,最后一张截图显示出带蓝色对勾的 In Up Next。
然后它回答:
我已经在 Apple Vision Pro 模拟器上,把 Salt & Ember 加入了 Marquee 的 Up Next。按钮现在显示为“In Up Next”,并带有蓝色对勾。
关于这部节目:这是一部 2025 年的烹饪系列,共 10 集。App 中的简介是:"Two chefs, one fire pit, and a coastline of villages that have cooked the same way for centuries."
它还提到 Night Market 听起来也和美食有关,并问我们指的是不是那一部。好的测试人员就会留意到这种事。
注视和捏合是怎么实现的

Vision Pro 模拟器不接受触摸。Xcode 的 Device Hub 改用注视和手部来操控它,Device MCP 也一样,而且模拟器中无需安装任何东西:
- 轻点:从佩戴者的双眼出发,穿过画面上的那个点发出一条视线射线,稍等片刻让注视落定,然后捏合并松开。你会看到高亮移到被注视的对象上,和在真实的头显上一样。
- 拖动或滚动:捏合并移动手部。捏住的内容会随之移动,所以窗口中的列表会按 Agent 要求的方向滚动。
- 按钮:以头显自身按钮的形式发送:Home 即数码旋钮。
读取屏幕的方式也不同。在 iPhone 上,你的 Agent 读取辅助功能树:每个按钮及其标签和位置。visionOS 把窗口放置在 3D 空间中,所以其中的元素在画面上没有确定的位置。Device MCP 改为像人眼一样读取屏幕上的文字,你的 Agent 再用 tap_text 按这些文字轻点,或按位置轻点。
| 工具 | 在 Apple Vision Pro 上 |
|---|---|
tap、tap_text | 注视该位置或那些文字,然后捏合 |
swipe、scroll、drag | 捏合并移动手部 |
press_button home | 按下数码旋钮 |
list_elements | 屏幕上的文字,像人一样读取 |
launch_app | 按名称或 bundle ID 打开 App |
start_simulator | 启动或新建 Vision Pro 模拟器 |
能用它做什么
- 走一遍 App 的主要路径:“在 Vision Pro 模拟器上打开我的 App,用测试账号登录,然后打开第一项。”你的 Agent 会告诉你它卡在了哪里。
- 检查是否显示得下:visionOS 上的窗口与 iPhone 屏幕形状不同。让你的 Agent 走遍每个界面,报告被截断或过于拥挤的文字。
- 对比不同平台:“在我的 iPhone 和 Vision Pro 模拟器上打开同一个界面,列出有哪些不同。”Device MCP Pro 可以同时镜像两者。
- 检查某项设置:“在 Vision Pro 上打开‘设置 › 辅助功能’,滚动到‘语音’。”
与 iPhone 的不同之处
- 仅支持模拟器:Device MCP 不能镜像 Apple Vision Pro 真机。
- 按名称打开 App:主视图中的图标在注视下会高亮,但不响应捏合,所以你的 Agent 使用
launch_app。 - 还不是每个控件都响应捏合:在我们的测试中,无论是在我们的 App 里还是在“设置”中,列表行和链接每次都能响应,但列表之外的按钮只会高亮。如果你遇到的按钮能响应,请告诉我们。
- 没有 Settings 标签页和整洁状态栏:visionOS 没有可切换的浅色模式。请使用模拟器自己的设置 App。
- 以完整方式启动:精简模拟器仅适用于 iOS 和 watchOS。
完整说明请参阅 Apple Vision Pro 文档。
试试看
下载 Device MCP;如果已经安装,请选择 Device MCP → Check for Updates…。在 Xcode → Settings → Components 中添加 visionOS 27 运行时,从侧边栏启动一台 Apple Vision Pro 模拟器,然后用一条命令把 Device MCP 添加到 Claude Code:
claude mcp add --scope user device-mcp -- "/Applications/Device MCP.app/Contents/MacOS/device-mcp"
然后让你的 Agent 在 Vision Pro 上打开你的 App。Apple TV 模拟器也已支持,还给你的 Agent 配了一个 Siri Remote 遥控器:来看看它是怎么用遥控器的。
下一步
- 文档Apple Vision Pro在 Device MCP 中启动、镜像和控制运行 visionOS 27 的 Apple Vision Pro 模拟器,用鼠标完成注视和捏合,并让 AI Agent 用同一套 MCP 工具测试你的 visionOS App。
- 博客Device MCP 支持 Apple TV 模拟器:把遥控器交给你的 AgentDevice MCP 现在可以镜像和控制 tvOS 27 模拟器。你的键盘变成 Siri Remote 遥控器,你的 AI Agent 也通过 MCP 拿到同一个遥控器:像你测试电视 App 那样移动焦点、选中、检查屏幕。
- 文档MCP将 Claude Code、Codex、Cursor 或任何 MCP 客户端连接到 Device MCP,让 AI Agent 在 iPhone 和 iPad 上查看、轻点、输入和测试。
Device MCP 由 Proxyman LLC 打造,我们也开发了
Proxyman、
Tiny Shield 和
TCP Viewer。