跳到主要内容
黑色星期五:立减 30%仅限本周BF2026立即抢购 →了解套装
Device MCP
← 博客

公告 · 2026年11月20日 · 阅读约 5 分钟

Device MCP 支持 Apple Vision Pro 模拟器:你的 Agent 会注视和捏合了

Device MCP 现在可以镜像和控制 visionOS 27 模拟器。点击变成注视加捏合,你的 AI Agent 也通过 MCP 获得同样的输入方式,可以打开你的 visionOS App、使用它,再告诉你它看到了什么。

作者:Device MCP 团队

visionOS App 不在屏幕上。它的窗口悬浮在房间里,你用眼睛和手指来操作:看向一个按钮,捏合一下,它就被按下了。这正是 AI Agent 的难点。它能轻点 iPhone,但 Vision Pro 上没有可以轻点的点,只有可以注视的地方。

Device MCP 现在可以镜像和控制 Apple Vision Pro 模拟器。它们就在侧边栏里,和你的 iPhone、Apple Watch、Apple TV 放在一起。在镜像上点击就是注视加捏合,你的 Agent 也通过 MCP 获得同样的输入方式。

新功能一览

  • 侧边栏里的 Apple Vision Pro:选择 + → New Simulator → Apple Vision Pro,然后按 Start。
  • 佩戴者看到的画面:Device MCP 直接读取模拟器的画面:3840 × 2160,无损,约每秒 60 帧。
  • 用鼠标注视和捏合:点击即注视某个位置并捏合。拖动即捏合并移动手部,可用来滚动窗口中的内容。工具栏中的 Home 会按下数码旋钮。
  • 同一个 MCP 服务器:如果 Claude Code 或 Codex 中已经添加了 Device MCP,你的 Agent 现在就能使用 Vision Pro 模拟器。

一句提示词,一次注视加捏合

上面的截图来自一次真实运行。我们把 Marquee(一款收录虚构节目的小型流媒体 App)装到 Apple Vision Pro 模拟器上。在 visionOS 上,它是一个窗口:节目列在侧边栏中,选中的节目显示在旁边。然后我们给了 Claude Code 一句话:

在 Apple Vision Pro 模拟器上打开 Marquee App,找到那档烹饪节目,把它加入 Up Next。然后告诉我它讲的是什么。

下面是它在 24 秒内做的事:

  1. list_devices 找到正在运行的 Vision Pro,launch_app 按名称打开 Marquee。
  2. take_screenshot 显示了房间里的窗口,list_elements 读取了其中的文字:侧边栏中的节目、推荐节目的标题和它的两个操作。
  3. 对 Salt & Ember 那一行执行 tap,注视它并捏合。详情面板打开了:2025 · Cooking · 10 episodes。
  4. 对 Add to Up Next 执行 tap,再次注视并捏合,最后一张截图显示出带蓝色对勾的 In Up Next。

然后它回答:

我已经在 Apple Vision Pro 模拟器上,把 Salt & Ember 加入了 Marquee 的 Up Next。按钮现在显示为“In Up Next”,并带有蓝色对勾。

关于这部节目:这是一部 2025 年的烹饪系列,共 10 集。App 中的简介是:"Two chefs, one fire pit, and a coastline of villages that have cooked the same way for centuries."

它还提到 Night Market 听起来也和美食有关,并问我们指的是不是那一部。好的测试人员就会留意到这种事。

注视和捏合是怎么实现的

Device MCP 中 Apple Vision Pro 模拟器的主视图:App 图标悬浮在客厅中,镜像下方是 Home、Screenshot 和 Record

Vision Pro 模拟器不接受触摸。Xcode 的 Device Hub 改用注视和手部来操控它,Device MCP 也一样,而且模拟器中无需安装任何东西:

  • 轻点:从佩戴者的双眼出发,穿过画面上的那个点发出一条视线射线,稍等片刻让注视落定,然后捏合并松开。你会看到高亮移到被注视的对象上,和在真实的头显上一样。
  • 拖动或滚动:捏合并移动手部。捏住的内容会随之移动,所以窗口中的列表会按 Agent 要求的方向滚动。
  • 按钮:以头显自身按钮的形式发送:Home 即数码旋钮。

读取屏幕的方式也不同。在 iPhone 上,你的 Agent 读取辅助功能树:每个按钮及其标签和位置。visionOS 把窗口放置在 3D 空间中,所以其中的元素在画面上没有确定的位置。Device MCP 改为像人眼一样读取屏幕上的文字,你的 Agent 再用 tap_text 按这些文字轻点,或按位置轻点。

工具在 Apple Vision Pro 上
tap、tap_text注视该位置或那些文字,然后捏合
swipe、scroll、drag捏合并移动手部
press_button home按下数码旋钮
list_elements屏幕上的文字,像人一样读取
launch_app按名称或 bundle ID 打开 App
start_simulator启动或新建 Vision Pro 模拟器

能用它做什么

  • 走一遍 App 的主要路径:“在 Vision Pro 模拟器上打开我的 App,用测试账号登录,然后打开第一项。”你的 Agent 会告诉你它卡在了哪里。
  • 检查是否显示得下:visionOS 上的窗口与 iPhone 屏幕形状不同。让你的 Agent 走遍每个界面,报告被截断或过于拥挤的文字。
  • 对比不同平台:“在我的 iPhone 和 Vision Pro 模拟器上打开同一个界面,列出有哪些不同。”Device MCP Pro 可以同时镜像两者。
  • 检查某项设置:“在 Vision Pro 上打开‘设置 › 辅助功能’,滚动到‘语音’。”

与 iPhone 的不同之处

  • 仅支持模拟器:Device MCP 不能镜像 Apple Vision Pro 真机。
  • 按名称打开 App:主视图中的图标在注视下会高亮,但不响应捏合,所以你的 Agent 使用 launch_app。
  • 还不是每个控件都响应捏合:在我们的测试中,无论是在我们的 App 里还是在“设置”中,列表行和链接每次都能响应,但列表之外的按钮只会高亮。如果你遇到的按钮能响应,请告诉我们。
  • 没有 Settings 标签页和整洁状态栏:visionOS 没有可切换的浅色模式。请使用模拟器自己的设置 App。
  • 以完整方式启动:精简模拟器仅适用于 iOS 和 watchOS。

完整说明请参阅 Apple Vision Pro 文档。

试试看

下载 Device MCP;如果已经安装,请选择 Device MCP → Check for Updates…。在 Xcode → Settings → Components 中添加 visionOS 27 运行时,从侧边栏启动一台 Apple Vision Pro 模拟器,然后用一条命令把 Device MCP 添加到 Claude Code:

claude mcp add --scope user device-mcp -- "/Applications/Device MCP.app/Contents/MacOS/device-mcp"

然后让你的 Agent 在 Vision Pro 上打开你的 App。Apple TV 模拟器也已支持,还给你的 Agent 配了一个 Siri Remote 遥控器:来看看它是怎么用遥控器的。

下一步

Device MCP 由 Proxyman LLC 打造,我们也开发了 Proxyman、Tiny Shield 和 TCP Viewer。