Anúncio · 20 de nov. de 2026 · 5 min de leitura
Simuladores do Apple Vision Pro no Device MCP: seu agente olha e pinça
O Device MCP agora espelha e controla simuladores do visionOS 27. Um clique vira um olhar e um gesto de pinça, e seu agente de IA recebe a mesma entrada pelo MCP: ele abre seu app para visionOS, usa e conta o que viu.
Por Equipe Device MCP

Um app para visionOS não vive em uma tela. As janelas dele flutuam pela sala, e você as usa com os olhos e os dedos: olha para um botão, faz o gesto de pinça e ele é pressionado. Essa é a parte difícil para um agente de IA. Ele consegue tocar em um iPhone, mas em um Vision Pro não há um ponto para tocar, só um lugar para onde olhar.
O Device MCP agora espelha e controla simuladores do Apple Vision Pro. Eles ficam na barra lateral ao lado dos seus iPhones, Apple Watches e Apple TVs. Um clique no espelhamento vira um olhar e um gesto de pinça, e seu agente recebe a mesma entrada pelo MCP.
O que você ganha
- O Apple Vision Pro na barra lateral. Escolha + → New Simulator → Apple Vision Pro e clique em Start.
- A imagem que quem usa o Vision Pro vê. O Device MCP lê a imagem do simulador diretamente: 3840 × 2160, sem perdas, a cerca de 60 quadros por segundo.
- Olhar e pinçar com o mouse. Clique para olhar para um ponto e pinçar. Arraste para pinçar e mover a mão, o que rola o conteúdo de uma janela. Home na barra de ferramentas pressiona a Digital Crown.
- O mesmo servidor MCP. Se o Device MCP já está no Claude Code ou no Codex, seu agente pode usar um simulador do Vision Pro agora mesmo.
Um prompt, um olhar e um gesto de pinça
A captura de tela acima é de uma execução real. Instalamos o Marquee, um pequeno app de streaming com programas inventados, em um simulador do Apple Vision Pro. No visionOS, ele é uma janela com os programas em uma barra lateral e, ao lado, o que você escolher. Então demos uma frase ao Claude Code:
No simulador do Apple Vision Pro, abra o app Marquee, encontre o programa de culinária e adicione-o ao Up Next. Depois me diga sobre o que ele é.
Veja o que ele fez, em 24 segundos:
list_devicesencontrou o Vision Pro em execução, elaunch_appabriu o Marquee pelo nome.take_screenshotmostrou a janela na sala, elist_elementsleu as palavras nela: os programas da barra lateral, o título do programa em destaque e as duas ações dele.tapna linha de Salt & Ember olhou para ela e fez o gesto de pinça. O painel de detalhes abriu: 2025 · Cooking · 10 episodes.tapem Add to Up Next olhou e pinçou de novo, e uma última captura de tela mostrou In Up Next com uma marca de seleção azul.
Então ele respondeu:
Adicionei Salt & Ember ao Up Next no Marquee, no simulador do Apple Vision Pro. Agora o botão mostra "In Up Next" com uma marca de seleção azul.
Sobre o programa: é uma série de culinária de 2025 com 10 episódios. A descrição no app é: "Two chefs, one fire pit, and a coastline of villages that have cooked the same way for centuries."
Ele também comentou que Night Market parece ter a ver com comida e perguntou se era esse que queríamos. Um bom testador repara nisso.
Como funcionam o olhar e o gesto de pinça

O simulador do Vision Pro não aceita toques. O Device Hub do Xcode o controla com um olhar e uma mão, e o Device MCP também, sem instalar nada no simulador:
- Um toque envia um raio de visão dos olhos de quem usa o headset até o ponto da imagem, espera um instante para o olhar pousar e então pinça e solta. Você vê o destaque passar para o que está sendo olhado, como em um headset real.
- Um arrasto ou uma rolagem pinça e move a mão. O que está pinçado se move junto, então a lista de uma janela rola do jeito que seu agente pediu.
- Os botões são enviados como os do próprio headset: a Digital Crown, para o Home.
A leitura da tela também funciona de outro jeito. Em um iPhone, seu agente lê a árvore de acessibilidade: cada botão com seu rótulo e sua posição. O visionOS posiciona suas janelas em 3D, então os elementos delas não têm um lugar na imagem. Por isso o Device MCP lê o texto da tela, do jeito que uma pessoa o vê, e seu agente toca por essas palavras com tap_text ou pela posição delas.
| Ferramenta | Em um Apple Vision Pro |
|---|---|
tap, tap_text | Olha para o ponto, ou para as palavras, e pinça |
swipe, scroll, drag | Pinçam e movem a mão |
press_button home | Pressiona a Digital Crown |
list_elements | As palavras da tela, lidas como uma pessoa as lê |
launch_app | Abre um app pelo nome ou pelo bundle id |
start_simulator | Inicia ou cria um simulador do Vision Pro |
O que pedir a ele
- Percorra os caminhos principais do seu app. "Abra meu app no simulador do Vision Pro, entre com a conta de teste e abra o primeiro item." Seu agente diz onde travou.
- Confira o que cabe. As janelas do visionOS têm um formato diferente da tela de um iPhone. Peça ao seu agente para visitar cada tela e informar textos cortados ou apertados.
- Compare plataformas. "Abra a mesma tela no meu iPhone e no simulador do Vision Pro e liste o que é diferente." O Device MCP Pro espelha os dois ao mesmo tempo.
- Confira um ajuste. "No Vision Pro, abra Ajustes › Acessibilidade e role até Fala."
O que muda em relação a um iPhone
- Só simuladores. O Device MCP não espelha um Apple Vision Pro real.
- Abra apps pelo nome. Os ícones da Home View se destacam sob o olhar, mas não respondem ao gesto de pinça, então seu agente usa
launch_app. - Nem todo controle responde ao gesto de pinça ainda. Nos nossos testes, linhas de listas e links responderam todas as vezes, no nosso app e nos Ajustes, mas botões fora de uma lista só se destacaram. Se os seus responderem, conte para nós.
- Sem aba Settings nem barra de status limpa. O visionOS não tem um modo claro para o qual alternar. Use o app Ajustes do próprio simulador.
- Inicia completo. Os simuladores slim são só para iOS e watchOS.
Todos os detalhes estão na documentação do Apple Vision Pro.
Experimente
Baixe o Device MCP ou, se você já o tem, escolha Device MCP → Check for Updates…. Adicione um runtime do visionOS 27 em Xcode → Settings → Components, inicie um simulador do Apple Vision Pro pela barra lateral e adicione o Device MCP ao Claude Code com um comando:
claude mcp add --scope user device-mcp -- "/Applications/Device MCP.app/Contents/MacOS/device-mcp"
Depois, peça ao seu agente para abrir seu app no Vision Pro. Os simuladores da Apple TV também chegaram, com um Siri Remote para o seu agente: leia como ele usa o controle remoto.
Próximos passos
- DocsApple Vision ProInicie, espelhe e controle simuladores do Apple Vision Pro com visionOS 27 no Device MCP, olhando e pinçando com o mouse, e deixe seu agente de IA testar seu app para visionOS com as mesmas ferramentas MCP.
- BlogSimuladores da Apple TV no Device MCP: entregue o controle remoto ao seu agenteO Device MCP agora espelha e controla simuladores do tvOS 27. Você ganha um Siri Remote no teclado, e seu agente de IA ganha um pelo MCP: ele move o foco, seleciona e confere a tela, do jeito que você testa um app de TV.
- DocsMCPConecte Claude Code, Codex, Cursor ou qualquer cliente MCP ao Device MCP para seu agente de IA ver, tocar, digitar e testar no iPhone e iPad.
O Device MCP é feito pela Proxyman LLC, a equipe por trás do
Proxyman, do
Tiny Shield e do
TCP Viewer.