Pular para o conteúdo
Black Friday: 30% de descontoSó esta semanaBF2026Ver oferta →Conheça o pacote
Device MCP
← Blog

Anúncio · 20 de nov. de 2026 · 5 min de leitura

Simuladores do Apple Vision Pro no Device MCP: seu agente olha e pinça

O Device MCP agora espelha e controla simuladores do visionOS 27. Um clique vira um olhar e um gesto de pinça, e seu agente de IA recebe a mesma entrada pelo MCP: ele abre seu app para visionOS, usa e conta o que viu.

Por Equipe Device MCP

Um app para visionOS não vive em uma tela. As janelas dele flutuam pela sala, e você as usa com os olhos e os dedos: olha para um botão, faz o gesto de pinça e ele é pressionado. Essa é a parte difícil para um agente de IA. Ele consegue tocar em um iPhone, mas em um Vision Pro não há um ponto para tocar, só um lugar para onde olhar.

O Device MCP agora espelha e controla simuladores do Apple Vision Pro. Eles ficam na barra lateral ao lado dos seus iPhones, Apple Watches e Apple TVs. Um clique no espelhamento vira um olhar e um gesto de pinça, e seu agente recebe a mesma entrada pelo MCP.

O que você ganha

  • O Apple Vision Pro na barra lateral. Escolha + → New Simulator → Apple Vision Pro e clique em Start.
  • A imagem que quem usa o Vision Pro vê. O Device MCP lê a imagem do simulador diretamente: 3840 × 2160, sem perdas, a cerca de 60 quadros por segundo.
  • Olhar e pinçar com o mouse. Clique para olhar para um ponto e pinçar. Arraste para pinçar e mover a mão, o que rola o conteúdo de uma janela. Home na barra de ferramentas pressiona a Digital Crown.
  • O mesmo servidor MCP. Se o Device MCP já está no Claude Code ou no Codex, seu agente pode usar um simulador do Vision Pro agora mesmo.

Um prompt, um olhar e um gesto de pinça

A captura de tela acima é de uma execução real. Instalamos o Marquee, um pequeno app de streaming com programas inventados, em um simulador do Apple Vision Pro. No visionOS, ele é uma janela com os programas em uma barra lateral e, ao lado, o que você escolher. Então demos uma frase ao Claude Code:

No simulador do Apple Vision Pro, abra o app Marquee, encontre o programa de culinária e adicione-o ao Up Next. Depois me diga sobre o que ele é.

Veja o que ele fez, em 24 segundos:

  1. list_devices encontrou o Vision Pro em execução, e launch_app abriu o Marquee pelo nome.
  2. take_screenshot mostrou a janela na sala, e list_elements leu as palavras nela: os programas da barra lateral, o título do programa em destaque e as duas ações dele.
  3. tap na linha de Salt & Ember olhou para ela e fez o gesto de pinça. O painel de detalhes abriu: 2025 · Cooking · 10 episodes.
  4. tap em Add to Up Next olhou e pinçou de novo, e uma última captura de tela mostrou In Up Next com uma marca de seleção azul.

Então ele respondeu:

Adicionei Salt & Ember ao Up Next no Marquee, no simulador do Apple Vision Pro. Agora o botão mostra "In Up Next" com uma marca de seleção azul.

Sobre o programa: é uma série de culinária de 2025 com 10 episódios. A descrição no app é: "Two chefs, one fire pit, and a coastline of villages that have cooked the same way for centuries."

Ele também comentou que Night Market parece ter a ver com comida e perguntou se era esse que queríamos. Um bom testador repara nisso.

Como funcionam o olhar e o gesto de pinça

A Home View do simulador do Apple Vision Pro no Device MCP: ícones de apps flutuando em uma sala de estar, com Home, Screenshot e Record abaixo do espelhamento

O simulador do Vision Pro não aceita toques. O Device Hub do Xcode o controla com um olhar e uma mão, e o Device MCP também, sem instalar nada no simulador:

  • Um toque envia um raio de visão dos olhos de quem usa o headset até o ponto da imagem, espera um instante para o olhar pousar e então pinça e solta. Você vê o destaque passar para o que está sendo olhado, como em um headset real.
  • Um arrasto ou uma rolagem pinça e move a mão. O que está pinçado se move junto, então a lista de uma janela rola do jeito que seu agente pediu.
  • Os botões são enviados como os do próprio headset: a Digital Crown, para o Home.

A leitura da tela também funciona de outro jeito. Em um iPhone, seu agente lê a árvore de acessibilidade: cada botão com seu rótulo e sua posição. O visionOS posiciona suas janelas em 3D, então os elementos delas não têm um lugar na imagem. Por isso o Device MCP lê o texto da tela, do jeito que uma pessoa o vê, e seu agente toca por essas palavras com tap_text ou pela posição delas.

FerramentaEm um Apple Vision Pro
tap, tap_textOlha para o ponto, ou para as palavras, e pinça
swipe, scroll, dragPinçam e movem a mão
press_button homePressiona a Digital Crown
list_elementsAs palavras da tela, lidas como uma pessoa as lê
launch_appAbre um app pelo nome ou pelo bundle id
start_simulatorInicia ou cria um simulador do Vision Pro

O que pedir a ele

  • Percorra os caminhos principais do seu app. "Abra meu app no simulador do Vision Pro, entre com a conta de teste e abra o primeiro item." Seu agente diz onde travou.
  • Confira o que cabe. As janelas do visionOS têm um formato diferente da tela de um iPhone. Peça ao seu agente para visitar cada tela e informar textos cortados ou apertados.
  • Compare plataformas. "Abra a mesma tela no meu iPhone e no simulador do Vision Pro e liste o que é diferente." O Device MCP Pro espelha os dois ao mesmo tempo.
  • Confira um ajuste. "No Vision Pro, abra Ajustes › Acessibilidade e role até Fala."

O que muda em relação a um iPhone

  • Só simuladores. O Device MCP não espelha um Apple Vision Pro real.
  • Abra apps pelo nome. Os ícones da Home View se destacam sob o olhar, mas não respondem ao gesto de pinça, então seu agente usa launch_app.
  • Nem todo controle responde ao gesto de pinça ainda. Nos nossos testes, linhas de listas e links responderam todas as vezes, no nosso app e nos Ajustes, mas botões fora de uma lista só se destacaram. Se os seus responderem, conte para nós.
  • Sem aba Settings nem barra de status limpa. O visionOS não tem um modo claro para o qual alternar. Use o app Ajustes do próprio simulador.
  • Inicia completo. Os simuladores slim são só para iOS e watchOS.

Todos os detalhes estão na documentação do Apple Vision Pro.

Experimente

Baixe o Device MCP ou, se você já o tem, escolha Device MCP → Check for Updates…. Adicione um runtime do visionOS 27 em Xcode → Settings → Components, inicie um simulador do Apple Vision Pro pela barra lateral e adicione o Device MCP ao Claude Code com um comando:

claude mcp add --scope user device-mcp -- "/Applications/Device MCP.app/Contents/MacOS/device-mcp"

Depois, peça ao seu agente para abrir seu app no Vision Pro. Os simuladores da Apple TV também chegaram, com um Siri Remote para o seu agente: leia como ele usa o controle remoto.

Próximos passos

O Device MCP é feito pela Proxyman LLC, a equipe por trás do Proxyman, do Tiny Shield e do TCP Viewer.