Annonce · 20 nov. 2026 · 5 min de lecture
Les simulateurs d’Apple Vision Pro dans Device MCP : votre agent regarde et pince
Device MCP recopie et contrôle désormais les simulateurs visionOS 27. Un clic devient un regard et un pincement, et votre agent IA reçoit les mêmes commandes via MCP : il peut ouvrir votre app visionOS, l’utiliser et vous dire ce qu’il a vu.
Par L’équipe Device MCP

Une app visionOS ne vit pas sur un écran. Ses fenêtres flottent dans une pièce, et vous les utilisez avec vos yeux et vos doigts : vous regardez un bouton, vous pincez, et il est activé. C’est là que ça se complique pour un agent IA. Il sait toucher un iPhone, mais sur un Vision Pro, il n’y a aucun point à toucher, seulement un endroit où regarder.
Device MCP recopie et contrôle désormais les simulateurs d’Apple Vision Pro. Ils se trouvent dans la barre latérale, à côté de vos iPhone, Apple Watch et Apple TV. Un clic sur la recopie devient un regard et un pincement, et votre agent reçoit les mêmes commandes via MCP.
Ce que vous obtenez
- L’Apple Vision Pro dans la barre latérale. Choisissez + → New Simulator → Apple Vision Pro et appuyez sur Start.
- La vue de la personne qui le porte. Device MCP lit directement la vue du simulateur : 3840 × 2160, sans perte, à environ 60 images par seconde.
- Regarder et pincer à la souris. Cliquez pour regarder un point et pincer. Faites glisser pour pincer et déplacer la main, ce qui fait défiler le contenu d’une fenêtre. Home dans la barre d’outils enfonce la Digital Crown.
- Le même serveur MCP. Si Device MCP est déjà dans Claude Code ou Codex, votre agent peut utiliser un simulateur de Vision Pro dès maintenant.
Un prompt, un regard et un pincement
La capture d’écran ci-dessus vient d’une vraie exécution. Nous avons installé Marquee, une petite app de streaming avec des séries inventées, sur un simulateur d’Apple Vision Pro. Sur visionOS, c’est une fenêtre avec les séries dans une barre latérale et celle que vous choisissez à côté. Puis nous avons donné une seule phrase à Claude Code :
Sur le simulateur d’Apple Vision Pro, ouvre l’app Marquee, trouve l’émission de cuisine et ajoute-la à Up Next. Dis-moi ensuite de quoi elle parle.
Voici ce qu’il a fait, en 24 secondes :
list_devicesa trouvé le Vision Pro en cours d’exécution, etlaunch_appa ouvert Marquee par son nom.take_screenshota montré la fenêtre dans la pièce, etlist_elementsa lu les mots qu’elle contient : les séries de la barre latérale, le titre de la série à la une et ses deux actions.tapsur la ligne de Salt & Ember l’a regardée, puis a pincé. Le volet de détail s’est ouvert : 2025 · Cooking · 10 episodes.tapsur Add to Up Next a de nouveau regardé et pincé, et une dernière capture d’écran a montré In Up Next avec une coche bleue.
Puis il a répondu :
J’ai ajouté Salt & Ember à Up Next dans Marquee, sur le simulateur d’Apple Vision Pro. Le bouton affiche désormais « In Up Next » avec une coche bleue.
À propos de l’émission : c’est une série culinaire de 2025 en 10 épisodes. La description de l’app est la suivante : « Two chefs, one fire pit, and a coastline of villages that have cooked the same way for centuries. »
Il a aussi fait remarquer que Night Market semblait également parler de cuisine, et a demandé si c’était celle-là que nous voulions dire. Un bon testeur remarque ce genre de chose.
Comment fonctionnent le regard et le pincement

Le simulateur de Vision Pro ne prend pas en charge les touchers. Le Device Hub de Xcode le pilote plutôt par un regard et une main, et Device MCP fait de même, sans rien installer dans le simulateur :
- Un toucher envoie un rayon de regard depuis les yeux de la personne qui porte le casque, à travers le point de l’image, attend un instant que le regard se pose, puis pince et relâche. Vous voyez la surbrillance passer sur ce qui est regardé, comme sur un vrai casque.
- Un glissement ou un défilement pince et déplace la main. Ce qui est pincé suit le mouvement, si bien que la liste d’une fenêtre défile comme votre agent l’a demandé.
- Les boutons sont transmis comme ceux du casque lui-même : la Digital Crown pour Home.
La lecture de l’écran fonctionne aussi différemment. Sur un iPhone, votre agent lit l’arbre d’accessibilité : chaque bouton avec son libellé et son cadre. visionOS place ses fenêtres en 3D, si bien que leurs éléments n’ont pas de position sur l’image. Device MCP lit donc le texte à l’écran, comme une personne le voit, et votre agent touche ces mots avec tap_text, ou les touche par leur position.
| Outil | Sur un Apple Vision Pro |
|---|---|
tap, tap_text | Regarde le point, ou les mots, et pince |
swipe, scroll, drag | Pincent et déplacent la main |
press_button home | Enfonce la Digital Crown |
list_elements | Les mots à l’écran, lus comme une personne les lit |
launch_app | Ouvre une app par son nom ou son identifiant de bundle |
start_simulator | Démarre ou crée un simulateur de Vision Pro |
Que lui demander
- Parcourir les chemins principaux de votre app. « Ouvre mon app sur le simulateur de Vision Pro, connecte-toi avec le compte de test et ouvre le premier élément. » Votre agent vous dit où il est resté bloqué.
- Vérifier ce qui tient à l’écran. Sur visionOS, les fenêtres n’ont pas la même forme que l’écran d’un iPhone. Demandez à votre agent de visiter chaque écran et de signaler le texte coupé ou trop serré.
- Comparer les plateformes. « Ouvre le même écran sur mon iPhone et sur le simulateur de Vision Pro, et liste ce qui diffère. » Device MCP Pro recopie les deux à la fois.
- Vérifier un réglage. « Sur le Vision Pro, ouvre Réglages › Accessibilité et fais défiler jusqu’à Parole. »
Ce qui diffère d’un iPhone
- Simulateurs uniquement. Device MCP ne recopie pas un vrai Apple Vision Pro.
- Ouverture des apps par leur nom. Les icônes de la vue Accueil s’éclairent sous le regard mais ne réagissent pas au pincement : votre agent utilise donc
launch_app. - Toutes les commandes ne réagissent pas encore au pincement. Lors de nos tests, les lignes de liste et les liens ont réagi à chaque fois, dans notre app comme dans Réglages, mais les boutons hors d’une liste se sont seulement éclairés. Si c’est le cas des vôtres, dites-le-nous.
- Ni onglet Settings, ni barre d’état épurée. visionOS n’a pas de mode clair vers lequel basculer. Utilisez l’app Réglages du simulateur lui-même.
- Démarrage en version complète. Les simulateurs allégés ne concernent qu’iOS et watchOS.
Tous les détails se trouvent dans la documentation de l’Apple Vision Pro.
Essayez-le
Téléchargez Device MCP, ou choisissez Device MCP → Check for Updates… si vous l’avez déjà. Ajoutez un runtime visionOS 27 dans Xcode → Settings → Components, lancez un simulateur d’Apple Vision Pro depuis la barre latérale, puis ajoutez Device MCP à Claude Code en une seule commande :
claude mcp add --scope user device-mcp -- "/Applications/Device MCP.app/Contents/MacOS/device-mcp"
Demandez ensuite à votre agent d’ouvrir votre app sur le Vision Pro. Les simulateurs d’Apple TV sont là aussi, avec une Siri Remote pour votre agent : découvrez comment il tient la télécommande.
Et ensuite ?
- DocsApple Vision ProLancez, recopiez et contrôlez des simulateurs d'Apple Vision Pro sous visionOS 27 dans Device MCP, en regardant et en pinçant à la souris, et laissez votre agent IA tester votre app visionOS avec les mêmes outils MCP.
- BlogLes simulateurs d’Apple TV dans Device MCP : confiez la télécommande à votre agentDevice MCP recopie et contrôle désormais les simulateurs tvOS 27. Vous avez une Siri Remote sur votre clavier, et votre agent IA en a une via MCP : il déplace le focus, sélectionne et vérifie l’écran, comme vous testez une app TV.
- DocsMCPConnectez Claude Code, Codex, Cursor ou tout client MCP à Device MCP, pour que votre agent IA puisse voir l'écran, toucher, saisir du texte et tester sur votre iPhone et votre iPad.
Device MCP est conçu par Proxyman LLC, l’équipe derrière
Proxyman,
Tiny Shield et
TCP Viewer.