Apple Vision Pro
Starte, spiegle und steuere Apple Vision Pro-Simulatoren mit visionOS 27 in Device MCP, mit Blick und Pinch-Geste per Maus, und lass deinen KI-Agenten deine visionOS-App mit denselben MCP-Tools testen.
Device MCP spiegelt und steuert Apple Vision Pro-Simulatoren genauso wie einen iPhone-Simulator: in derselben Seitenleiste, im eigenen Rahmen und mit denselben MCP-Tools für deinen KI-Agenten. visionOS reagiert auf Blick und Pinch-Geste statt auf Berührung, und genau das wird aus einem Klick. Im Simulator wird nichts installiert.
1. Voraussetzungen
- Xcode auf deinem Mac, mit einer visionOS 27-Simulator-Runtime. Du fügst sie unter Xcode → Settings → Components hinzu.
- Apple Vision Pro-Simulatoren mit visionOS 27 oder neuer.
- Nur Apple Vision Pro-Simulatoren. Eine echte Apple Vision Pro spiegelt Device MCP nicht.
2. Einen Apple Vision Pro-Simulator starten
- Klicke oben in der Seitenleiste auf + und wähle New Simulator → Apple Vision Pro.
- Klicke auf Start. Device MCP startet den Simulator und zeigt seine Ansicht, sobald er hochgefahren ist.
Apple Vision Pro-Simulatoren werden wie iPhone-Simulatoren aufgelistet, gestartet und heruntergefahren, mit einem Brillen-Symbol in der Seitenleiste. Siehe iOS-Simulator.
3. Spiegeln und steuern
- Die Sicht durch die Brille: Die Spiegelung zeigt die Ansicht des Simulators, verlustfrei in 3840 × 2160 und mit etwa 60 Bildern pro Sekunde, in einem schmalen, abgerundeten Rahmen.
- Ein Klick ist Blick und Pinch-Geste: Device MCP blickt auf den Punkt, auf den du geklickt hast, und macht dann eine Pinch-Geste. Ziehen hält die Pinch-Geste und bewegt die Hand: Was du so festhältst, bewegt sich mit, deshalb scrollt Ziehen den Inhalt eines Fensters.
- Tastatur: Klicke auf die Spiegelung und tippe dann in das Feld, das den Fokus hat.
- Digital Crown: Klicke in der Symbolleiste auf Home oder drücke ⇧⌘H, um sie zu drücken und die Home-Ansicht zu öffnen.
- Bildschirmfotos und Aufnahmen: siehe Bildschirmfotos & Aufnahmen.
4. Mit einem KI-Agenten
Dein Agent nutzt einen Apple Vision Pro-Simulator über denselben MCP-Server wie ein iPhone:
tapblickt auf einen Punkt und macht eine Pinch-Geste.swipe,scrollunddraghalten die Pinch-Geste und bewegen die Hand.list_elementsliest den Text auf dem Bildschirm: visionOS platziert seine Fenster in 3D, deshalb wird der Bildschirm so gelesen, wie ein Mensch ihn sieht, und dein Agent tippt mittap_textauf diese Wörter.press_button homedrückt die Digital Crown.launch_appöffnet Apps. Die Symbole der Home-Ansicht leuchten unter einem Blick auf, reagieren aber nicht auf eine Pinch-Geste, deshalb öffnet dein Agent Apps stattdessen über ihren Namen.start_simulatorstartet oder erstellt einen Apple Vision Pro-Simulator.
✅ Beispiel-Prompts
- Starte den Apple Vision Pro-Simulator und mach ein Bildschirmfoto.
- Öffne meine App auf dem Vision Pro-Simulator, such die Kochsendung und füge sie zu Up Next hinzu.
- Öffne auf der Vision Pro Einstellungen › Bedienungshilfen und scrolle bis zum Abschnitt „Sprechen“.
5. Unterschiede zu einem iPhone
- Blick und Pinch-Geste statt Berührung: Eine Pinch-Geste erreicht Listenzeilen und Links im Fenster einer App. Buttons außerhalb einer Liste leuchten unter dem Blick auf, reagieren aber noch nicht auf die Pinch-Geste. Wenn ein Bedienelement, das du brauchst, nicht reagiert, schreib uns.
- Kein Bedienungshilfen-Baum: Dein Agent liest stattdessen die Wörter auf dem Bildschirm und tippt auf sie oder auf ihre Position.
- Kein Drehen, kein App-Umschalter, kein Kontrollzentrum, kein Sperren und keine Lautstärketasten: Die Digital Crown ist die einzige Taste, die Device MCP auf einer Vision Pro drückt.
- Kein Tab Settings, keine saubere Statusleiste: visionOS hat keinen hellen Modus, zu dem man wechseln könnte. Ändere Einstellungen in der App Einstellungen des Simulators selbst.
- Startet vollständig: Schlanke Simulatoren gibt es nur für iOS und watchOS.