Zum Inhalt springen
Black Friday: 30 % RabattNur diese WocheBF2026Zum Angebot →Zum Bundle
Device MCP
← Blog

Ankündigung · 20.11.2026 · 5 Min. Lesezeit

Apple Vision Pro-Simulatoren in Device MCP: Dein Agent nutzt Blick und Pinch-Geste

Device MCP spiegelt und steuert jetzt Simulatoren mit visionOS 27. Aus einem Klick werden Blick und Pinch-Geste, und dein KI-Agent bekommt dieselbe Eingabe über MCP: Er öffnet deine visionOS-App, nutzt sie und sagt dir, was er gesehen hat.

Von Das Team von Device MCP

Eine visionOS-App lebt nicht auf einem Bildschirm. Ihre Fenster schweben im Raum, und du bedienst sie mit Augen und Fingern: Du schaust einen Button an, machst eine Pinch-Geste, und er ist gedrückt. Genau das ist für einen KI-Agenten das Schwierige. Auf einem iPhone kann er tippen, aber auf einer Vision Pro gibt es keinen Punkt zum Tippen, nur etwas, wohin man schauen kann.

Device MCP spiegelt und steuert jetzt Apple Vision Pro-Simulatoren. Sie stehen in der Seitenleiste neben deinen iPhones, Apple Watches und Apple TVs. Ein Klick auf die Spiegelung wird zu Blick und Pinch-Geste, und dein Agent bekommt dieselbe Eingabe über MCP.

Das bekommst du

  • Apple Vision Pro in der Seitenleiste. Wähle + → New Simulator → Apple Vision Pro und klick auf Start.
  • Die Sicht durch die Brille. Device MCP liest die Ansicht des Simulators direkt: 3840 × 2160, verlustfrei, mit etwa 60 Bildern pro Sekunde.
  • Blick und Pinch-Geste mit der Maus. Klick, um auf einen Punkt zu blicken und eine Pinch-Geste zu machen. Zieh, um die Pinch-Geste zu halten und die Hand zu bewegen, so scrollst du den Inhalt eines Fensters. Home in der Symbolleiste drückt die Digital Crown.
  • Derselbe MCP-Server. Ist Device MCP schon in Claude Code oder Codex eingerichtet, kann dein Agent sofort einen Vision Pro-Simulator nutzen.

Ein Prompt, ein Blick und eine Pinch-Geste

Das Bildschirmfoto oben stammt aus einem echten Durchlauf. Wir haben Marquee, eine kleine Streaming-App mit erfundenen Serien, auf einem Apple Vision Pro-Simulator installiert. Unter visionOS ist sie ein Fenster mit den Serien in einer Seitenleiste und der ausgewählten daneben. Dann haben wir Claude Code einen einzigen Satz gegeben:

Öffne auf dem Apple Vision Pro-Simulator die App Marquee, such die Kochsendung und füge sie zu Up Next hinzu. Sag mir dann, worum es darin geht.

Das hat Claude Code in 24 Sekunden gemacht:

  1. list_devices fand die laufende Vision Pro, und launch_app öffnete Marquee über seinen Namen.
  2. take_screenshot zeigte das Fenster im Raum, und list_elements las die Wörter darin: die Serien in der Seitenleiste, den Titel der empfohlenen Serie und ihre zwei Aktionen.
  3. tap auf die Zeile von Salt & Ember blickte darauf und machte eine Pinch-Geste. Der Detailbereich öffnete sich: 2025 · Cooking · 10 episodes.
  4. tap auf Add to Up Next blickte wieder hin und machte eine Pinch-Geste, und ein letztes Bildschirmfoto zeigte In Up Next mit einem blauen Häkchen.

Dann antwortete Claude Code:

Ich habe Salt & Ember in Marquee auf dem Apple Vision Pro-Simulator zu Up Next hinzugefügt. Der Button zeigt jetzt „In Up Next“ mit einem blauen Häkchen.

Worum es geht: Eine Kochserie aus dem Jahr 2025 mit 10 Folgen. Die Beschreibung in der App lautet: „Two chefs, one fire pit, and a coastline of villages that have cooked the same way for centuries.“

Außerdem merkte es an, dass auch Night Market nach Essen klingt, und fragte, ob wir vielleicht diese Serie meinten. So etwas fällt einem guten Tester auf.

So funktionieren Blick und Pinch-Geste

Die Home-Ansicht des Apple Vision Pro-Simulators in Device MCP: App-Symbole schweben in einem Wohnzimmer, unter der Spiegelung Home, Screenshot und Record

Der Vision Pro-Simulator nimmt keine Berührungen an. Der Device Hub von Xcode steuert ihn stattdessen mit Blick und Hand, und Device MCP macht es genauso, ohne etwas im Simulator zu installieren:

  • Ein Tippen schickt einen Blickstrahl von den Augen durch den Punkt im Bild, wartet einen Moment, bis der Blick ankommt, macht dann eine Pinch-Geste und lässt los. Du siehst, wie die Hervorhebung zu dem wandert, was angeschaut wird, wie auf einer echten Vision Pro.
  • Ziehen oder Scrollen hält die Pinch-Geste und bewegt die Hand. Was festgehalten wird, bewegt sich mit, sodass die Liste eines Fensters so scrollt, wie dein Agent es wollte.
  • Tasten kommen als die eigenen Tasten der Brille an: die Digital Crown für Home.

Auch das Lesen des Bildschirms funktioniert anders. Auf einem iPhone liest dein Agent den Bedienungshilfen-Baum: jeden Button mit Beschriftung und Position. visionOS platziert seine Fenster in 3D, deshalb haben ihre Elemente keinen festen Platz im Bild. Device MCP liest stattdessen den Text auf dem Bildschirm, so wie ein Mensch ihn sieht, und dein Agent tippt mit tap_text auf diese Wörter oder auf ihre Position.

ToolAuf einer Apple Vision Pro
tap, tap_textBlickt auf den Punkt oder die Wörter und macht eine Pinch-Geste
swipe, scroll, dragHalten die Pinch-Geste und bewegen die Hand
press_button homeDrückt die Digital Crown
list_elementsDie Wörter auf dem Bildschirm, gelesen wie von einem Menschen
launch_appÖffnet eine App über ihren Namen oder ihre Bundle-ID
start_simulatorStartet oder erstellt einen Vision Pro-Simulator

Worum du ihn bitten kannst

  • Die wichtigsten Wege durch deine App gehen. „Öffne meine App auf dem Vision Pro-Simulator, melde dich mit dem Testkonto an und öffne den ersten Eintrag.“ Dein Agent sagt dir, wo er hängen geblieben ist.
  • Prüfen, was passt. Fenster unter visionOS haben eine andere Form als der Bildschirm eines iPhones. Bitte deinen Agenten, jeden Bildschirm zu besuchen und Text zu melden, der abgeschnitten oder zu gedrängt ist.
  • Plattformen vergleichen. „Öffne denselben Bildschirm auf meinem iPhone und auf dem Vision Pro-Simulator und liste auf, was anders ist.“ Device MCP Pro spiegelt beide gleichzeitig.
  • Eine Einstellung prüfen. „Öffne auf der Vision Pro Einstellungen › Bedienungshilfen und scrolle bis zum Abschnitt ‚Sprechen‘.“

Unterschiede zu einem iPhone

  • Nur Simulatoren. Device MCP spiegelt keine echte Apple Vision Pro.
  • Apps über ihren Namen öffnen. Die Symbole der Home-Ansicht leuchten unter einem Blick auf, reagieren aber nicht auf eine Pinch-Geste, deshalb nutzt dein Agent launch_app.
  • Noch nicht jedes Bedienelement reagiert auf eine Pinch-Geste. In unseren Tests reagierten Listenzeilen und Links jedes Mal, in unserer App und in den Einstellungen, aber Buttons außerhalb einer Liste leuchteten nur auf. Wenn deine reagieren, schreib uns.
  • Kein Tab Settings, keine saubere Statusleiste. visionOS hat keinen hellen Modus, zu dem man wechseln könnte. Nutze die App Einstellungen des Simulators.
  • Startet vollständig. Schlanke Simulatoren gibt es nur für iOS und watchOS.

Alle Details findest du in der Dokumentation zu Apple Vision Pro.

Probier es aus

Lade Device MCP herunter oder wähle Device MCP → Check for Updates…, wenn du es schon hast. Füge unter Xcode → Settings → Components eine visionOS 27-Runtime hinzu, starte einen Apple Vision Pro-Simulator über die Seitenleiste und füge Device MCP dann mit einem Befehl zu Claude Code hinzu:

claude mcp add --scope user device-mcp -- "/Applications/Device MCP.app/Contents/MacOS/device-mcp"

Bitte deinen Agenten dann, deine App auf der Vision Pro zu öffnen. Auch Apple TV-Simulatoren sind dabei, mit einer Siri Remote für deinen Agenten: Lies, wie er die Fernbedienung hält.

Wie geht’s weiter?

Device MCP kommt von Proxyman LLC, dem Team hinter Proxyman, Tiny Shield und TCP Viewer.