본문으로 건너뛰기
블랙 프라이데이: 30% 할인이번 주 한정BF2026할인 받기 →번들 살펴보기
Device MCP
← 블로그

공지 · 2026. 11. 20. · 읽는 데 5분

Device MCP의 Apple Vision Pro 시뮬레이터: 에이전트가 바라보고 핀치합니다

이제 Device MCP로 visionOS 27 시뮬레이터를 미러링하고 제어합니다. 클릭은 바라보기와 핀치가 되고, AI 에이전트도 MCP로 같은 입력을 받아 visionOS 앱을 열고, 사용하고, 본 것을 알려 줍니다.

작성: Device MCP 팀

visionOS 앱은 화면 안에 있지 않습니다. 앱의 윈도우는 방 안에 떠 있고, 사용자는 눈과 손가락으로 사용합니다. 버튼을 바라보고 핀치하면 눌립니다. AI 에이전트에게는 바로 이 부분이 어렵습니다. iPhone은 탭할 수 있지만, Vision Pro에는 탭할 지점이 없고 바라볼 곳만 있습니다.

이제 Device MCP로 Apple Vision Pro 시뮬레이터를 미러링하고 제어할 수 있습니다. 사이드바에서 iPhone, Apple Watch, Apple TV 옆에 표시됩니다. 미러링 화면을 클릭하면 바라보기와 핀치가 되고, 에이전트도 MCP로 같은 입력을 받습니다.

제공되는 기능

  • 사이드바의 Apple Vision Pro. + → New Simulator → Apple Vision Pro를 선택하고 Start를 누르세요.
  • 착용자가 보는 그대로. Device MCP는 시뮬레이터의 화면을 직접 읽습니다. 3840 × 2160 무손실, 초당 약 60프레임입니다.
  • 마우스로 바라보고 핀치하기. 클릭하면 그 지점을 바라보고 핀치합니다. 드래그하면 핀치한 채로 손을 움직이며, 윈도우의 콘텐츠가 스크롤됩니다. 도구 막대의 Home은 Digital Crown을 누릅니다.
  • 같은 MCP 서버. Claude Code나 Codex에 Device MCP를 이미 추가했다면, 에이전트는 지금 바로 Vision Pro 시뮬레이터를 사용할 수 있습니다.

프롬프트 하나, 바라보기와 핀치

위 스크린샷은 실제로 실행한 결과입니다. 가상의 프로그램이 담긴 작은 스트리밍 앱 Marquee를 Apple Vision Pro 시뮬레이터에 설치했습니다. visionOS에서는 사이드바에 프로그램 목록이 있고, 고른 프로그램이 그 옆에 표시되는 윈도우입니다. 그리고 Claude Code에 한 문장을 입력했습니다.

Apple Vision Pro 시뮬레이터에서 Marquee 앱을 열고 요리 프로그램을 찾아서 Up Next에 추가해 줘. 그리고 어떤 내용인지 알려 줘.

Claude Code는 24초 동안 이렇게 했습니다.

  1. list_devices로 실행 중인 Vision Pro를 찾고, launch_app으로 Marquee를 이름으로 열었습니다.
  2. take_screenshot으로 방 안의 윈도우를 확인하고, list_elements로 그 안의 단어를 읽었습니다. 사이드바의 프로그램들, 추천 프로그램의 제목과 두 가지 동작입니다.
  3. Salt & Ember 행에 tap을 하자 그 행을 바라보고 핀치했습니다. 상세 창이 열리고 2025 · Cooking · 10 episodes가 표시되었습니다.
  4. Add to Up Next에 tap을 하자 다시 바라보고 핀치했고, 마지막 스크린샷에서 파란색 체크 표시와 함께 In Up Next가 보였습니다.

그리고 이렇게 답했습니다.

Apple Vision Pro 시뮬레이터의 Marquee에서 Salt & Ember를 Up Next에 추가했습니다. 버튼은 이제 파란색 체크 표시와 함께 "In Up Next"로 표시됩니다.

프로그램 소개: 2025년에 나온 요리 시리즈로, 에피소드는 10개입니다. 앱의 설명은 이렇습니다. "Two chefs, one fire pit, and a coastline of villages that have cooked the same way for centuries."

또한 Night Market도 음식과 관련된 것 같다며, 그 프로그램을 말한 것인지 물었습니다. 좋은 테스터라면 그런 점을 알아챕니다.

바라보기와 핀치가 작동하는 방식

Device MCP의 Apple Vision Pro 시뮬레이터 홈 뷰. 거실에 앱 아이콘이 떠 있고, 미러링 화면 아래에 Home, Screenshot, Record가 있는 모습

Vision Pro 시뮬레이터는 터치를 받지 않습니다. Xcode의 Device Hub는 대신 시선과 손으로 조작하며, Device MCP도 시뮬레이터에 아무것도 설치하지 않고 같은 방식으로 조작합니다.

  • 탭은 착용자의 눈에서 화면의 그 지점을 지나는 시선 광선을 보내고, 시선이 자리 잡도록 잠시 기다린 다음, 핀치했다가 놓습니다. 실제 헤드셋에서처럼 바라보는 대상으로 강조 표시가 옮겨 가는 것이 보입니다.
  • 드래그나 스크롤은 핀치한 채로 손을 움직입니다. 핀치한 대상이 손을 따라 움직이므로, 에이전트가 요청한 대로 윈도우의 목록이 스크롤됩니다.
  • 버튼은 헤드셋의 실제 버튼으로 입력됩니다. 홈은 Digital Crown입니다.

화면을 읽는 방식도 다릅니다. iPhone에서 에이전트는 모든 버튼의 레이블과 프레임이 담긴 손쉬운 사용 트리를 읽습니다. visionOS는 윈도우를 3D 공간에 배치하므로, 그 요소들에는 화면 이미지 위의 위치가 없습니다. 그래서 Device MCP는 대신 사람이 보는 방식대로 화면의 텍스트를 읽고, 에이전트는 tap_text로 그 단어를 탭하거나 위치로 탭합니다.

도구Apple Vision Pro에서
tap, tap_text지점이나 단어를 바라보고 핀치합니다
swipe, scroll, drag핀치한 채로 손을 움직입니다
press_button homeDigital Crown을 누릅니다
list_elements사람이 읽듯이 읽은 화면의 단어
launch_app이름이나 번들 ID로 앱을 엽니다
start_simulatorVision Pro 시뮬레이터를 시작하거나 새로 만듭니다

이렇게 요청하세요

  • 앱의 주요 경로 따라가기. "Vision Pro 시뮬레이터에서 내 앱을 열고, 테스트 계정으로 로그인한 다음 첫 번째 항목을 열어 줘." 에이전트는 어디에서 막혔는지 알려 줍니다.
  • 화면에 맞는지 확인하기. visionOS의 윈도우는 iPhone 화면과 모양이 다릅니다. 에이전트에게 모든 화면을 방문해 잘리거나 비좁은 텍스트를 알려 달라고 하세요.
  • 플랫폼 비교하기. "내 iPhone과 Vision Pro 시뮬레이터에서 같은 화면을 열고 다른 점을 정리해 줘." Device MCP Pro는 둘을 동시에 미러링합니다.
  • 설정 확인하기. "Vision Pro에서 설정 › 손쉬운 사용을 열고 말하기까지 스크롤해 줘."

iPhone과 다른 점

  • 시뮬레이터만 지원. Device MCP는 실제 Apple Vision Pro를 미러링하지 않습니다.
  • 앱은 이름으로 열기. 홈 뷰의 아이콘은 바라보면 강조되지만 핀치에는 반응하지 않으므로, 에이전트는 launch_app을 사용합니다.
  • 아직 모든 컨트롤이 핀치에 반응하지는 않습니다. 저희 테스트에서 목록 행과 링크는 저희 앱과 설정 앱 모두에서 매번 반응했지만, 목록 밖의 버튼은 강조되기만 했습니다. 여러분의 앱에서도 그렇다면 알려 주세요.
  • Settings 탭, 깔끔한 상태 막대 없음. visionOS에는 전환할 라이트 모드가 없습니다. 시뮬레이터의 설정 앱을 사용하세요.
  • Full로 시작. Slim 시뮬레이터는 iOS와 watchOS에만 적용됩니다.

자세한 내용은 Apple Vision Pro 문서를 참고하세요.

사용해 보기

Device MCP를 다운로드하거나, 이미 설치했다면 Device MCP → Check for Updates… 메뉴를 선택하세요. Xcode → Settings → Components에서 visionOS 27 런타임을 추가하고, 사이드바에서 Apple Vision Pro 시뮬레이터를 시작한 다음, 명령어 한 줄로 Claude Code에 Device MCP를 추가합니다.

claude mcp add --scope user device-mcp -- "/Applications/Device MCP.app/Contents/MacOS/device-mcp"

그런 다음 Vision Pro에서 앱을 열어 달라고 에이전트에게 요청하세요. Apple TV 시뮬레이터도 지원하며, 에이전트에게는 Siri Remote가 주어집니다. 에이전트가 리모컨을 다루는 방법을 읽어 보세요.

다음 단계

Device MCP는 Proxyman, Tiny Shield, TCP Viewer를 만든 Proxyman LLC가 만듭니다.