현실 세계에서 당신의 AI에 초능력을 부여하라

Unity는 당신의 AI가 집어 드는 도구다. RakuAI는 당신의 AI가 머무는 몸이다 — 스마트 글래스를 위해 만들어진 공간 런타임이며, 10년도 더 전에 이 순간을 예견한 특허들이 뒷받침한다.

이번 토요일 아침, 커피를 다 마시기도 전에 세 가지 벡터가 나에게 동시에 수렴했다.

Unity가 방금 Native MCP를 출시했다. 스마트 글래스 하드웨어는 이제 슬라이드 자료 속이 아니라 실제로 사람들의 얼굴 위에 있다. 그리고 내가 대화해온 LLM 랩들은 모두 같은 것을 원한다. 벤더별 커스텀 통합 없이, 자신의 모델이 매 프레임마다 프로덕션 환경에서 구동할 수 있는 타입 지정 계약을 통해 공간 능력을 노출하는 런타임이다.

2025년에 내가 만들기 시작한 엔진은, 10년도 더 전에 내가 출원을 도왔던 특허들 위에서, 마침내 자신이 무엇인지 부를 이름을 찾았다. 그것은 당신의 AI가 현실 세계에서 머무는 런타임이다. 모델이 집어 드는 도구가 아니다. 모델이 그 안에 사는 몸이다.

이 글은 내가 그것을 영수증과 함께 정직하게 적어두는 글이다.

1부. 특허 자산

2012년 7월 우선권으로 출원된 다섯 건의 미국 등록 특허. 공개되어 있고, 검색 가능하며, 내 것이다.

• US9210358B2, Entertainment Console. 2015년 12월 등록.
• US9654613B2, Arena Gaming. 2017년 5월 등록.
• US9781244B2, Smart Eyeglasses. 2017년 10월 등록.
• US10027361B2, Point-of-Service. 2018년 7월 등록.
• US10432772B2, Eyeglasses, 청구항 21개.

이들을 함께 읽으면 하나의 시스템을 묘사하고 있음을 알 수 있다. 듀얼 모드 무선. 무거운 연산은 머리 위가 아니라 별도에 두는 스마트 글래스 플러스 컴퓨트 호스트 아키텍처. 호스트에서 디스플레이로의 렌더 오프로드. 같은 물리 공간 안 여러 착용자에 걸친 멀티플레이어 월드 상태 동기화. 인코딩된 비디오가 아니라 씬 델타로서의 월드 스트리밍.

우선권 날짜가 중요하다. 2012년 7월. Meta Ray-Bans보다, Xreal Air보다, Android XR보다, 지금 형태의 LLM 랩들이 존재하기 전보다도 몇 년이나 앞선다. 출원서 속 아키텍처가 바로 지금 업계가 수렴해가고 있는 아키텍처다. 우리는 이 분야를 뒤쫓고 있는 것이 아니다. 우리 자신을 따라잡고 있는 것이다.

특허를 앞세우는 이유는 특허가 논쟁에서 이기게 해주기 때문이 아니다. 진지한 파트너가 두 번째 미팅에서 가장 흔히 묻는 질문, “실제로 이걸 얼마나 오래 생각해왔는가”에 답하기 때문에 앞세우는 것이다. 정직한 답은 숫자 두 개다. 특허는 2012년으로 거슬러 올라가고, 엔진은 2025년부터 실제로 만들어져 왔다. 오래된 IP, 새로운 실행.

2부. 왜 안경에는 다른 런타임이 필요한가

스마트 글래스의 제약은 콘솔, 폰, PC의 제약이 아니다. 이것들을 그저 그런 것들의 축소판으로 취급하면, 20분 만에 과열되는 제품을 출시하게 된다.

우리가 설계 기준으로 삼는 몇 가지 수치가 있다.

• 모션-투-포톤 지연 목표 18ms. 최고 프레임률이 아니라 예측 가능한 지연 시간. 들쭉날쭉한 90 FPS는 안정적인 60 FPS보다 더 나쁘게 느껴진다.
• 세 가지 발열 모드. Performance, Balanced, Low Power. 런타임은 자신이 어떤 모드에 있는지 알고 프레임당 파이프라인 비용을 그에 맞게 조정한다. 모델도 자원을 요청할 때 이를 알고 있다.
• 폰이 연산, 안경이 디스플레이. 호스트가 일꾼이다. 디스플레이는 듀얼 모드 링크 위의 씬 클라이언트다. 그것이 특허들이 설명하는 토폴로지다.
• Wi-Fi 7 플러스 광학 듀얼 모드 링크. 월드 델타를 위한 대역폭. 예측된 포즈를 위한 지연 예산.
• 40센티미터 거리에서 0.5~0.8밀리미터의 공간 정밀도, 칼만 필터 적용. 밀리미터 이하의 앵커링이야말로 가상 표면을 실제 표면처럼 느끼게 만드는 것이다. 가상 판 위에 캘리그래피를 해본 적이 있다면, 1mm의 흔들림과 0.5mm의 흔들림 사이의 차이를 안다. 그것은 글씨를 쓰는 것과 낙서를 하는 것의 차이다.
• 71관절 전신 트래킹. 응시 시간(dwell)을 포함한 시선 추적. 2배에서 4배 이득을 내는 포비에이티드 렌더링. 이런 발열 한계 안에서 포비에이션은 선택 사항이 아니다. 그것은 감당할 수 있는 렌더 예산과 감당할 수 없는 렌더 예산의 차이다.

이제 이것을 대안들과 비교해보자. Unity는 60 FPS PC와 콘솔 타깃을 중심으로 설계된 범용 엔진이다. Unreal은 VR 우선이지만, 그것이 상정하는 VR은 200와트 발열 예산을 가진 타워 안의 RTX 4090이다. 둘 다 훌륭한 엔진이다. 어느 쪽도 사람 얼굴 위 5와트 발열 한계를 위해 설계되지는 않았다.

이것은 폄하가 아니다. 카테고리의 차이다.

3부. 왜 AI에는 그것을 위해 만들어진 런타임이 필요한가

나는 1월에 AI as Nervous System, Not AI as Factory라는 글을 썼다. 그 논지는, 2026년에 스스로를 AI 네이티브라고 부르는 대부분의 엔진들은 사실 기존 파이프라인에 채팅 패널을 갖다 붙인 것에 불과하다는 것이었다. 모델이 아티팩트를 생산한다. 아티팩트가 디스크에 놓인다. 런타임이 그 아티팩트를 로드한다. 모델은 그 이후 런타임과 다시는 대화하지 않는다.

그것이 팩토리 패턴이다. 실재하고, 유용하며, 실제로 출시되고 있다. 하지만 그것은 공간 컴퓨팅이 필요로 하는 것이 아니다.

신경계 패턴은 매 프레임마다 모델을 루프 안에 둔다. 관측이 들어오고, 의도가 나가고, 세계가 반응하고, 반복된다. 모델은 콘텐츠 공급자가 아니다. 시뮬레이션의 참여자다.

런타임이 노출하는 여섯 개의 MCP 도구가 바로 이것이 일어나는 표면이다.

• load_world_model(adapter_name, config)
• ingest_frame(adapter_name, frame_data, frame_index, timestamp)
• get_scene_state(include_physics, include_transforms)
• set_render_target(target_type, config)
• start_simulation(tick_rate, max_duration, realtime)
• get_metrics()

여섯 개의 도구, stdio 트랜스포트, 기본값이 거부인(deny-by-default) 권한, 전체 감사 로그. Model Context Protocol을 말할 수 있는 어떤 모델이든 그 계약을 통해 런타임을 구동할 수 있다. Claude. ChatGPT. Gemini. Copilot. 다음에 무엇이 나오든.

설계상 멀티벤더인 이유는, 런타임이 반대편에 어떤 모델이 있는지에 대해 아무런 의견이 없기 때문이다. 계약이 곧 경계다. 런타임은 물리, 충돌, 점수, 멀티플레이어 상태에 대한 권한을 유지한다. 모델은 의도를 제공한다. 양쪽 모두 여섯 개의 도구를 통하지 않고서는 서로에 대해 알 필요가 없다.

그것이 바로 신경계 패턴을 실제로 배포되는 코드로 바꿨을 때의 모습이다.

4부. RakuAI 대 Unity, 공정하게 말하자면

Unity Native MCP는 최근 출시되었고 반응은 긍정적이었다. 나는 그것이 무엇이고 무엇이 아닌지에 대해 명확히 하고 싶다. 둘 다 동시에 참일 수 있다고 생각하기 때문이다.

Unity MCP는 설계 시점의 씬 조작이다. 에이전트가 개발자를 도와 오브젝트를 배치하고, 컴포넌트를 구성하고, 레벨을 만든다. 사람과 에디터의 루프를 위한 생산성 계층이다. 실제 대상을 위한 실제 성과다.

RakuAI MCP는 런타임 시점의 월드 모델 오케스트레이션이다. 에이전트는 매 프레임마다 루프 안에 있으며, 런타임이 물리와 충돌과 렌더링을 강제하는 동안 세계의 다음 상태에 기여한다. 이것은 2026년 3월 기준 프로덕션이지, 설계 시점도, 에디터 보조도 아니다.

다른 카테고리다. 둘 다 유효하다. 내가 소리 내어 말하기 시작한 압축된 버전은 이렇다.

Unity는 당신의 AI가 집어 드는 도구다. RakuAI는 당신의 AI가 머무는 몸이다.

더 똑똑해지는 에디터를 원한다면, Unity MCP는 흥미로우니 써봐야 한다. 안경 한 쌍 위에서 당신의 AI가 살 곳을 주는 런타임을 원한다면, 그것은 다른 문제다. 그것을 가능하게 하는 특허들은 10년도 더 전에 출원되었고, 우리는 2025년부터 그 엔진을 만들어왔다.

5부. 왜 우리는 지금 이 이야기를 하는가

포지셔닝에서 타이밍은 중요하며, 우리의 타이밍에 대해 정직하고 싶다.

스마트 글래스 하드웨어 파트너들은 2026년과 2027년에 자신들의 런타임을 선택하고 있다. 그 결정들은 한 번 내려지면 10년을 간다. 지금 그 대화에 있지 않으면, 앞으로도 아예 그 대화에 있지 못할 것이다.

LLM 랩들은 어떤 공간 플랫폼과 통합할지 결정하고 있다. 초기 통합이 기본값을 정한다. 기본값은 잘 바뀌지 않는다.

Unity가 MCP를 출시한 것은 이 카테고리를 검증해주었다. 우리는 몇 년 동안 “모델은 타입 지정 계약을 통해 런타임을 구동해야 한다”고 말해왔다. 300억 달러 규모의 경쟁사가 같은 말을 하는 지금, 그 말을 듣게 만들기가 더 쉬워졌다.

특허 자산은 우리에게 IP 활주로를 준다. 특허는 등록되었고, 우선권 날짜는 확고하며, 그것들이 다루는 아키텍처는 업계가 수렴해가고 있는 바로 그 아키텍처다.

그리고 2025년부터 고개 숙이고 만들어온 1년이 실제로 준비된 런타임을 만들어냈다. MCP 서버는 실재한다. 어댑터들이 착지하고 있다. 발열 한계는 지켜지고 있다. 지연 목표는 달성되었다. 밀리미터 이하 앵커링은 작동한다. 18개의 DLL이 Linux에서 그린이다. 100퍼센트 테스트 통과율이 3개월째 유지되고 있다.

지금이 깃발을 꽂을 순간이다.

6부. 다음은 무엇인가

정직하게 이름 붙인, 그래서 반드시 완료될 구체적인 작업들.

• 처음부터 끝까지 이어지는 실제 어댑터. Runway. Veo. 파트너 제공. 스텁들은 디스패치 경로를 증명해왔다. 다음 행보는 실제 어댑터 하나 뒤에 실제 모델 하나를 두고, 처음부터 끝까지 공개적으로 시연하는 것이다.
• 프로덕션 배포 하네스. 서비스 템플릿, 환경 변수 설정, 헬스체크 엔드포인트, 우아한 종료, 컨테이너 패키징. 화려하지 않다. 필요하다.
• 다중 제공사 폴백. 주 어댑터가 느리거나 사용할 수 없을 때, 서버는 보조 어댑터로 라우팅한다. 형태는 단순하다. 테스트가 진짜 작업이 될 것이다.
• 어댑터 바운티 프로그램. 어댑터 하나가 출시되면, 계약을 공개하고 생태계가 더 많은 것을 작성하도록 초대한다. 우리의 일은 “모든 모델을 통합하는 것”에서 “구현을 리뷰하는 것”으로 바뀐다.
• 양쪽 모두와의 파트너십 대화. 한쪽에는 하드웨어 파트너, 다른 한쪽에는 모델 랩. 런타임이 그 둘 사이에 있는 것이다. 그것이 10년도 더 전에 특허가 만들어놓은 위치이며, 엔진은 2025년부터 그 자격을 얻어왔다.

맺음말

당신의 AI가 현실 세계에서 머무는 런타임. 10년도 더 전에 특허가 예견한 카테고리, 그리고 2025년부터 엔진이 향해온 방향. 토요일 아침, 우리는 그것을 부를 이름을 갖게 되었다.

당신이 모델 랩에 있거나, 안경 하드웨어 회사에 있거나, 2027년에 공간 경험을 출시하고 싶은 스튜디오에 있다면, 계약은 준비되어 있고 영수증은 공개되어 있다. 다음에 읽을 세 개의 링크.

• MCP 표면: /mcp
• 스마트 글래스 런타임: /smart-glasses
• LLM 제작사를 위한 이야기: /llm-makers

토요일. 커피는 다 마셨다. 다시 엔진으로 돌아간다.