ChatGPT, Claude, Gemini의 지시를 받을 수 있도록 만들다

"이 제품은 저 특정 벤더의 모델 위에서만 돌아간다"는 시대는 짧다. RakuAI는 ChatGPT든, Claude든, Gemini든, 당신의 모델이든 어떤 모델이라도 실시간으로 AR 경험을 구동할 수 있도록 만들어졌다. 가장 좋은 모델을 데려오라. 런타임은 준비되어 있다.

오늘날 클라우드 LLM과 통합하는 대부분의 게임 엔진은 예상 가능한 방식으로 그렇게 한다. 모델이 채팅 패널로 에디터에 덧붙여진다. 채팅 패널에 타이핑을 한다. 패널이 어떤 콘텐츠나 코드를 작성한다. 이런 일이 벌어졌다는 것을 전혀 모르는 런타임은 나중에 그 결과물을 실행한다.

Raku가 하고 있는 일은 그것이 아니다. Raku는 저작 편의 기능이 아니라 런타임의 관심사로서 클라우드 LLM의 지시를 받도록 만들어지고 있다. 이번 주말의 작업이 그것을 명시적으로 만들었다.

무엇이 들어왔나

이번 주말 런타임 전반에 걸쳐 백열여덟 개의 커밋이 있었다. 헤드라인 항목들이다.

• 클라우드 LLM 응답을 1급 런타임 기능으로 음성 파이프라인에 연결하는 XRAssistantService
• 멀티 프로필 성능 최적화를 갖춘 눈 추적 포비티드 렌더링
• OpenXR XR_EXT_eye_gaze_interaction 프로바이더
• XR 런타임을 위한 손 추적과 제스처 인식
• 71개 관절 스켈레톤을 갖춘 전신 트래킹
• 눈 추적 인프라 안의 시선 고정 감지와 응시 타이머
• 고해상도 패스스루, 뎁스 센싱, 조명 추정
• 호스트 서버와 지연 시간 모니터링을 갖춘 Wi-Fi 7 오프로드 렌더링 파이프라인
• 실시간 멀티플레이어 AR 포즈 및 상태 동기화를 위한 저지연 델타 채널
• Android XR을 위한 서브밀리미터 앵커 서비스
• Android XR 스택이 없는 Android 디바이스를 위한 ARCore 센서 브리지
• 멀티레이어 HUD 컴포지터와 오버레이 API
• 씬 이해를 위한 AR Surface Demo와 Room Visualizer 샘플

이 중 몇 가지는 이야기할 가치가 있는 헤드라이너다. Wi-Fi 7 오프로드 렌더링 파이프라인이 하나다. XRAssistantService가 다른 하나다. 둘 다 파트너십을 염두에 둔 모양새다.

XRAssistantService와 그것이 실제로 하는 일

XRAssistantService는 지금까지 우리가 출시한 것 중 가장 깔끔한 파트너십 유인 엔지니어링이다. 그 형태는 다음과 같다.

이 런타임은 음성 파이프라인을 가지고 있다. 사용자가 말한다. 음성 인식은 디바이스에서 로컬로 낮은 지연 시간으로 실행된다. 텍스트는 어시스턴트 서비스로 스트리밍된다. 어시스턴트 서비스는 그 텍스트를 클라우드 LLM에게 넘긴다. 클라우드 LLM은 의도를 나타내는 토큰을 다시 스트리밍한다. 사용자가 말한 것을 감안했을 때 AR 경험이 다음에 무엇을 해야 하는지에 대한 의도다. 런타임은 그 스트림을 파싱해서 진행 중인 런타임 액션으로 바꾼다. 응답을 위한 음성 합성도 스트리밍된다.

빌더와 랩들이 주목했으면 하는 부분은, LLM이 사용자 턴마다 한 번씩 호출되는 것이 아니라는 점이다. 음성 파이프라인은 (적절한 백엔드 지원이 있다면) 한 턴 동안 계속해서 모델에 토큰을 스트리밍할 수 있고, 모델은 런타임이 지속적으로 반영하는 의도를 계속 만들어낼 수 있다. “클라우드 LLM의 지시를 런타임의 관심사로서 받는다”는 것이 실제로 의미하는 바가 그것이다. AR 경험에 붙여넣은 챗봇이 아니다. 사용자의 시선과 같은 우선순위로 모델의 의도 스트림을 제어 입력으로 다루는 런타임이다.

이 인터페이스는 설계상 모델에 대해 불가지론적이다. ChatGPT도 이것을 구동할 수 있다. Claude도 이것을 구동할 수 있다. Gemini도 이것을 구동할 수 있다. 작은 온디바이스 모델도 이것을 구동할 수 있다. 어시스턴트 서비스 프로토콜을 준수하는 의도 토큰 스트림을 만들어내는 무엇이든 이것을 구동할 수 있다. 이번 주말 우리가 만든 것은 그런 모델과 런타임의 나머지 부분 사이의 통합 레이어다.

이 글을 읽고 있는 분이 그런 랩 중 한 곳에 계시다면, 우리가 이야기하고 싶은 통합이 바로 이것이다. 당신의 모델만이 이 엔진이 대화할 수 있는 유일한 모델인 특별한 파트너십을 원하는 것이 아니다. 우리는 당신의 모델이 이 엔진이 대화할 수 있는 가장 좋은 모델이 되기를 원하는데, 그 통합이 열려 있고 당신의 모델이 만들어내는 경험이 다른 누구의 모델이 만들어내는 경험보다 더 나을 것이기 때문이다.

Wi-Fi 7 오프로드 렌더링 파이프라인

이것이 파트너십을 염두에 둔 또 다른 항목이다. AR 글래스에는 열 한계가 있다. 그 열 한계는 작다. 그 열 한계 안의 컴퓨팅 한계는 어떤 경험들이 렌더링하고 싶어 하는 것보다 더 작다. 전통적인 답은 경험을 타협하는 것이다. Wi-Fi 7의 답은 프레임의 일부를 테더링된 컴퓨팅 박스(폰, 벨트팩, 같은 방 안의 데스크톱)에서 렌더링하고 그 결과를 스트리밍하는 것이다.

이번 주말 이 오프로드 렌더링 파이프라인이 처음부터 끝까지 완성되었다. 호스트 서버는 어디서든 실행된다. 글래스 위의 런타임은 Wi-Fi 7을 통해 호스트와 대화한다. 프레임 지연 시간은 모니터링되며, 링크가 끊길 때(반드시 그럴 것이다) 런타임은 로컬 렌더링으로 우아하게 성능을 낮출 수 있다.

이것이 파트너들에게 왜 중요한가. 이는 하드웨어 파트너가 데스크톱급 경험을 출시하기 위해 글래스 안에 데스크톱급 GPU를 넣을 필요가 없다는 것을 뜻한다. 컴퓨팅은 가장 저렴한 곳에 있을 수 있다. 중요한 것은 링크다. 우리는 그 링크를 중심으로 런타임을 만들고 있다.

OpenXR 스캐폴딩

이번 주말 커밋 중 다수는 OpenXR 적합성을 위한 것이었다. XR_EXT_eye_gaze_interaction. 손 추적. ARKit과 ARCore를 위한 프로바이더 패턴. 이 코드베이스에서 OpenXR이 중요한 이유는, 이것이 이 엔진을 하드웨어 파트너 전반에 걸쳐 이식 가능하게 만들고 싶은 레이어이기 때문이다. 하드웨어 파트너가 OpenXR 적합 런타임을 출시하면, 이 엔진은 그 위에 출시될 수 있다. 이번 달 우리가 만들고 있는 인터페이스들은 의도적으로 벤더 고유 쪽이 아니라 표준 쪽에 있는데, 그것이 이 엔진이 중립을 유지하는 방법이기 때문이다.

아직 끝나지 않은 것에 대해 정직하게

이번 주말 몇 가지는 WIP 상태로 들어왔다. 특히 손 추적 PR은 아직 불완전하게 연결되어 있다. 후속 작업에서 고치고 있는 PoseStabilizer 링킹 오류가 있다. 눈 추적은 시선 고정 감지 기능이 있지만 응용 프로그램 레이어와의 응시 타이머 통합은 끝나지 않았다. 전신 트래킹은 들어왔지만 제스처 인식 부분은 아직 더 많은 샘플이 필요하다.

이것을 명확히 하고 싶은 이유는, 에이전트 주도 개발 작업의 패턴이 같은 주에 많은 WIP가 함께 들어오고, 그 WIP가 PR 제목에 명시적으로 표시된다는 것이기 때문이다. 이번 주말 커밋 로그를 읽고 몇 군데에서 “[WIP]”를 본다면, 그것은 의도된 것이다. 완전한 결과물은 다음 2주에 걸쳐 완성된다.

파트너와 빌더들이 이 글에서 가져갔으면 하는 것

당신이 다음 주요 모델을 만드는 AI 랩에 있고, 당신의 모델 출력을 시뮬레이션 스텝의 제어 입력으로 다루는 AR 런타임에 관심이 있다면, 나에게 연락하라. XRAssistantService 통합 레이어는 2025년 11월에 이 엔진에 출시되고 있으며 연말까지 연결 가능한 안정적인 인터페이스가 될 것이다.

Wi-Fi 7을 탑재하고 외부 컴퓨팅 스토리를 가진 AR 글래스를 만드는 하드웨어 파트너라면, 이 오프로드 렌더링 파이프라인은 정확히 당신의 하드웨어가 만들어진 그 워크로드다. 런타임은 그것을 위해 준비되어 있다.

이 엔진이 어떤 종류의 경험을 만들게 해줄지 고민하는 개발자라면, 그 답은 커밋 로그에서 보이기 시작하고 있다. 사용자가 문장 중간에 말해도 반응하는 음성 주도 AR 경험은 실현 가능하다. 서브밀리미터 앵커링을 갖춘 실시간 멀티플레이어 AR도 실현 가능하다. 둘 중 어느 쪽에 필요한 컴퓨팅이든, 당신의 경험이 필요로 하는 바에 따라 글래스 위에 있거나 테더 위에 있다.

백열여덟 개의 커밋, 큰 주말이었다. 일요일 밤의 엔진은 토요일 노트북을 열었을 때와는 다르게 보인다.