서브밀리미터 앵커링과 서예 문제

대부분의 AR은 몇 센티미터의 드리프트를 용서한다. 서예 튜터는 아무것도 용서하지 않는다. RakuAI는 AR이 데모이기를 멈추고 교사가 되기 시작하는 그 정밀도를 위해 만들어졌다.

이번 토요일 아침 파트너십 대화가 머릿속에 생생했고, 그와 함께 나를 살짝 겁먹게 만든 정밀도 목표도 있었다. NTT QONOQ는 일본에서 진지한 문화 AR 작업을 해왔고, 그들이 이 엔진이 지원하기를 원하는 서예 사용 사례는 용서가 없는 스펙을 갖고 있다: 연습지 위에 겹쳐지는 가상 잉크 획 가이드는 매 프레임, 매 눈 깜빡임마다 정확히 같은 종이의 정확히 같은 자리에 안착해야 한다.

대부분의 AR 경험은 정밀도에 관대하다. 가상 로봇이 당신 바닥 어딘가에 서 있고, 당신이 시선을 돌렸다 다시 봤을 때 3센티미터쯤 드리프트해도, 당신은 눈치채지 못할 수 있다. 로봇은 로봇이다. 로봇은 돌아다닌다.

서예 튜터는 관대하지 않다. 3센티미터의 드리프트는 쓸모없는 제품이다. 3밀리미터의 드리프트는 답답한 제품이다. 서브밀리미터가 기준선이다. 이번 주말 런타임은 그것을 통과하기 시작했다.

무엇이 안착했는가

다섯 개의 API와 하나의 파트너십 참조.

• 고정밀 AR 콘텐츠 정렬을 위한 서브밀리미터 앵커 포즈 API
• 마커 기반 종이 캘리브레이션을 위한 Paper-CV 감지 API
• 실시간 펜 및 브러시 트래킹을 위한 획 경로 CV 분석
• 음성 레이턴시 이벤트 타임스탬프 및 실시간 메트릭
• 애니메이션 지향 데모를 위한 애니메이션 레이턴시 트래킹
• README 안의 NTT QONOQ와의 연구에 대한 참조

주말 동안 70개의 커밋. 대부분의 엔지니어링 작업은 처음 세 개에 있었다.

왜 “서브밀리미터”가 올바른 숫자인가

서브밀리미터 요구는 마케팅 연습에서 나온 것이 아니다. 사용 사례에서 나온 것이다. 사용자는 서예 붓을 연습지 위에 든다. 런타임은 붓을 지켜보고, 종이를 지켜보고, 방을 지켜본다. 그것은 사용자가 다음에 만들어야 할 획을 종이 위에 희미한 빛으로 겹쳐 보여준다. 사용자는 그 빛을 따라간다.

만약 빛이 종이에서 조금이라도 벗어나 있으면 경험 전체가 무너진다. 사용자의 눈이 물리적 붓끝이 아니라 그 빛에 초점을 맞추기 때문이고, 물리적 획은 어긋난 빛을 따라갈 것이기 때문이다. 오버레이의 드리프트는 연습된 획의 드리프트를 만들어낸다. 제품은 사라진다.

그러니 기준은 “서브밀리미터는 인상적이다”가 아니다. 기준은 “서브밀리미터가 이 사용 사례에서 유일하게 허용 가능한 실패 케이스다”이다. 그 이상이면 제품은 깨진다.

서브밀리미터 앵커는 어떻게 작동하는가

메커니즘(단순화하면): 종이 자체가 앵커가 된다. 연습지 위의 인쇄된 등록 마커가 매 프레임 감지된다. 런타임은 6DoF로 사용자의 시점에 대한 종이의 포즈를 계산한다. 오버레이는 방 로컬이 아니라 종이 로컬 좌표로 렌더링된다. 사용자의 머리가 움직이면, 수학은 반대 방향으로 돌아간다: 종이 포즈가 업데이트되고, 오버레이가 재투영되고, 빛은 다음 획이 가야 할 자리에 안착한다.

이것은 표준적인 “가상 오브젝트를 방에 앵커링하고 방 재구성을 신뢰하는” 방식과는 다른 설계다. 방 재구성은 가구 스케일의 정밀도에는 좋다. 종이 스케일의 정밀도에는 좋지 않다. 방 재구성 오차가 사용자의 머리 포즈 오차와 겹쳐 쌓이기 때문이다. 알려진 물리적 오브젝트(종이)에 직접 앵커링하고 오버레이를 그 오브젝트에 대해 등록함으로써, 우리는 오차 사슬을 무너뜨린다.

비용은 종이가 알려진 물리적 오브젝트여야 한다는 것이다. 우리는 이번 주말 마커 기반 paper-CV 감지 API로 그것을 해결했다. 마커는 작고, 눈에 띄지 않으며, 데모와 함께 출시되는 모든 연습지에 인쇄된다. 런타임은 프레임당 대략 2밀리초 안에 마커를 감지하고 전형적인 조명 아래에서 안정적으로 추적한다.

성과는 우리가 그것을 AR 글래스가 가진 컴퓨트 예산 안에서, 실시간으로, 매 프레임, 일반적인 사용에서 1밀리미터 이내로 경계 지어진 오버레이 드리프트로 하고 있다는 것이다.

NTT QONOQ 참조

이번 주말 README에 NTT QONOQ에 대한 참조를 추가했다. 우리가 활발한 연구 대화 중이기 때문이다. 일본의 NTT QONOQ는 실세계 AR과 AR 경험이 물리적 아티팩트에 어떻게 앵커링되는지에 대한 질문에서 진지한 작업을 해왔다. 서예 사용 사례는 일본의 공간 컴퓨팅 커뮤니티가 밀어붙여 온 종류의 문화 AR 작업과 맞아떨어진다.

이것은 파트너십 발표가 아니다. 파트너십 대화가 진행 중이고, 이번 주말의 엔지니어링이 그것을 잘 지원하는 데 필요한 것을 반영하고 있다는 메모다. “도쿄의 서예 교실에서 이것을 할 수 있는가”라는 제품 질문은 “어딘가에서 이것을 할 수 있는가”라는 제품 질문보다 더 구체적이다. 구체적인 질문은 더 나은 엔지니어링을 만들어낸다.

획 경로 CV: 더 어려운 것

서브밀리미터 앵커가 이번 주말의 헤드라이너다. 실제로 가장 어려웠던 엔지니어링 작업은 획 경로 CV였다.

AR 글래스에서 실시간으로 펜이나 붓을 추적하는 것은 풀린 문제가 아니다. 촉은 작고, 종종 사용자의 손에 부분적으로 가려지며, 가변적인 속도로 움직인다. 이번 주말의 CV 파이프라인은 촉의 위치를 종이에 대해 추적하고, 촉이 (떠 있는 것과 반대로) 접촉하고 있는 때를 추론하고, 타임스탬프가 찍힌 점들의 스트림으로 획 경로를 발생시킨다. 손 가림 복구가 가장 많은 시간을 잡아먹은 부분이었다. 나와 에이전트는 테스트 트레이스가 점을 떨어뜨리는 것을 멈출 때까지 복구 로직의 세 가지 버전을 거쳤다.

이것이 AI가 런타임 원시 요소로서 중요해지기 시작하는 종류의 엔지니어링이다. CV 파이프라인은 매 프레임을 받는다. 디바이스 위의 작은 모델이 현재 프레임이 접촉 프레임인지 호버 프레임인지 결정한다. 모델의 결정은 획 경로 발생기로 공급된다. 모델은 챗봇이 아니다. 시뮬레이션 스텝에서 실행되는 런타임 요소다.

그 아키텍처 패턴은 이 엔진에서 하나의 후렴구가 되어가고 있다. AI는 당신이 추가하는 기능이 아니다. AI는 사용자가 무엇을 하고 있든, 매 프레임, 센서와 렌더러 사이에서 일어나는 것이다.

파트너와 빌더들이 여기서 무엇을 가져갔으면 하는가

당신이 NTT QONOQ이거나 실제 환경에서의 정밀 AR 오버레이를 고민하는 다른 파트너라면, 서예 튜터 작업은 이 엔진이 타깃으로 삼는 종류의 정밀도에 대한 구체적인 데모다. 프레임워크는 범용이다. 특별히 서예 도구가 아니다. 서브밀리미터 앵커와 획 경로 CV 파이프라인이며, 둘 다 서예처럼 보이지 않는 많은 것들에 적용된다.

당신이 손이나 펜 세그멘테이션에 뛰어난 소형 모델을 가진 AI 랩이라면, 이것이 바로 이 엔진에서 시뮬레이션 스텝 안에 사는 종류의 모델이다. 레이턴시 예산은 빡빡하다. 품질 기준은 높다. 당신의 모델이 맞는다면, 이 엔진에는 그것을 위한 자리가 있다.

70개의 커밋. 하나의 데모 타깃. 가속되고 있는 하나의 파트너십 대화. 무엇과도 바꾸지 않을 종류의 토요일이었다.