네 개의 프로그램이 Raku Capture 뒤의 컴퓨팅을 어떻게 지탱하는가
Raku Capture는 겉으로 보기에는 단순해 보인다. 폰으로 방을 한 바퀴 걸으면, 몇 분 후 AI 어시스턴트가 MCP를 통해 측정하고 행동할 수 있는 그 방의 3D Gaussian splat이 생긴다. 그 단순함 아래에는 하나 이상의 계층에서 진지한 GPU 컴퓨팅을 필요로 하는 파이프라인이 있다.
우리는 워싱턴주에 있는 자체 자금으로 운영되는(bootstrapped) 스타트업이다. 우리는 그 컴퓨팅을 사기 위해 투자 라운드를 유치하지 않았다. 대신 우리가 한 일은 대형 플랫폼들이 운영하는 스타트업 프로그램에 참여하는 것이었고, 결과적으로 각 프로그램이 서로 다른 지점에서 유용했다. 어느 하나의 프로그램이 전체를 감당한 것이 아니었다. 각각이 스택의 한 계층에서 하나의 병목을 제거했고, 그 계층들이 합쳐져 실제로 작동하는 제품이 되었다.
여기서 우리는 프레이밍에 신중하고 싶다. 우리는 결국 이 계층들 각각을 통과하는 다른 길을 찾아냈을 것이다. 스타트업은 항상 그렇게 한다. 정직한 주장은 그보다 작지만 그래도 적어둘 가치가 있다. 이 프로그램들 덕분에 우리는 분기 단위가 아니라 개월 단위로 이 계층들을 통과할 수 있었고, 지분이나 집중력을 포기하지 않고도 그렇게 할 수 있었다.
계층별로 하나씩 살펴보자.
NVIDIA Inception, 학습 계층
파이프라인의 심장은 splat 학습이다. 캡처 세션은 포즈가 지정된 이미지들의 스트림을 생성하고, 트레이너는 그 이미지들을 3D Gaussian splat으로 바꾼다. 우리는 오픈소스 splatting 트레이너인 Brush를 사용하여 A10G와 L40S급 GPU에서 학습시킨다.
우리는 2026년 5월에 NVIDIA Inception에 합류했다. 이 프로그램은 우리에게 NGC 카탈로그를 제공하는데, 이것이 우리의 강화된 CUDA 컨테이너 이미지가 나오는 곳이다. 그리고 Deep Learning Institute는 작은 회사가 학습 예산 없이도 자신의 GPU 역량을 최신 상태로 유지하는 방법이다. 이 프로그램은 또한 다음 세대 비전 하드웨어를 만드는 사람들이 우리를 발견할 수 있는 생태계 안에 우리를 놓아주었다.
학습 품질이 곧 제품이다. splat이 선명하면, 그 뒤의 모든 것이 마법처럼 느껴진다. splat이 흐리멍텅하면, 그 뒤의 무엇도 그것을 구해내지 못한다. Inception은 우리가 가장 신경 쓰는 계층 아래에 자리한다.
AWS Activate, 재구성 계층
무언가를 학습시키기 전에, 원본 캡처는 먼저 지오메트리가 되어야 한다. GPU 워커가 업로드된 프레임들을 가져와 구조 기반 모션(structure from motion)으로 카메라 포즈를 계산한다. 그런 다음 학습 패스를 실행하고, 결과를 뷰어가 스트리밍할 수 있는 SPZ 파일로 패키징한다.
이 재구성 워커들은 우리가 학습에 사용하는 것과 같은 A10G급 GPU를 탑재한 AWS G5 인스턴스에서 실행된다. 우리는 AWS Activate 참여자이며, Activate 덕분에 자체 자금 운영 회사도 실제 GPU 용량을 조달 사이클이 아니라 큐 메시지 하나 거리에 두는 것이 합리적이 되었다.
로봇 비전 작업이 사는 곳도 바로 이 계층이다. 거실을 처리하는 것과 동일한 재구성 경로가 창고 통로나 공장 셀도 처리하며, 그 출력물은 로봇 플래너나 검사 워크플로가 소비할 수 있는 미터법 씬이다.
Microsoft for Startups, 서빙 계층
위의 모든 것은 아티팩트를 생산한다. 그것들을 서빙하는 무언가가 여전히 필요하다. 폰과 AI 어시스턴트가 대화하는 프로덕션 API는 우리의 데이터베이스와 오브젝트 스토리지 옆, Azure Container Apps 위에서 실행된다. 모든 캡처 업로드와 모든 MCP 도구 호출은 먼저 그곳에 도달한다.
RakuAI는 Microsoft for Startups의 멤버이며, 이 프로그램에서 나오는 Azure 크레딧이 그 서빙 계층을 떠받친다. 서빙은 스택에서 가장 화려하지 않은 부분이면서 사용자가 가장 직접적으로 느끼는 부분이다. API가 느리면, splat이 아무리 좋아도 제품은 느리다.
GitHub, 딜리버리 계층
마지막 계층은 이 모든 것이 어떻게 출시되는가이다. 엔진부터 이 웹사이트에 이르기까지 플랫폼에 가해지는 모든 변경은 GitHub를 거쳐 이동한다. 자동화된 리뷰어가 몇 분 안에 모든 풀 리퀘스트에 코멘트를 남긴다. main으로의 머지는 사람이 서버를 건드리지 않고도 프로덕션에 배포되며, 지금 읽고 있는 이 사이트는 GitHub Pages가 서빙한다.
작은 팀에게 그 딜리버리 루프는 매일 출시하는 것과 매달 출시하는 것의 차이다. 또한 그것은 AI 에이전트들이 여기서 실제 엔지니어링 작업을 하도록 안전하게 맡길 수 있게 해주는 요인이기도 하다. 모든 변경이 동일한, 리뷰되고 되돌릴 수 있는 경로를 거치기 때문이다.
왜 계층 프레이밍이 중요한가
이 프로그램들 중 어느 하나가 회사를 구했다고 말하면 더 좋은 이야기가 될 것이다. 하지만 그것은 사실이 아닐 것이다. 사실인 것은, 공간 캡처 스택에는 뚜렷이 구분되는 계층들이 있고, 어느 계층에서든 병목이 생기면 전체 파이프라인이 조여진다는 것이다. 서빙 계층 없는 학습 용량은 데모에 불과하다. 딜리버리 루프 없는 서빙 계층은 부채다. 이 프로그램 조합에서 유용한 점은, 그것들이 마침 계층당 하나씩 딱 들어맞았다는 것이다.
동일한 스택이 두 개의 미래를 동시에 섬긴다. 엔터프라이즈 쪽에서는 로봇 비전이며, 캡처된 시설이 플래너와 검사 도구가 추론할 수 있는 씬이 된다. 소비자 쪽에서는 스마트 글래스와 시뮬레이션 세계이며, 공간 엔진이 그 둘 아래에 자리한다. 이 두 미래 사이에서 계층은 바뀌지 않는다. 바뀌는 것은 규모뿐이다.
만약 당신이 창업자이고 계획에 GPU 모양의 구멍이 뚫려 있는 것을 응시하고 있다면, 실용적인 조언은 이 프로그램들을 하나의 범용 크레딧 풀로 생각하는 것을 그만두라는 것이다. 먼저 당신의 스택을 매핑하라. 그런 다음 각 프로그램을 그것이 실제로 도움이 되는 계층에 맞춰라.
프로그램
프로그램 관련 안내
NVIDIA Inception은 AI 스타트업을 위한 무료 프로그램이다. RakuAI의 멤버십이 NVIDIA가 RakuAI의 제품을 보증한다는 것을 의미하지는 않는다. “AWS”와 “AWS Activate”는 Amazon.com, Inc. 또는 그 계열사의 상표다. RakuAI의 참여가 AWS가 RakuAI의 제품을 보증한다는 것을 의미하지는 않는다. Microsoft, Azure, Microsoft for Startups는 Microsoft 그룹 회사들의 상표다. RakuAI의 참여가 Microsoft가 RakuAI의 제품을 보증한다는 것을 의미하지는 않는다. GitHub는 GitHub, Inc.의 상표다. RakuAI의 GitHub 사용이 GitHub가 RakuAI의 제품을 보증한다는 것을 의미하지는 않는다.