스캔하라. 그리고 대화하라. — 일상 공간을 위한 RakuAI Capture

폰을 꺼내서, 거실 주변을 30초 동안 걸어 다니고, 업로드를 탭한다. 몇 분 후 그 방의 3D 재구성물을 얻게 된다 — 그리고 GPU splat 학습이 온라인 상태가 되면(며칠 내 도착 예정) 그것은 수백만 개의 작고 투명한 타원체로 이루어진, 드래그해서 돌려볼 수 있는 사진같이 사실적인 Gaussian splat이 된다 — 공유할 수 있는 URL에 놓인다. 그런 다음 Claude나 ChatGPT, Gemini를 열고, 당신의 Raku MCP 서버를 가리키게 한 뒤 이렇게 묻는다. “이 소파가 저 안쪽 벽을 따라 들어갈까?” 어시스턴트는 씬을 읽고, 간격을 측정하고, 답을 알려준다.

그것이 Raku Capture의 아이디어다. 폰 하나. 리그도, 마커도, 데스크톱 3D 소프트웨어도, 설치도 필요 없다. 결과물은 사진이 아니다 — 그것은 대화 가능한 씬이다. 당신의 AI 어시스턴트가 조회하고, 측정하고, 추론할 수 있는 살아 있는 공간 오브젝트다.

이 글은 오늘 그것이 어떤 모습인지, 무엇이 아직 도착 중인지, 그리고 정직한 캡처와 개방형 프로토콜 AI 런타임의 조합이 왜 진정으로 새로운 것인지에 대한 정직한 설명이다.

Gaussian splatting이 실제로 무엇인가

대부분의 3D 캡처 도구는 메시를 만들어낸다 — 공간의 추정된 형태 위에 얹힌 삼각형들의 껍질이다. 메시는 바깥에서 보면 그럴듯해 보이지만 가까이 다가가면 무너진다. Gaussian splatting은 다르다. 씬을 수백만 개의 작은 3D 타원체로 채운다 — 각각은 실제 카메라가 실제 각도에서 본 것과 일치하도록 위치, 방향, 스케일, 색상이 조정되어 있다. 결과물은 밀도가 높고, 시점에 의존적이며, 삼각형이 따라올 수 없는 방식으로 사진같이 사실적이다.

기술적인 이름은 3D Gaussian Splatting(3DGS)이다. 파일 포맷은 .spz(압축됨) 또는 .ply(교환용)이다. 그것을 만지거나 부술 수는 없다. 회전시키고, 확대하고, AI를 그것에 대해 가리킬 수는 있다.

Raku는 Brush v0.3.0을 Gaussian splatting 트레이너로 사용한다. 이것은 GPU(Azure A10, AWS G5, 또는 Nebius H100 — 아래에서 더 자세히) 위에서 실행된다. 그 이전에 실행되는 COLMAP Structure-from-Motion 단계 — 비디오 프레임을 희소한 3D 포인트 클라우드로 바꾸는 단계 — 는 CPU에서 실행되며 오늘 실제로 배포되어 있다.

캡처 플로우는 어떻게 작동하는가

1단계: PWA를 연다. 진입점은 rakuai.com/capture.html에 있는 QR 코드다. 폰으로 스캔한다. 캡처 앱이 모바일 브라우저에서 열린다 — 앱스토어도, APK도, 시도해보는 데 계정도 필요 없다. 프로그레시브 웹 앱으로 실행된다.

2단계: 스캔을 녹화한다. 공간 주위를 — 또는 물체 주위를, 또는 신경 쓰는 벽을 따라 — 천천히 걷는다. 30초에서 60초 정도의 안정적인 영상이면 충분하다. 앱은 프레임들을 POST /capture/upload를 통해 Raku 백엔드로 업로드한다. 당신의 스캔은 즉시 Azure Blob Storage로 전송된다.

3단계: 재구성. 백엔드는 재구성 작업을 recon-worker에 디스패치한다 — Container Apps 잡 러너다. 프레임 전체에 걸쳐 COLMAP을 실행하여 카메라 위치를 계산하고, 희소한 3D 포인트 클라우드를 생성한다. 이 단계는 CPU 바운드이며 모든 스캔에 대해 오늘 실행된다.

4단계: Splat 학습. COLMAP의 출력이 Brush로 공급되고, Brush는 프레임들에 수백만 개의 가우시안을 피팅한다. 이것이 GPU 바운드 단계다. 정직하게 말하면, Azure A10의 GPU 쿼터는 검토 중이며, AWS Activate 크레딧은 대기 중이다(5월 28일 신청). 둘 중 하나가 확보될 때까지, 재구성은 희소한 포인트 클라우드로 폴백한다. 이것은 얼리 액세스이지, 완성된 제품이 아니다. 실제 GPU 경로는 며칠 내로 예상된다.

5단계: splat이 살아 있다. 학습된 .spz 파일은 api.rakuai.com/splats/<id>.spz에 놓인다. 공유 가능한 링크와 인터랙티브 뷰어를 얻는다. 드래그해서 회전시키고, 핀치해서 확대한다. 그것은 측정 가능한 3D 오브젝트로 보존된 당신의 방이다.

그것을 유용하게 만드는 부분: MCP

인터랙티브 뷰어는 만족스럽다. splat을 실제로 유용하게 만드는 것은 MCP 런타임이다.

MCP — Model Context Protocol — 는 외부 AI 어시스턴트가 외부 서비스에 대해 타입 지정된 도구를 호출할 수 있게 해주는 개방형 프로토콜이다. Raku는 두 개의 표면을 통해 캡처된 씬을 노출한다.

17개의 네이티브 도구 — 공간 씬을 읽고 변형하기 위한 타입 지정 계약이다. 읽기 전용 도구(오브젝트 위치 조회, 거리 측정, 씬 메타데이터 가져오기)는 무료를 포함한 모든 티어에서 작동한다. 변형 도구(오브젝트 이동, 주석 달기, 씬 상태 업데이트)는 명시적인 권한 부여가 필요하며 기본값으로 거부된다.

약 9,500개의 패스스루 엔드포인트 — MCP 릴레이를 통해 노출되는 Raku 백엔드의 전체 FastAPI 표면이다. 캡처 이력, 작업 상태, 재구성 품질, 씬 메타데이터 — 모두 어떤 MCP 클라이언트에서든 도달 가능하다.

MCP 서버는 api.rakuai.com에서 실행된다. stdio 트랜스포트로 대화한다. 모든 호출은 변경 불가능한 감사 추적에 기록된다. 세션별 레이트 리밋이 강제된다.

MCP는 무료를 포함한 모든 티어에 있다. 당신의 AI 어시스턴트를 캡처된 씬에 연결하는 것은 Pro 기능이 아니다.

어시스턴트에게 공간에 대해 질문하기

당신의 AI 어시스턴트를 MCP를 통해 Raku에 연결하고 나면, 당신이 할 수 있는 질문들은 가설적인 것이 아니라 공간적이고 근거에 기반한 것이 된다.

“이 소파가 저 안쪽 벽을 따라 들어갈까?” — 어시스턴트는 두 벽 사이의 measure_distance를 호출하고, 당신이 제공한 소파 치수와 비교하여, 추정치가 아니라 실제 숫자를 준다.

“창문이 책상에서 얼마나 떨어져 있지?” — query_scene_objects가 둘 다 위치를 찾고, measure_distance가 간격을 센티미터 단위로 반환한다.

“구석 선반 유닛 위에 뭐가 있지?” — query_scene_objects가 런타임이 그 영역에서 식별한 오브젝트들을 반환한다.

“책상을 90도 돌리면 이 방이 어떻게 보일까?” — 변형 권한이 있으면, 어시스턴트는 씬 모델 안에서 책상을 재배치하고 뷰를 다시 렌더링할 수 있다.

이것들은 검색 결과가 아니다. 당신의 실제 공간의 3D 표현에 대해 이루어진 측정과 관찰이다. 어시스턴트는 언어와 추론을 가져온다. Raku는 공간적 기반을 가져온다.

Claude, ChatGPT, Gemini, Copilot 모두 작동한다. MCP 계약은 이들 모두에게 동일하다. 새로운 AI 어시스턴트가 MCP 지원을 출시하면, 우리 쪽의 코드 변경 없이 Raku에 대해 작동한다.

오늘 실제로 배포된 것과 도착 중인 것

오늘 실제로 배포됨: - 폰 스캔 PWA — 설치 없음, QR 진입, Azure Blob으로 업로드 - COLMAP 특징 추출과 희소한 포인트 클라우드 - 백엔드 인프라(FastAPI 약 9,500개 엔드포인트, Redis 잡 저장소, 티어 인식 레이트 리밋) - 17개의 네이티브 도구 + 약 9,500개의 패스스루 엔드포인트를 갖춘 MCP 런타임 - Claude, ChatGPT, Gemini, Copilot을 위한 호스팅된 MCP 릴레이 - 무료 티어(하루 10회 캡처, 1GB, 7일 보관, MCP 포함) - Pro 베타 — 베타 기간 동안 $0, GA 시점에는 월 $14.99가 되며 어떤 과금이든 최소 30일 전에 통지

게이트됨(얼리 액세스 — 며칠 내 예상): - Azure A10에서의 실제 GPU splat 학습(쿼터 검토 중) - AWS G5에서의 실제 GPU splat 학습(Activate 크레딧 검토 중) - 캡처 앱 안의 실시간 3D splat 뷰어(three.js 렌더러는 연결되어 있음; 표시하려면 학습된 splat이 필요함)

로드맵: - 셀프서비스 프로덕션 변형 권한 부여 - Pro를 위한 더 높은 품질의 재구성 큐 - 서드파티 어댑터 생태계

2026년 5월부터 NVIDIA Inception 멤버. 등록된 미국 특허 5건(우선권 2012년 7월).

그것이 무엇인지에 대해 정직하게

Raku Capture는 폰 수준, 프로슈머 수준의 재구성이다. 측량 장비가 아니다. 전문 사진측량 도구가 아니다. 밀리미터 정확도나 CAD용 모델을 주지는 않을 것이다.

그것이 줄 것은 폰으로 한 바퀴 돌아본 것으로부터 만들어진, MCP를 통해 어떤 LLM이든 접근할 수 있는 사진같이 사실적인 3D Gaussian splat이다. 실제 공간에 대해 대부분의 사람들이 묻고 싶어 하는 질문들 — “이게 들어갈까?”, “저게 얼마나 멀지?”, “저기에 뭐가 있지?” — 에 대해서는, 그것은 진정으로 유용할 만큼 정확하다.

splat 뷰어는 아직 capture.html에 출시되지 않았다. 처음부터 끝까지 이어지는 실시간 데모(폰으로 스캔하고, 브라우저에서 splat을 보고, 어시스턴트에게 질문하는 것)는 학습된 splat이 필요하며, GPU 학습이 아직 열려 있는 유일한 게이트다. 그 게이트는 며칠 내로 닫힐 것으로 예상된다.

시작하기

오늘 캡처 쪽을 직접 시도해보고 싶다면 rakuai.com/capture.html — 폰으로 QR을 스캔하라.

AI 어시스턴트를 MCP를 통해 연결하고 싶다면 /developers/claude-desktop.html — Claude Desktop 가이드이며, 모든 어시스턴트에 동일한 패턴이 적용된다.

전체 MCP 도구 표면을 이해하고 싶다면 /mcp.html.

스캔하라. 그리고 대화하라.