RakuAIのしくみ——エンドツーエンドで解説
スマートフォンで部屋をスキャンする。30秒後、3Dガウシアンスプラットが存在する。今度はClaude——あるいはChatGPT、あるいはGemini——にそれを照会させ、注釈をつけさせ、中のものを動かさせる。それがすべての売り込みだ。この投稿は、各ステップが実際にどう機能するか、今日何がライブで動いているか、そして何がまだGPUクレジットに律速されているかについての正直な説明だ。
これはブログにとって少し違う種類の投稿だ。いつもの土曜日の投稿は、解決された特定の問題や、生き延びた特定の週についてのものだ。今回は全体像に引いてみる。RakuAIとは何か、その部品がどうつながっているか、そしてエンドツーエンドで辿ったときに堀が実際に何であるかについてだ。これは、開発者パートナーに、ピッチデック版ではなく本当の話を初めて説明しなければならなかったときに、存在してほしかった投稿だ。
一文で表す前提
あなたはスマートフォンで実在の場所をスキャンする。そのスキャンは3Dガウシアンスプラットになる——何百万もの小さな透明な楕円体でできたフォトリアリスティックな再構成だ。そのスプラットは、どんなLLMでも呼び出せるツールとしてそれを公開するランタイムを通じて提供される。LLMはそのシーンを照会し、その内容について推論し——適切な権限のもとで——それを変更できる。ゲームエンジンのライセンスは不要。ベンダーごとのカスタム統合も不要。モデルのロックインもない。
それが「スキャンする。そして話しかける。」というアイデアだ。以下は、その連鎖の各部分がどう機能するかだ。
ステップ1: キャプチャ——スマートフォンの動画から生フレームへ
入口はrakuai.com/capture-app/にあるプログレッシブウェブアプリだ。インストール不要でモバイルブラウザ上で動く。ユーザーは30〜60秒の動画を、対象——部屋、物体、保存する価値のある空間——の周りをゆっくり歩きながら記録する。
このPWAは動画フレームをまとめて、バックエンドのPOST /api/v1/captureにアップロードする。バックエンドはAzure Container Apps上でapi.rakuai.comとして動いている。バックエンドはFastAPIサービスであり——約9,500のRESTエンドポイントを持つ——アップロードを認証し、メタデータ(元のファイル名、コンテンツタイプ、キャプチャのタイムスタンプ)を記録し、生の入力バンドルをAzure Blob Storageに保存する。
この部分はライブだ。アップロード経路は今日、サインアップした誰にとっても機能する。
ステップ2: 再構成——COLMAPの特徴抽出からポイントクラウドへ
バックエンドは、recon-workerと呼ばれるContainer Appsジョブランナーに再構成ジョブをディスパッチする。それがまず行うのは、アップロードされたフレーム全体にわたってCOLMAP——Structure from Motionライブラリ——を実行することだ。COLMAPはフレーム間の一致する特徴を識別し、カメラ位置を計算し、疎な3Dポイントクラウドを生成する。
このステップはCPUバウンドで、GPUを必要としない。今日実際に稼働している。
ステップ3: スプラットトレーニング——BrushがポイントクラウドをガウシアンスプラットM変換する
ここが計算集約的なステップだ。再構成ワーカーは、COLMAPのポイントクラウドと元のフレームを、3D Gaussian SplattingトレーナーであるBrush v0.3.0に投入する。Brushは何百万もの小さな3Dガウシアンをそのシーンにフィッティングする——各ガウシアンは、位置・向き・スケール・不透明度・視点依存の色を持つ3D空間中の楕円体だ。出力は入力とともにAzure Blob Storageに保存される.plyまたは.spzファイルだ。
正直に言うと、このステップにはGPUが必要だ。 Azure A10でのGPUクォータはレビュー中。AWS Activateのクレジットは承認待ち(2026-05-28に申請)。そのどちらかが実現するまで、本番の再構成ワーカーはシミュレートされたバックエンドにフォールバックする——アーキテクチャは配線済みだが、GPU経路はまだライブではない。これは完成した消費者向けプロダクトではなく、アーリーアクセスだ。
ステップ4: MCPランタイム——17個のツール + 約9,500のパススルーエンドポイント
これが、スプラットを静的なファイルではなく、生きた空間オブジェクトにする部分だ。
このランタイムはC++エンジンだ。18個のネイティブDLL、物理演算・レンダリング・オーディオ・トラッキング・マルチプレイヤー状態・AIオーケストレーションのサブシステムにまたがる30,738個のエクスポート関数。2026年4月以降、Windows、Linux、macOSでCIグリーン。
このエンジンの上で、MCPサーバーは2つの表面を公開する。
17個のネイティブツール(読み取り専用5個 + 変更系12個)——外部のあらゆるエージェントがシーンとやり取りするために使う型付けされた契約だ。読み取り専用のツールはあらゆる環境で機能する。変更系のツールは明示的な権限付与を必要とし、本番環境ではデフォルトで拒否される。
約9,500のパススルーエンドポイント——MCPリレーを通じて公開される、raku-apiの完全なFastAPI表面だ。バックエンドのどのルートも、このリレーを通じて到達可能であり、LLMにキャプチャ履歴、ジョブステータス、シーンメタデータ、そしてバックエンドの完全な照会表面へのアクセスを与える。
MCPサーバーはAzure Container Apps上のapi.rakuai.comでホストされている。Claude Desktop、ChatGPT、Gemini向けのリレーはライブだ。このサーバーはstdioトランスポートを話し、すべての呼び出しを監査証跡に記録し、セッションごとのレート制限を強制する。
ステップ5: マルチベンダーLLMアクセス——本当の堀
Model Context Protocolを話せるどんなモデルでも、カスタム統合なしにランタイムに接続し、キャプチャされたシーンに対してツールを呼び出せる。Claude、ChatGPT、Gemini、Copilot——契約はそれらすべてにとって同じだ。
ランタイムはその契約を一度だけ書く。モデル側がその契約に適応する。新しいモデルラボがMCPクライアントを出荷すると、私たちの側で何もコードを変更することなく、そのランタイムに対して機能する。
このランタイムは、反対側にどのモデルがいるかについて何の意見も持たない。物理演算、衝突判定、スコアリング、レンダリング、シーン状態についての権限を持ち続ける。モデルは照会と意図を提供する。どちらの側も、型付けされたツール表面を通じてしか相手の存在を知る必要がない。
これが堀だ。物理世界の正直なキャプチャが、ロスレスな3D表現として保存され、オープンなプロトコルを話すどんなLLMでも照会できる。1つのモデルにロックされていない。1つのユースケースにロックされていない。1つのハードウェアベンダーにロックされていない。
今日ライブで動いているものと、ロードマップにあるもの
今日ライブ: - スマートフォンキャプチャPWA、Azure Blobへのアップロード - COLMAPの特徴抽出とポイントクラウド - バックエンドインフラ(FastAPIの約9,500のRESTエンドポイント、Redisジョブストア、ティアを意識したレート制限) - 17個のネイティブツール + 約9,500のパススルーエンドポイントを備えたMCPランタイム - Claude、ChatGPT、Gemini向けのホスト型MCPリレー - マルチベンダーのツール契約(stdio、デフォルト拒否、完全な監査ログ) - 無料ティアとProベータティア(Proベータはベータ期間中0ドル)
ゲート中(アーリーアクセス——数日以内を見込む): - Azure A10上での実際のGPUスプラットトレーニング(クォータはレビュー中) - AWS G5上での実際のGPUスプラットトレーニング(Activateクレジットはレビュー中)
ロードマップ(まだ出荷されていない): - キャプチャPWA内のライブスプラットビューア(three.jsのガウシアンスプラットレンダラーは配線済み。エンドツーエンドのデモにはトレーニング済みのスプラットが必要) - セルフサービスの本番変更権限付与 - サードパーティのアダプタエコシステム(ファーストパーティのリファレンスアダプタは存在する。広範なエコシステムはロードマップ)
2026年5月からNVIDIA Inceptionのメンバー。
なぜ「推論専用」が制約ではないのか
このランタイムはモデルを訓練しない。モデルをファインチューニングしない。モデルをその内部で動かすことを要求しない。あなたがすでに持っているモデル——それが何であれ、どこに存在しようと、どうライセンスされていようと——はMCPを通じて接続し、外部からランタイムを駆動する。
これは意図的なアーキテクチャの選択だ。訓練と推論は別の関心事だ。ランタイムは空間物理演算、決定論的な状態管理、マルチユーザー同期、低レイテンシレンダリングが得意だ。モデルラボは推論、生成、言語が得意だ。MCP契約はその両者の間の境界だ。どちらの側も相手の仕事をする必要はない。
推論専用であることはまた、提供のためのGPU常駐要件がないことも意味する。計算集約的なステップ(スプラットトレーニング)は、キャプチャごとの一回限りのコストだ。それ以降のすべてはジオメトリとMCPクエリであり、APIを提供するのと同じAzure Container Appsインスタンス上で動く。
正直な振り返り
このパイプラインは、スマートフォンの動画 → COLMAP → Brushによるガウシアンスプラッティング → Azure Blob → MCPランタイム → どのLLMでも、というものだ。5つのステップのうち4つはライブだ。5つ目(GPUスプラットトレーニング)は配線済みで、クレジットを待っている。ブラウザでループを閉じるビューアが次のマイルストーンだ。
今日キャプチャ側を試したいなら、PWAはrakuai.com/capture-app/にある。Claude Desktopから MCP経由でシーンを駆動したいなら、ガイドは/developers/claude-desktop.htmlにある。完全なツール表面を理解したいなら、/mcp.htmlにある。
スキャンする。そして話しかける。