スキャンする。そして話しかける。——日常の空間のためのRakuAI Capture
あなたはスマートフォンを取り出し、リビングルームの周りを30秒間歩き回り、アップロードをタップする。数分後、その部屋の3D再構成ができあがる——そしてGPUスプラットトレーニングがオンラインになれば(数日以内に到着予定)、それは何百万もの小さな透明な楕円体でできた、ドラッグ可能なフォトリアリスティックなガウシアンスプラットになる——共有可能なURLに置かれた状態で。それから、あなたはClaude、あるいはChatGPT、あるいはGeminiを開き、それをあなたのRaku MCPサーバーに向け、こう尋ねる。「このソファは奥の壁に沿って収まるだろうか?」アシスタントはそのシーンを読み取り、隙間を測定し、答えてくれる。
それがRaku Captureのアイデアだ。スマートフォン1台。専用機材もマーカーもデスクトップの3Dソフトウェアもインストールも不要。結果は写真ではない——それは話しかけられるシーンだ。あなたのAIアシスタントが照会し、測定し、推論できる、生きた空間オブジェクトだ。
この投稿は、それが今日どう見えるか、まだ到着していないものは何か、そして正直なキャプチャとオープンプロトコルのAIランタイムの組み合わせがなぜ本当に新しいものなのかについての正直な説明だ。
ガウシアンスプラッティングとは実際何なのか
ほとんどの3Dキャプチャツールはメッシュを生成する——空間の推定された形状の上に敷かれた三角形の皮膚だ。メッシュは外から見ればもっともらしく見えるが、近づくと崩れる。ガウシアンスプラッティングは違う。それはシーンを何百万もの小さな3D楕円体で満たす——それぞれが、実際のカメラが実際の角度から見たものに合うように、位置決めされ、向きを定められ、スケーリングされ、色調整されている。結果は、三角形では到底かなわない密度と視点依存性とフォトリアリズムを持つ。
技術的な名称は3D Gaussian Splatting(3DGS)だ。ファイル形式は.spz(圧縮版)または.ply(交換用)。それに触ったり壊したりすることはできないが、回転させたり、ズームしたり、AIをそれに向けたりすることはできる。
RakuはガウシアンスプラッティングトレーナーとしてBrush v0.3.0を使っている。これはGPU上で動く(Azure A10、AWS G5、あるいはNebius H100——詳しくは下記)。その前段階であるCOLMAPのStructure-from-Motionステップ——あなたの動画フレームを疎な3Dポイントクラウドに変える工程——はCPU上で動き、今日実際に稼働している。
キャプチャの流れがどう機能するか
ステップ1: PWAを開く。 入口はrakuai.com/capture.htmlにあるQRコードだ。それをスマートフォンでスキャンする。キャプチャアプリがモバイルブラウザで開く——App Storeも、APKも、試すためのアカウントも不要。プログレッシブウェブアプリとして動作する。
ステップ2: スキャンを記録する。 その空間の周りを——あるいは対象物の周りを、あるいは気になる壁に沿って——ゆっくりと歩く。30〜60秒の安定した映像で十分だ。アプリはそのフレームをPOST /capture/upload経由でRakuバックエンドにアップロードする。あなたのスキャンはすぐにAzure Blob Storageに送られる。
ステップ3: 再構成。 バックエンドは再構成ジョブをrecon-worker——Container Appsのジョブランナー——にディスパッチする。あなたのフレーム全体にわたってCOLMAPを実行し、カメラ位置を計算し、疎な3Dポイントクラウドを生成する。このステップはCPUバウンドで、あらゆるスキャンについて今日実際に動作する。
ステップ4: スプラットトレーニング。 COLMAPの出力はBrushに投入され、それがあなたのフレームに何百万ものガウシアンをフィッティングする。これがGPUバウンドのステップだ。正直に言うと、Azure A10でのGPUクォータはレビュー中であり、AWS Activateのクレジットは承認待ち(5月28日に申請)。そのどちらかが実現するまで、再構成は疎なポイントクラウドにフォールバックする。 これは完成したプロダクトではなく、アーリーアクセスだ。実際のGPU経路は数日以内を見込んでいる。
ステップ5: スプラットが生きる。 トレーニング済みの.spzファイルはapi.rakuai.com/splats/<id>.spzに置かれる。あなたは共有可能なリンクとインタラクティブなビューアを手に入れる。ドラッグで回転。ピンチでズーム。それは測定可能な3Dオブジェクトとして保存された、あなたの部屋だ。
それを有用にする部分: MCP
インタラクティブなビューアは満足感がある。しかし、スプラットを実際に有用にするのはMCPランタイムだ。
MCP——Model Context Protocol——は、外部のAIアシスタントが外部サービスに対して型付けされたツールを呼び出せるようにするオープンプロトコルだ。Rakuは、あなたがキャプチャしたシーンを2つの表面を通じて公開する。
17個のネイティブツール——空間シーンを読み取り、変更するための型付けされた契約だ。読み取り専用のツール(オブジェクトの位置を照会する、距離を測定する、シーンのメタデータを取得する)は無料ティアを含むすべてのティアで機能する。変更系のツール(オブジェクトを動かす、注釈をつける、シーン状態を更新する)は明示的な権限付与を必要とし、デフォルトで拒否される。
約9,500のパススルーエンドポイント——MCPリレーを通じて公開される、Rakuバックエンドの完全なFastAPI表面だ。キャプチャ履歴、ジョブステータス、再構成の品質、シーンメタデータ——そのすべてが、どんなMCPクライアントからでも到達可能だ。
MCPサーバーはapi.rakuai.comで動いている。stdioトランスポートを話す。すべての呼び出しは不変の監査証跡に記録される。セッションごとのレート制限が強制される。
MCPは無料ティアを含むすべてのティアで使える。 あなたのAIアシスタントをキャプチャされたシーンに接続することは、Pro専用の機能ではない。
あなたの空間についてアシスタントに質問する
あなたのAIアシスタントをMCP経由でRakuに接続すれば、あなたが尋ねられる質問は、仮定的なものではなく、空間に根ざしたものになる。
「このソファは奥の壁に沿って収まるだろうか?」——アシスタントは2つの壁の間でmeasure_distanceを呼び出し、あなたが提供したソファの寸法と比較し、推測ではなく実際の数字を教えてくれる。
「窓とデスクの距離はどれくらいか?」——query_scene_objectsが両方を特定し、measure_distanceが隙間をセンチメートル単位で返す。
「隅にある棚には何が置いてあるか?」——query_scene_objectsが、そのランタイムがその領域で識別したオブジェクトを返す。
「デスクを90度回転させたら、この部屋はどう見えるだろうか?」——変更権限があれば、アシスタントはシーンモデル内でデスクを再配置し、そのビューを再レンダリングできる。
これらは検索結果ではない。あなたの実際の空間の3D表現に対して行われた測定と観察だ。アシスタントが言語と推論をもたらす。Rakuが空間的な基盤をもたらす。
Claude、ChatGPT、Gemini、Copilotのすべてが動作する。MCP契約はそれらすべてにとって同じだ。新しいAIアシスタントがMCPサポートを出荷すると、私たちの側で何もコードを変更することなく、Rakuに対して機能する。
今日ライブで動いているものと、到着しつつあるもの
今日ライブ: - スマートフォンスキャンPWA——インストール不要、QRコードから入る、Azure Blobへのアップロード - COLMAPの特徴抽出と疎なポイントクラウド - バックエンドインフラ(FastAPIの約9,500エンドポイント、Redisジョブストア、ティアを意識したレート制限) - 17個のネイティブツール + 約9,500のパススルーエンドポイントを備えたMCPランタイム - Claude、ChatGPT、Gemini、Copilot向けのホスト型MCPリレー - 無料ティア(1日10キャプチャ、1 GB、7日間保持、MCP込み) - Proベータ——ベータ期間中は0ドル、正式リリース時には月額14.99ドルになる予定で、課金前には少なくとも30日前の通知がある
ゲート中(アーリーアクセス——数日以内を見込む): - Azure A10上での実際のGPUスプラットトレーニング(クォータはレビュー中) - AWS G5上での実際のGPUスプラットトレーニング(Activateクレジットはレビュー中) - キャプチャアプリ内のライブ3Dスプラットビューア(three.jsのレンダラーは配線済み。表示にはトレーニング済みのスプラットが必要)
ロードマップ: - セルフサービスの本番変更権限付与 - Pro向けの高品質な再構成キュー - サードパーティのアダプタエコシステム
2026年5月からNVIDIA Inceptionのメンバー。付与済み米国特許5件(優先日2012年7月)。
それが何であるかについての正直な話
Raku Captureはスマートフォングレード、プロシューマーグレードの再構成だ。測量機器ではない。プロフェッショナルなフォトグラメトリツールでもない。ミリメートル精度やCAD対応のモデルは得られない。
得られるのは、スマートフォンでの歩き回りから生成された、あなたの空間のフォトリアリスティックな3Dガウシアンスプラットであり、MCP経由でどんなLLMからもアクセス可能だ。ほとんどの人が実際の空間について尋ねたい質問——「これは収まるか?」「あれはどれくらい遠いか?」「あそこには何があるか?」——にとって、それは本当に役立つほど十分な精度を持っている。
スプラットビューアはまだcapture.html上に出荷されていない。ライブのエンドツーエンドデモ(スマートフォンでスキャンし、ブラウザでスプラットを見て、アシスタントに質問する)にはトレーニング済みのスプラットが必要であり、GPUトレーニングがまだ開いている唯一の関門だ。その関門は数日以内に閉じることが見込まれている。
はじめに
今日キャプチャ側を試したいなら: rakuai.com/capture.html——スマートフォンでQRをスキャンする。
あなたのAIアシスタントをMCP経由で接続したいなら: /developers/claude-desktop.html——Claude Desktopのガイド。すべてのアシスタントで同じパターン。
完全なMCPツール表面を理解したいなら: /mcp.html。
スキャンする。そして話しかける。