掃描它,然後跟它對話。——為日常空間打造的 RakuAI Capture
你掏出手機,在客廳裡走動三十秒,然後點一下上傳。幾分鐘後,你就擁有那個房間的 3D 重建——而一旦 GPU 潑濺訓練上線(數日內到來),它會變成一個可拖曳的擬真高斯潑濺,由數百萬個微小半透明橢球組成——放在一個可以分享的 URL 上。接著你打開 Claude、或 ChatGPT、或 Gemini,把它指向你的 Raku MCP 伺服器,然後問:「這張沙發放得進遠處那面牆嗎?」助理讀取場景、測量空隙,然後告訴你答案。
這就是 Raku Capture 的想法。一支手機。不需支架、不需標記、不需桌面 3D 軟體、不需安裝。得到的結果不是一張照片——而是一個可對話的場景:一個活的空間物件,你的 AI 助理可以查詢它、測量它、對它推理。
這篇文章誠實地說明它今天的樣貌、還有什麼正在路上,以及為什麼「誠實的擷取」加上「開放協定的 AI 執行環境」這個組合,是真正的新東西。
高斯潑濺到底是什麼
大多數 3D 擷取工具產出的是網格(mesh)——鋪在空間估計形狀上的一層三角形外皮。網格從遠處看似乎合理,湊近就崩壞。高斯潑濺不一樣。它用數百萬個微小的 3D 橢球填滿場景——每一個都經過定位、定向、縮放與調色,以吻合真實相機從真實角度看到的畫面。結果是稠密的、隨視角變化的、擬真到三角形無法企及的程度。
技術上的名稱是 3D 高斯潑濺(3D Gaussian Splatting,3DGS)。檔案格式是 `.spz`(壓縮)或 `.ply`(交換格式)。你摸不到它也弄不壞它;你可以旋轉它、放大它,並讓一個 AI 指向它。
Raku 使用 Brush v0.3.0 作為高斯潑濺訓練器。它跑在 GPU 上(Azure A10、AWS G5 或 Nebius H100——下文詳述)。在它之前的 COLMAP 運動恢復結構(Structure-from-Motion)步驟——把你的影片影格變成稀疏 3D 點雲——在 CPU 上執行,今天已經上線。
擷取流程如何運作
第一步:打開 PWA。 入口是 rakuai.com/capture.html 上的 QR code。用手機掃描它。擷取應用程式會在你的行動瀏覽器中開啟——不需 App Store、不需 APK、試用不需帳號。它以漸進式網頁應用程式(PWA)的形式執行。
第二步:錄製掃描。 繞著空間緩慢走動——或繞著物品、或沿著你在意的那面牆。三十到六十秒的穩定畫面就足夠了。應用程式透過 `POST /capture/upload` 將影格上傳到 Raku 後端。你的掃描會立即進入 Azure Blob Storage。
第三步:重建。 後端將重建工作分派給 `recon-worker`——一個 Container Apps 工作執行器。它對你的影格執行 COLMAP、計算相機位置,並產出稀疏的 3D 點雲。這個步驟受 CPU 限制,今天對每一次掃描都在運作。
第四步:潑濺訓練。 COLMAP 的輸出餵入 Brush,由它將數百萬個高斯體擬合到你的影格上。這是受 GPU 限制的步驟。誠實地說:Azure A10 的 GPU 配額正在審核中;AWS Activate 額度待核准(5 月 28 日申請)。在其中一項到位之前,重建會退回到稀疏點雲。 這是搶先體驗,不是完成品。真實的 GPU 路徑預計數日內開通。
第五步:潑濺活起來。 訓練完成的 `.spz` 檔案放在 `api.rakuai.com/splats/
讓它變得有用的部分:MCP
互動式檢視器令人滿足。但讓潑濺真正有用的,是 MCP 執行環境。
MCP——Model Context Protocol——是一個開放協定,讓外部 AI 助理能對外部服務呼叫型別化工具。Raku 透過兩個介面開放你擷取到的場景:
17 個原生工具——用於讀取與變更空間場景的型別化契約。唯讀工具(查詢物件位置、測量距離、取得場景中繼資料)在包括免費層在內的每個層級都能用。變更工具(移動物件、標註、更新場景狀態)需要明確的權限授予,且預設拒絕。
約 9,500 個直通端點——Raku 後端的完整 FastAPI 介面,透過 MCP 中繼開放。擷取歷史、工作狀態、重建品質、場景中繼資料——任何 MCP 客戶端都能觸及。
MCP 伺服器執行於 `api.rakuai.com`。它使用 stdio 傳輸。每一次呼叫都記錄到不可竄改的稽核軌跡。並且執行每工作階段的速率限制。
MCP 在每個層級都有,包括免費層。 把你的 AI 助理連上擷取到的場景,並不是 Pro 專屬功能。
向你的助理詢問關於空間的問題
一旦你透過 MCP 把 AI 助理連上 Raku,你能問的問題就從假設性的變成了有空間根據的:
「這張沙發放得進遠處那面牆嗎?」——助理呼叫 `measure_distance` 測量兩面牆之間的距離,對照你提供的沙發尺寸,然後給你一個真實的數字,而不是估計。
「窗戶離書桌多遠?」——`query_scene_objects` 找到兩者,`measure_distance` 回傳以公分為單位的距離。
「角落那個層架上有什麼?」——`query_scene_objects` 回傳執行環境在該區域辨識出的物件。
「如果把書桌轉九十度,這個房間會是什麼樣子?」——有了變更權限,助理可以在場景模型中重新擺放書桌並重新渲染畫面。
這些不是搜尋結果。它們是針對你實際空間的 3D 表示所做的測量與觀察。助理帶來語言和推理,Raku 帶來空間基底。
Claude、ChatGPT、Gemini 和 Copilot 都能用。MCP 契約對它們全都是同一份。當一個新的 AI 助理支援 MCP 時,它就能直接對接 Raku,我們這邊不需要改任何程式碼。
今天已上線 vs. 正在路上
今天已上線: - 手機掃描 PWA——免安裝、QR 入口、上傳到 Azure Blob - COLMAP 特徵萃取與稀疏點雲 - 後端基礎設施(FastAPI 約 9,500 個端點、Redis 工作儲存、依層級調整的速率限制) - 具備 17 個原生工具 + 約 9,500 個直通端點的 MCP 執行環境 - 給 Claude、ChatGPT、Gemini、Copilot 的託管 MCP 中繼 - 免費層(每天 10 次擷取、1 GB、保留 7 天、含 MCP) - Pro Beta——測試期間 \$0,正式版將為每月 \$14.99,任何收費前至少提前 30 天通知
受限中(搶先體驗——預計數日內開放): - Azure A10 上的真實 GPU 潑濺訓練(配額審核中) - AWS G5 上的真實 GPU 潑濺訓練(Activate 額度審核中) - 擷取應用程式內的即時 3D 潑濺檢視器(three.js 渲染器已接好;需要一個訓練完成的潑濺才能顯示)
藍圖: - 自助式的正式環境變更權限授予 - Pro 專屬的高品質重建佇列 - 第三方轉接器生態系
自 2026 年 5 月起為 NVIDIA Inception 成員。五項已獲證的美國專利(優先權日 2012 年 7 月)。
誠實面對它是什麼
Raku Capture 是手機等級與進階玩家等級的重建。它不是測量儀器。它不是專業攝影測量工具。它不會給你毫米級精度或可直接用於 CAD 的模型。
它會給你的,是從一次手機走拍產出的、你的空間的擬真 3D 高斯潑濺,任何 LLM 都能透過 MCP 存取。對於大多數人想問一個真實空間的問題——「這放得下嗎?」「那個有多遠?」「那邊有什麼?」——它的精度足以真正派上用場。
潑濺檢視器尚未在 capture.html 上推出。即時的端到端展示(手機掃描、瀏覽器看潑濺、向助理提問)需要一個訓練完成的潑濺,而 GPU 訓練是唯一還沒打開的閘門。預計數日內就會關上這道閘門。
開始使用
如果你今天就想試試擷取端:rakuai.com/capture.html——用手機掃描 QR code。
如果你想透過 MCP 連接你的 AI 助理:/developers/claude-desktop.html——Claude Desktop 指南;所有助理的模式都相同。
如果你想了解完整的 MCP 工具介面:/mcp.html。
掃描它,然後跟它對話。