四個計畫如何撐起 Raku Capture 背後的運算力
Raku Capture 從外面看起來很簡單。你拿著手機在房間裡走一圈,幾分鐘後就有了那個房間的 3D 高斯潑濺,AI 助理可以透過 MCP 在裡面測量與行動。在這份簡單底下,是一條在不只一個層次上都需要大量 GPU 運算的管線。
我們是一家位於華盛頓州、靠自有資金運作的新創。我們沒有為了買那些運算力去募資。我們做的是加入各大平台為新創開設的計畫,結果發現每一個計畫都在不同的地方派上用場。沒有任何單一計畫撐起全部。每一個都在堆疊的某一層排除了一個瓶頸,而這些層加起來就是一個能運作的產品。
我們想謹慎地拿捏這裡的說法。這些層當中的每一層,我們最終都會找到別的路走過去。新創總是如此。誠實的說法比較小,但仍然值得寫下來:這些計畫讓我們用幾個月而不是幾季的時間走過這些層,而且不必犧牲股權或專注力。
以下逐層說明這個堆疊。
NVIDIA Inception:訓練層
管線的心臟是潑濺訓練。一次擷取工作階段會產出一連串帶姿態的影像,訓練器再把那些影像變成 3D 高斯潑濺。我們用 Brush——一個開源的潑濺訓練器——在 A10G 和 L40S 等級的 GPU 上訓練。
我們在 2026 年 5 月加入 NVIDIA Inception。這個計畫給了我們 NGC 目錄,我們強化過的 CUDA 容器映像就來自那裡;還有 Deep Learning Institute,讓一家小公司在沒有教育訓練預算的情況下也能維持 GPU 技能不落伍。它也讓我們置身於一個生態系裡,讓正在打造下一代視覺硬體的人找得到我們。
訓練品質就是產品。潑濺清晰時,下游的一切都像魔法。潑濺糊掉時,下游的任何東西都救不了它。Inception 就位於我們最在乎的那一層底下。
AWS Activate:重建層
在任何東西能被訓練之前,原始擷取必須先變成幾何。一個 GPU 工作器接手上傳的影格,用運動恢復結構(structure from motion)解出相機姿態。接著它執行訓練流程,並把結果打包成檢視器可以串流的 SPZ 檔案。
那些重建工作器跑在 AWS G5 執行個體上,搭載的正是我們用來訓練的同一級 A10G GPU。我們是 AWS Activate 的參與者,而 Activate 讓一家靠自有資金運作的公司,能把真實的 GPU 容量維持在「一則佇列訊息之外」,而不是「一個採購週期之外」,這才變得合理。
機器人視覺的工作也活在這一層。處理客廳的同一條重建路徑,也能處理倉儲走道或工廠工作站,輸出則是一個具公制尺度的場景,機器人規劃器或檢測工作流程都能取用。
Microsoft for Startups:服務層
上面的一切都在產出成品,但總得有東西來提供服務。手機和 AI 助理對話的正式環境 API 跑在 Azure Container Apps 上,旁邊是我們的資料庫和物件儲存。每一次擷取上傳和每一次 MCP 工具呼叫,都先落在那裡。
RakuAI 是 Microsoft for Startups 的成員,計畫提供的 Azure 額度支撐著這個服務層。服務是整個堆疊裡最不光鮮的部分,卻是使用者感受最直接的部分。API 慢,產品就慢,不管潑濺有多好。
GitHub:交付層
最後一層,是這一切要如何出貨。平台的每一次變更,從引擎到這個網站,都經過 GitHub。自動化審查者會在幾分鐘內對每一個 pull request 留下意見。合併到 main 就會部署到正式環境,不需要任何人碰伺服器,而你正在閱讀的這個網站是由 GitHub Pages 提供的。
對一個極小的團隊來說,這個交付迴圈就是每天出貨與每月出貨之間的差別。它也是讓 AI 代理能在這裡安全地做真正工程工作的原因,因為每一次變更都走過同一條受審查、可回復的路徑。
為什麼分層的框架很重要
如果說這些計畫中的任何一個拯救了公司,故事會更好聽。但那不是真的。真的是:空間擷取堆疊有各自分明的層,任何一層的瓶頸都會掐住整條管線。有訓練容量卻沒有服務層,只是一個展示。有服務層卻沒有交付迴圈,是一項負債。這組計畫有用的地方在於,它們恰好一層對上一個。
同一個堆疊同時服務兩個未來。在企業端是機器人視覺,被擷取的設施變成規劃器和檢測工具可以推理的場景。在消費端是智慧眼鏡和模擬世界,空間引擎坐鎮兩者之下。在這兩個未來之間,層不會改變,改變的只有規模。
如果你是一位盯著計畫書裡那個 GPU 形狀大洞的創辦人,實際的建議是:別再把這些計畫當成一池通用額度。先畫出你的堆疊,再把每個計畫對到它真正能幫上忙的那一層。
計畫
計畫附註
NVIDIA Inception 是為 AI 新創提供的免費計畫。RakuAI 的成員身分並不代表 NVIDIA 為 RakuAI 的產品背書。「AWS」與「AWS Activate」是 Amazon.com, Inc. 或其關係企業的商標。RakuAI 的參與並不代表 AWS 為 RakuAI 的產品背書。Microsoft、Azure 與 Microsoft for Startups 是 Microsoft 集團公司的商標。RakuAI 的參與並不代表 Microsoft 為 RakuAI 的產品背書。GitHub 是 GitHub, Inc. 的商標。RakuAI 使用 GitHub 並不代表 GitHub 為 RakuAI 的產品背書。