AI — 為世界模型打造的通用執行階段  |  給工作室與開發者 →    此外:體驗消費者示範 →
成員 NVIDIA Inception 基於 AWS 構建 Microsoft for Startups 了解更多 ↓
空間引擎

LLM 可以驅動的 C++ 空間執行階段

18 個原生 DLL、30,738 個匯出函式,以及一個讓 Claude、GPT 或任何模型指揮即時空間場景的 MCP 伺服器。這不是 Unity/Unreal 的替代品 — 而是擁有可供連結的透明內部結構的空間 AI 執行階段。

10 分鐘驅動一個場景 ↓ 與 Unity / Unreal 誠實比較

RakuAI 空間引擎:LLM 驅動的執行階段堆疊 分層圖,頂部的 LLM(Claude、GPT、Gemini、Copilot)透過 17 個 MCP 工具和約 9,500 個 REST 端點連接到 RakuAI 空間執行階段,該執行階段建構於公開 30,738 個匯出的 18 個原生 C++ DLL 之上,鎖定 XR 頭戴裝置、智慧眼鏡和桌面。 您的 LLM Claude · ChatGPT · Gemini · Copilot · 本機 17 個原生 MCP 工具 + 透過 api_call 的 ~9,500 個 REST 端點 空間執行階段 物理 算繪器 / XR 動畫 空間音訊 SLM / AI / 語音 18 個原生 C++ DLL · 30,738 個匯出 OpenXR 1.1 · DirectX 12 + Vulkan · CMake / MSVC · 5 項美國已獲核准專利 XR 頭戴裝置 · 智慧眼鏡 · 桌面 · 機器人
18
原生 C++ DLL
30,738
匯出函式
17
原生 MCP 工具
~9,500
經 api_call 的 REST 端點

10 分鐘驅動一個場景

阻力最小的路徑:針對 Claude Desktop 或 Cursor 執行 MCP 伺服器。無需安裝 C++ SDK 即可開始。

1

複製並設定 MCP 伺服器

MCP 伺服器位於 raku-runtime 儲存庫的 src/mcp/。它是一個 Python 伺服器 — 開始與執行中的執行個體對話無需 C++ 工具鏈。

# 一次性設定
git clone https://github.com/RakuXR/raku-runtime
cd raku-runtime/src/mcp
pip install -r requirements.txt
2

將 Claude Desktop 指向伺服器

將 MCP 伺服器項目加入您的 claude_desktop_config.json。Claude Desktop 會在重新啟動時自動探索它。

{
  "mcpServers": {
    "raku-runtime": {
      "command": "python",
      "args": ["path/to/raku-runtime/src/mcp/server.py"]
    }
  }
}
3

讓 Claude 驅動您的場景

現在 Claude 擁有 17 個原生 MCP 工具,以及通往 ~9,500 個 REST 端點的傳遞。生成物件、查詢場景圖、執行物理 — 全部透過自然語言。

# Claude 提示詞範例
"在位置 (0, 2, 0) 生成一個剛體立方體,
 施加 5 N 的向上衝量,並在 1 秒後
 列出場景節點。"
4

更深入:直接連結 DLL

當您超越 MCP 的能力時,可直接連結 RakuXR.dllRakuRenderer.dll。全部 30,738 個匯出都是公開符號 — dumpbin /exports 可全部列出,沒有黑盒。

完整 Claude Desktop 整合指南 →

17 個原生 MCP 工具 — 自帶模型

MCP 伺服器公開一組精選的場景感知工具,外加一個通用的 api_call 傳遞,可存取完整的約 9,500 個端點的 REST API。自帶 Claude、GPT、Gemini、Copilot 或本機模型 — 沒有模型鎖定。

scene_query
讀取場景圖 — 節點、變換、屬性
scene_spawn
將帶元件的實體生成到即時場景中
scene_transform
取得或設定任意節點的世界空間變換
physics_apply
在執行階段施加力、衝量或約束
animation_play
在骨架繫結上觸發或混合動畫狀態
asset_load
從磁碟或 URL 將資產串流到場景
anchor_create
跨工作階段釘住世界鎖定的空間錨點
audio_play
在 3D 位置觸發空間音訊
render_capture
從算繪器擷取影格或串流
script_run
在場景脈絡中執行 Lua 指令碼
xr_session
管理 OpenXR 工作階段、頭部姿態、追蹤狀態
input_inject
為測試自動化注入合成輸入事件
debug_inspect
讀取執行階段診斷、記憶體和影格統計
ui_update
變更空間 UI 面板和疊加內容
network_sync
推送或查詢多人場景增量狀態
splat_load
將 3D 高斯潑濺作為一級場景物件載入
api_call
通往全部 ~9,500 個 REST 端點的通用傳遞

完整的代理驅動場景創作(生成、動畫、指令碼、錨定 — 完整迴圈)是 Phase 2 路線圖目標。目前的 17 個工具涵蓋查詢、生成、變換、物理和資產操作。MCP 伺服器文件 →

潑濺原生:作為場景物件的已擷取現實

該引擎是 Raku Capture 的基底。用手機相機擷取的 3D 高斯潑濺成為一級場景物件 — 可透過與任何其他實體相同的 MCP 工具被任何 LLM 定位、錨定和定址。同一條執行階段路徑在 XR、桌面和眼鏡上執行。

一條管線從擷取到場景

splat_load 將擷取的 .spz 檔案串流到即時場景中。潑濺立即繼承場景圖、物理和錨定子系統。

從第一天起即可被 LLM 定址

請 Claude 移動一個已擷取物件、查詢潑濺中有什麼,或將其錨定到真實世界位置 — MCP 表面將潑濺視同任何其他節點。

內建 OpenXR 顯示路徑

RakuXR 透過用於所有場景內容的同一條支援注視點 120 Hz 的管線算繪潑濺 — 無需單獨的檢視器。

了解 Raku Capture →

世界鎖定,精確到次毫米

感測器融合輸入到場景理解,進而釘住跨工作階段和裝置保持位置的錨點。

空間錨定:感測器融合到場景理解再到錨點的管線,輸入到一個透視房間網格,其中世界鎖定的錨點以次毫米精度保持位置。 感測器融合 IMU · 相機 · 深度 場景理解 平面 · 網格 · 語意 空間錨點 世界鎖定 · 持久 < 1 mm 漂移

執行階段內部

滑動瀏覽管線,以及構成引擎的 18 個原生 DLL — 依功能分組。

物理 — RakuPhysics

物理引擎

具備剛體、約束、射線投射和碰撞偵測的生產級 3D 物理。即便在行動 XR 硬體上也能達成次毫秒步進時間的確定性模擬。可透過 physics_apply MCP 工具完全定址 — LLM 可透過自然語言提示施加力、查詢碰撞狀態並變更約束。

  • 剛體、關節、約束、射線投射
  • 確定性步進 — 可重現的重播及代理驅動模擬
  • 行動 XR 硬體上的次毫秒步進
  • RakuPhysics.dll 中的 1,278 個匯出函式
核心優勢:跨 VR、桌面和行動端一致可靠的物理 — 無需逐平台調校。在頭戴裝置中執行的同一步進,也可在代理評估中以無頭方式執行。
VFX — RakuRenderer

粒子系統與 VFX

具備依類型 VFX 預設的 GPU 加速粒子系統。支援發射器、吸引子、碰撞和 LOD 縮放。自動預算管理在 XR 硬體上將影格率鎖定在 72–120 Hz。算繪器使用帶 Vulkan 後端(RakuVulkan)的 DirectX 12 — 兩條路徑均透過 RakuRenderer.dll(3,677 個匯出)匯出。

核心優勢:隨硬體縮放的電影級 VFX — 無需手動最佳化。管理粒子的同一預算管理器也管理代理注入的場景變更。
動畫 — RakuAnimation

動畫系統

具備混合樹、狀態機、IK 和重定向的骨架動畫。支援具有平滑轉場和執行階段混合的並行動畫角色。animation_play MCP 工具讓 LLM 直接觸發或混合動畫狀態 — 無需自訂整合。

  • 混合樹、狀態機、IK、重定向
  • 執行階段混合 — LLM 驅動的轉場
  • RakuAnimation.dll 中的 1,900 個匯出函式
核心優勢:自然、回應靈敏的角色動畫,無需逐角色設定。代理可像導演一樣用自然語言指導角色行為。
音訊 — RakuAudio

空間音訊

基於 HRTF 的 3D 空間音訊,具備雙耳算繪、遮蔽、混響區和自適應音樂層。針對 XR 頭戴裝置喇叭和耳機調校,CPU 額外負荷極小。audio_play MCP 工具允許 LLM 在場景中任意 3D 位置放置聲音。

  • HRTF 雙耳算繪 — 自然的方向感知
  • 遮蔽、混響區、自適應音樂層
  • RakuAudio.dll 中的 1,654 個匯出函式
核心優勢:玩家可在 3D 空間中自然定位聲音 — 對沉浸式 XR 至關重要。代理放置的音訊錨點像視覺物件一樣跟隨場景圖。

誠實比較:RakuAI vs Unity / Unreal

我們不是 Unity 或 Unreal 的替代品。我們在它們薄弱之處取勝。這張表保持公開,因為開發者的信任比行銷話術更重要。

能力RakuAIUnityUnreal Engine
LLM 驅動即時場景(MCP)原生 — 17 個工具 + ~9,500 端點傳遞非內建;需自訂外掛非內建;需自訂外掛
透明的原生匯出30,738 個公開符號 — 可直接連結任意 DLL封閉執行階段;IL2CPP / 受管層封閉執行階段;UObject / 藍圖層
眼鏡級散熱預算RakuSLM 裝置端推論;針對低於 5W 範圍調校非設計目標非設計目標
OpenXR 1.1(手/眼追蹤、錨點)RakuXR — 2,704 個匯出,完整 OpenXR 面透過 OpenXR 外掛支援透過 OpenXR 外掛支援
潑濺 / 3DGS 作為一級場景物件原生 — splat_load MCP 工具,場景圖整合第三方套件;非場景圖原生第三方套件;非場景圖原生
編輯器工具與資產商店早期階段 — RakuEditor DLL;尚無圖形編輯器業界標準編輯器;大型資產商店業界標準編輯器;Fab 市集
3A 主機管線非目前目標完整主機認證支援完整主機認證支援
文件廣度稀疏 — Phase 0(逐 DLL 參考待補)詳盡詳盡
自帶 LLM(無鎖定)任何 MCP 相容模型 — Claude、GPT、本機無原生對等物無原生對等物
匯出數量可驗證性dumpbin 輸出已簽入儲存庫 — 可稽核N/A — 封閉執行階段N/A — 封閉執行階段

完整的誠實比較(更多子系統、授權、定價)→ compare.html

執行階段的目前狀態

我們公開誠實的狀態,讓您能基於真實事實而非行銷來評估執行階段。

Phase 0 — 讓執行階段可信且可用

已發佈且可信:18 個 C++ DLL,共 30,738 個匯出函式(透過 dumpbin /exports 驗證,作為 CI 構件追蹤於 raku-runtime/dll_exports/)。src/mcp/ 處的 MCP 伺服器已上線 17 個原生工具。RakuXR 中的 OpenXR 1.1 支援。NVIDIA Inception 成員(2026 年 5 月)。5 項美國已獲核准專利(優先權日:2012 年 7 月)。

作用中的缺陷:RakuAssets 有一個進行中的 LNK2001 連結器修復。其餘 17 個 DLL 均 CI 通過;乾淨的 18/18 建置即將到來但尚未確認。修復落地後將移除此通知。

仍待完成(Phase 0 追蹤項):逐 DLL 參考文件;已發佈的 DLL 能力矩陣;「10 分鐘驅動場景」快速入門影片。首批嵌入式 OEM 出貨為 Phase 1。

匯出數量說明:30,738 是文件化/主幹基準。一個未合併的 WIP 分支的本機 Release 建置顯示 +46(30,784)— 但僅 30,738 這個數字為對外正式使用。

為 XR 最佳化 — 也為眼鏡散熱範圍最佳化

每個子系統都針對 VR 與 AR 頭戴裝置嚴苛的影格預算進行了最佳化 — 也針對 Unity 與 Unreal 並不鎖定的、智慧眼鏡硬體更緊的限制。

120 Hz XR 算繪

帶自動 LOD 的注視點算繪管線在每個頭戴裝置等級上維持影格預算。

裝置端 SLM 推論

RakuSLM 鎖定智慧眼鏡硬體低於 5 W 的散熱範圍 — 而非外接 GPU 設備。

透明的內部結構

全部 30,738 個匯出都是公開符號。在 C++ 層面進行剖析和最佳化 — 沒有黑盒。

從 MCP 快速入門開始 XR 功能 AI 系統

NVIDIA Inception 成員

驅動 Raku Capture 的引擎由一家 NVIDIA Inception 成員打造。我們運用該計畫的 NGC 目錄、合作夥伴雲端點數和 DLI 培訓來加速空間管線。了解更多 →