AI — 面向世界模型的通用运行时  |  面向工作室与开发者 →    此外:体验消费者演示 →
成员 NVIDIA Inception 基于 AWS 构建 Microsoft for Startups 了解更多 ↓
空间引擎

LLM 可以驱动的 C++ 空间运行时

18 个原生 DLL、30,738 个导出函数,以及一个让 Claude、GPT 或任何模型指挥实时空间场景的 MCP 服务器。这不是 Unity/Unreal 的替代品 — 而是拥有可供链接的透明内部结构的空间 AI 运行时。

10 分钟驱动一个场景 ↓ 与 Unity / Unreal 诚实对比

RakuAI 空间引擎:LLM 驱动的运行时栈 分层图,顶部的 LLM(Claude、GPT、Gemini、Copilot)通过 17 个 MCP 工具和约 9,500 个 REST 端点连接到 RakuAI 空间运行时,该运行时构建于暴露 30,738 个导出的 18 个原生 C++ DLL 之上,面向 XR 头显、智能眼镜和桌面。 您的 LLM Claude · ChatGPT · Gemini · Copilot · 本地 17 个原生 MCP 工具 + 通过 api_call 的 ~9,500 个 REST 端点 空间运行时 物理 渲染器 / XR 动画 空间音频 SLM / AI / 语音 18 个原生 C++ DLL · 30,738 个导出 OpenXR 1.1 · DirectX 12 + Vulkan · CMake / MSVC · 5 项美国授权专利 XR 头显 · 智能眼镜 · 桌面 · 机器人
18
原生 C++ DLL
30,738
导出函数
17
原生 MCP 工具
~9,500
经 api_call 的 REST 端点

10 分钟驱动一个场景

阻力最小的路径:针对 Claude Desktop 或 Cursor 运行 MCP 服务器。无需安装 C++ SDK 即可开始。

1

克隆并设置 MCP 服务器

MCP 服务器位于 raku-runtime 仓库的 src/mcp/。它是一个 Python 服务器 — 开始与运行中的实例对话无需 C++ 工具链。

# 一次性设置
git clone https://github.com/RakuXR/raku-runtime
cd raku-runtime/src/mcp
pip install -r requirements.txt
2

将 Claude Desktop 指向服务器

将 MCP 服务器条目添加到您的 claude_desktop_config.json。Claude Desktop 会在重启时自动发现它。

{
  "mcpServers": {
    "raku-runtime": {
      "command": "python",
      "args": ["path/to/raku-runtime/src/mcp/server.py"]
    }
  }
}
3

让 Claude 驱动您的场景

现在 Claude 拥有 17 个原生 MCP 工具,以及通往 ~9,500 个 REST 端点的透传。生成对象、查询场景图、运行物理 — 全部通过自然语言。

# Claude 提示词示例
"在位置 (0, 2, 0) 生成一个刚体立方体,
 施加 5 N 的向上冲量,并在 1 秒后
 列出场景节点。"
4

更深入:直接链接 DLL

当您超越 MCP 的能力时,可直接链接 RakuXR.dllRakuRenderer.dll。全部 30,738 个导出都是公开符号 — dumpbin /exports 可全部列出,没有黑盒。

完整 Claude Desktop 集成指南 →

17 个原生 MCP 工具 — 自带模型

MCP 服务器暴露一组精选的场景感知工具,外加一个通用的 api_call 透传,可访问完整的约 9,500 个端点的 REST API。自带 Claude、GPT、Gemini、Copilot 或本地模型 — 没有模型锁定。

scene_query
读取场景图 — 节点、变换、属性
scene_spawn
将带组件的实体生成到实时场景中
scene_transform
获取或设置任意节点的世界空间变换
physics_apply
在运行时施加力、冲量或约束
animation_play
在骨骼绑定上触发或混合动画状态
asset_load
从磁盘或 URL 将资产流式传输到场景
anchor_create
跨会话钉住世界锁定的空间锚点
audio_play
在 3D 位置触发空间音频
render_capture
从渲染器捕获帧或流
script_run
在场景上下文中执行 Lua 脚本
xr_session
管理 OpenXR 会话、头部姿态、追踪状态
input_inject
为测试自动化注入合成输入事件
debug_inspect
读取运行时诊断、内存和帧统计
ui_update
变更空间 UI 面板和叠加内容
network_sync
推送或查询多人场景增量状态
splat_load
将 3D 高斯泼溅作为一等场景对象加载
api_call
通往全部 ~9,500 个 REST 端点的通用透传

完整的代理驱动场景创作(生成、动画、脚本、锚定 — 完整循环)是 Phase 2 路线图目标。当前的 17 个工具涵盖查询、生成、变换、物理和资产操作。MCP 服务器文档 →

泼溅原生:作为场景对象的已捕获现实

该引擎是 Raku Capture 的基底。用手机摄像头捕获的 3D 高斯泼溅成为一等场景对象 — 可通过与任何其他实体相同的 MCP 工具被任何 LLM 定位、锚定和寻址。同一条运行时路径在 XR、桌面和眼镜上运行。

一条流水线从捕获到场景

splat_load 将捕获的 .spz 文件流式传输到实时场景中。泼溅立即继承场景图、物理和锚定子系统。

从第一天起即可被 LLM 寻址

请 Claude 移动一个已捕获对象、查询泼溅中有什么,或将其锚定到真实世界位置 — MCP 表面将泼溅视同任何其他节点。

内置 OpenXR 显示路径

RakuXR 通过用于所有场景内容的同一条支持注视点 120 Hz 的流水线渲染泼溅 — 无需单独的查看器。

了解 Raku Capture →

世界锁定,精确到亚毫米

传感器融合输入到场景理解,进而钉住跨会话和设备保持位置的锚点。

空间锚定:传感器融合到场景理解再到锚点的流水线,输入到一个透视房间网格,其中世界锁定的锚点以亚毫米精度保持位置。 传感器融合 IMU · 摄像头 · 深度 场景理解 平面 · 网格 · 语义 空间锚点 世界锁定 · 持久 < 1 mm 漂移

运行时内部

滑动浏览流水线,以及构成引擎的 18 个原生 DLL — 按功能分组。

物理 — RakuPhysics

物理引擎

具备刚体、约束、射线投射和碰撞检测的生产级 3D 物理。即便在移动 XR 硬件上也能实现亚毫秒步进时间的确定性模拟。可通过 physics_apply MCP 工具完全寻址 — LLM 可通过自然语言提示施加力、查询碰撞状态并变更约束。

  • 刚体、关节、约束、射线投射
  • 确定性步进 — 可重现的回放及代理驱动模拟
  • 移动 XR 硬件上的亚毫秒步进
  • RakuPhysics.dll 中的 1,278 个导出函数
核心优势:跨 VR、桌面和移动端一致可靠的物理 — 无需逐平台调优。在头显中运行的同一步进,也可在代理评估中以无头方式运行。
VFX — RakuRenderer

粒子系统与 VFX

具备按类型 VFX 预设的 GPU 加速粒子系统。支持发射器、吸引子、碰撞和 LOD 缩放。自动预算管理在 XR 硬件上将帧率锁定在 72–120 Hz。渲染器使用带 Vulkan 后端(RakuVulkan)的 DirectX 12 — 两条路径均通过 RakuRenderer.dll(3,677 个导出)导出。

核心优势:随硬件缩放的电影级 VFX — 无需手动优化。管理粒子的同一预算管理器也管理代理注入的场景变更。
动画 — RakuAnimation

动画系统

具备混合树、状态机、IK 和重定向的骨骼动画。支持具有平滑过渡和运行时混合的并发动画角色。animation_play MCP 工具让 LLM 直接触发或混合动画状态 — 无需自定义集成。

  • 混合树、状态机、IK、重定向
  • 运行时混合 — LLM 驱动的过渡
  • RakuAnimation.dll 中的 1,900 个导出函数
核心优势:自然、响应灵敏的角色动画,无需逐角色设置。代理可像导演一样用自然语言指导角色行为。
音频 — RakuAudio

空间音频

基于 HRTF 的 3D 空间音频,具备双耳渲染、遮挡、混响区和自适应音乐层。针对 XR 头显扬声器和耳机调优,CPU 开销极小。audio_play MCP 工具允许 LLM 在场景中任意 3D 位置放置声音。

  • HRTF 双耳渲染 — 自然的方向感知
  • 遮挡、混响区、自适应音乐层
  • RakuAudio.dll 中的 1,654 个导出函数
核心优势:玩家可在 3D 空间中自然定位声音 — 对沉浸式 XR 至关重要。代理放置的音频锚点像视觉对象一样跟随场景图。

诚实对比:RakuAI vs Unity / Unreal

我们不是 Unity 或 Unreal 的替代品。我们在它们薄弱之处取胜。这张表保持公开,因为开发者的信任比营销话术更重要。

能力RakuAIUnityUnreal Engine
LLM 驱动实时场景(MCP)原生 — 17 个工具 + ~9,500 端点透传非内置;需自定义插件非内置;需自定义插件
透明的原生导出30,738 个公开符号 — 可直接链接任意 DLL封闭运行时;IL2CPP / 托管层封闭运行时;UObject / 蓝图层
眼镜级散热预算RakuSLM 设备端推理;针对低于 5W 范围调优非设计目标非设计目标
OpenXR 1.1(手/眼追踪、锚点)RakuXR — 2,704 个导出,完整 OpenXR 面通过 OpenXR 插件支持通过 OpenXR 插件支持
泼溅 / 3DGS 作为一等场景对象原生 — splat_load MCP 工具,场景图集成第三方包;非场景图原生第三方包;非场景图原生
编辑器工具与资产商店早期阶段 — RakuEditor DLL;尚无图形编辑器行业标准编辑器;大型资产商店行业标准编辑器;Fab 市场
3A 主机流水线非当前目标完整主机认证支持完整主机认证支持
文档广度稀疏 — Phase 0(逐 DLL 参考待补)详尽详尽
自带 LLM(无锁定)任何 MCP 兼容模型 — Claude、GPT、本地无原生等价物无原生等价物
导出数量可验证性dumpbin 输出已签入仓库 — 可审计N/A — 封闭运行时N/A — 封闭运行时

完整的诚实对比(更多子系统、许可、定价)→ compare.html

运行时的当前状态

我们公开诚实的状态,让您能基于真实事实而非营销来评估运行时。

Phase 0 — 让运行时可信且可用

已发布且可信:18 个 C++ DLL,共 30,738 个导出函数(通过 dumpbin /exports 验证,作为 CI 工件追踪于 raku-runtime/dll_exports/)。src/mcp/ 处的 MCP 服务器已上线 17 个原生工具。RakuXR 中的 OpenXR 1.1 支持。NVIDIA Inception 成员(2026 年 5 月)。5 项美国授权专利(优先日:2012 年 7 月)。

活动缺陷:RakuAssets 有一个进行中的 LNK2001 链接器修复。其余 17 个 DLL 均 CI 通过;干净的 18/18 构建即将到来但尚未确认。修复落地后将移除此通知。

仍待完成(Phase 0 追踪项):逐 DLL 参考文档;已发布的 DLL 能力矩阵;"10 分钟驱动场景"快速入门视频。首批嵌入式 OEM 出货为 Phase 1。

导出数量说明:30,738 是文档化/主干基线。一个未合并的 WIP 分支的本地 Release 构建显示 +46(30,784)— 但仅 30,738 这个数字为对外正式使用。

为 XR 优化 — 也为眼镜散热范围优化

每个子系统都针对 VR 与 AR 头显严苛的帧预算进行了优化 — 也针对 Unity 与 Unreal 并不瞄准的、智能眼镜硬件更紧的约束。

120 Hz XR 渲染

带自动 LOD 的注视点渲染流水线在每个头显档位上维持帧预算。

设备端 SLM 推理

RakuSLM 瞄准智能眼镜硬件低于 5 W 的散热范围 — 而非外接 GPU 设备。

透明的内部结构

全部 30,738 个导出都是公开符号。在 C++ 层面进行剖析和优化 — 没有黑盒。

从 MCP 快速入门开始 XR 功能 AI 系统

NVIDIA Inception 成员

驱动 Raku Capture 的引擎由一家 NVIDIA Inception 成员打造。我们利用该计划的 NGC 目录、合作伙伴云积分和 DLI 培训来加速空间流水线。了解更多 →