RakuAI 将你的相机看到的一切,变成一个可对话的场景——高斯泼溅捕获、实时查看器,以及你的 AI 助手可以走入、测量并改动的 MCP 接口。
成员:今日可用:手机扫描进,可拖动泼溅出,AI 操控的 MCP 运行时已经上线。即将上线本页:上方的交互式泼溅查看器(诚实占位符——尚未交付)。
Raku Capture 由 NVIDIA Inception 成员打造。我们将 NVIDIA 加速的 3D 高斯泼溅(A10G / L40S 上的 Brush 训练器)引入重建步骤,让任意房间的一次手机扫描在几分钟内成为可探索的泼溅,并借助 NGC 目录与该计划的云额度。 查看公告 →
三件事,一条流水线。现实以视频进入,一个空间世界产出。然后你的 AI 助手通过 MCP 栖居其中——它读取场景,绝不悄悄改写你的房间。重建质量达到手机/消费级,而非测量级。
对着一个空间拿起相机走动。手机就够了。无需机架、无需标记、无需录制棚。我们在这一步领跑,因为只有这一步先做到诚实,其他一切才有意思。
画面变成具有真实几何与尺度的高斯泼溅——一个你可以环视、测量、锚定的场景。运行时对物理、碰撞和变换保有最终权威。
你的 AI 助手通过引擎已暴露的同一套 MCP 合约接入——17 个原生工具(5 个只读 + 12 个变更)加通用 api_call/api_search 透传。它可以看见场景、测量距离、模拟改动并采取行动——在你设定的权限范围内,每一次调用都被审计。MCP 对所有套餐开放——不设付费墙。
任何支持 Model Context Protocol 的模型都能驱动可对话的场景。支持 Claude、ChatGPT、Gemini 和 GitHub Copilot——所有套餐均可使用,无付费墙,除粘贴一个配置块外无需任何额外设置。
MCP 服务器暴露 17 个原生工具(5 个只读 + 12 个变更)加通用 api_call/api_search 透传。核心场景工具包括:load_world_model、ingest_frame、get_scene_state、set_render_target、start_simulation 和 get_metrics。你的助手通过这些工具加载捕获的场景、摄入实时帧、读取几何与状态、运行模拟——每次调用均被记录,默认拒绝。你始终掌握控制权。
诚实的取景:核心用例正处于抢先体验阶段。其他是这条路通向何处——已经打上标签,方便你区分今天就真的能用的和路线图里的。Pro Beta 在抢先体验期间免费($14.99/月是 GA 后的预计价格,不是现在的收费标准)。
扫描一个房间。然后向助手询问眼前真实空间的问题——"这张沙发能沿着那面墙放得下吗?""窗户离桌子多远?"。它的回答基于测量得到的场景,而不是凭空猜测。
捕获的空间可以在 RakuAI 运行时中成为关卡、背景或可玩的场景。我们不承诺提示词直出游戏。我们说:一次真实的扫描,是其中真实、可复用的一块。
在眼镜上,捕获变成助手与你共享的持久空间孪生——已锚定、亚毫米精度,按运行时设计的散热包线打造。
更长远的故事是连续捕获:随着你的移动,世界即时更新,助手通过 ingest_frame 实时推理。今天这条路用 stub 验证过。在端到端交付前,我们都会照实说。
下面是概念媒体。这是排队等待制作的 demo,如实描述——是占位符,而不是包装成产品的演出片段。
一段不剪辑的连续片段:有人拿着手机绕房间走约二十秒,那个房间的可拖动高斯泼溅就出现了。没有掩饰工作量的剪切。Capture 是我们的主张,所以我们展示 Capture。
同一次扫描,现在通过 MCP 接入了助手。我们请它测量缝隙、检查是否能塞下、描述架子上有什么——它都从捕获的场景给出答案。重点是助手对你自己的空间进行推理,而不是对一个标配空间。
Capture 处于抢先体验阶段。但你的 AI 驱动的运行时不是——MCP 服务器今日已上线。用手机扫描一个空间,接入任何支持 MCP 的助手(Claude、ChatGPT、Gemini 或 Copilot),开始对真实空间提问吧。Pro Beta 在抢先体验期间免费。