RakuAI 将你的相机看到的一切,变成你的 AI 助手可以走入、测量并改动的世界。
成员:现今的 Capture:手机扫描进,可拖动泼溅出。AI 操控的 MCP 运行时已经上线。
Raku Capture 由 NVIDIA Inception 成员打造。我们将 NVIDIA 加速的 3D 高斯泼溅(A10G / L40S 上的 Brush 训练器)引入重建步骤,让任意房间的一次手机扫描在几分钟内成为可探索的泼溅,并借助 NGC 目录与该计划的云额度。 查看公告 →
三件事,一条流水线。现实以视频进入,一个空间世界产出。然后你的 AI 助手通过 MCP 栖居其中——它读取场景,绝不悄悄改写你的房间。
对着一个空间拿起相机走动。手机就够了。无需机架、无需标记、无需录制棚。我们在这一步领跑,因为只有这一步先做到诚实,其他一切才有意思。
画面变成具有真实几何与尺度的高斯泼溅——一个你可以环视、测量、锚定的场景。运行时对物理、碰撞和变换保有最终权威。
你的 AI 助手通过引擎已暴露的同一套六工具 MCP 合约接入。它可以看见场景、测量距离、模拟改动并采取行动——在你设定的权限范围内,每一次调用都被审计。
诚实的取景:核心用例正向抢先体验冲刺。其他是这条路通向何处——已经打上标签,方便你区分今天就真的能用的和路线图里的。
扫描一个房间。然后向助手询问眼前真实空间的问题——"这张沙发能沿着那面墙放得下吗?""窗户离桌子多远?"。它的回答基于测量得到的场景,而不是凭空猜测。
捕获的空间可以在 RakuAI 运行时中成为关卡、背景或可玩的场景。我们不承诺提示词直出游戏。我们说:一次真实的扫描,是其中真实、可复用的一块。
在眼镜上,捕获变成助手与你共享的持久空间孪生——已锚定、亚毫米精度,按运行时设计的散热包线打造。
更长远的故事是连续捕获:随着你的移动,世界即时更新,助手通过 ingest_frame 实时推理。今天这条路用 stub 验证过。在端到端交付前,我们都会照实说。
下面是概念媒体。这是排队等待制作的 demo,如实描述——是占位符,而不是包装成产品的演出片段。
一段不剪辑的连续片段:有人拿着手机绕房间走约二十秒,那个房间的可拖动高斯泼溅就出现了。没有掩饰工作量的剪切。Capture 是我们的主张,所以我们展示 Capture。
同一次扫描,现在通过 MCP 接入了助手。我们请它测量缝隙、检查是否能塞下、描述架子上有什么——它都从捕获的场景给出答案。重点是助手对你自己的空间进行推理,而不是对一个标配空间。
Capture 是新的。但你的 AI 操控的运行时不是。六工具 MCP 服务器已经上线,默认拒绝,每次调用都被审计——任何会说 Model Context Protocol 的模型都能通过它读取场景。把它接入 Claude Desktop,开始对真实空间提问吧。