系列: 与 AI 一起学编程

扫描它,然后和它对话——面向日常空间的 RakuAI Capture

扫描一个真实房间,然后让你的助手读取并测量它。

你掏出手机,在客厅里走上三十秒,然后点击上传。几分钟后,你就得到了那个房间的 3D 重建——一旦 GPU 溅射体训练上线(数日内到来),它就会变成一个由数百万个微小透明椭球体构成的、可拖拽的照片级真实感高斯溅射体——停留在一个你可以分享的 URL 上。然后你打开 Claude,或者 ChatGPT,或者 Gemini,让它指向你的 Raku MCP 服务器,问道:「这张沙发能沿着那面远墙放得下吗?」助手读取这个场景,测量间隙,然后告诉你答案。

这就是 Raku Capture 的构想。一部手机。不需要专业设备,不需要标记点,不需要桌面端 3D 软件,不需要安装任何东西。得到的结果不是一张照片——而是一个「可对话的场景」:一个你的 AI 助手可以查询、测量、并对其进行推理的、活的空间对象。

这篇文章诚实地说明了这一切今天是什么样子,还有什么正在到来,以及为什么诚实捕获与开放协议 AI 运行时的结合是真正意义上的新事物。

高斯溅射到底是什么

大多数 3D 捕获工具生成的是网格——一层铺在空间估计形状之上的三角形皮肤。网格从外部看起来还算可信,但一旦近看就会露馅。高斯溅射不一样。它用数百万个微小的 3D 椭球体填满场景——每一个椭球体的位置、朝向、尺度和色彩都经过调校,以匹配真实相机从真实角度所看到的画面。得到的结果是密集的、依赖视角的,其照片级真实感是三角形无法比拟的。

它的技术名称是 3D 高斯溅射(3DGS)。文件格式是 `.spz`(压缩格式)或 `.ply`(交换格式)。你不能碰它或弄坏它;你可以旋转它,放大查看它,还可以让一个 AI 指向它。

Raku 使用 Brush v0.3.0 作为高斯溅射训练器。它运行在 GPU 上(Azure A10、AWS G5,或 Nebius H100——下文详述)。在它之前的 COLMAP 运动恢复结构步骤——把你的视频帧变成一个稀疏的 3D 点云——运行在 CPU 上,今天就已经上线。

捕获流程是如何运作的

第一步:打开 PWA。 入口是 rakuai.com/capture.html 上的一个二维码。用你的手机扫一下。捕获应用会在你的移动端浏览器中打开——不需要 App Store,不需要 APK,试用也不需要账号。它以渐进式网页应用(PWA)的形式运行。

第二步:录制一次扫描。 缓慢地围绕这个空间——或者围绕这件物品,或者沿着你关心的那面墙——走动。三十到六十秒稳定的画面就足够了。应用会通过 `POST /capture/upload` 把这些帧上传到 Raku 后端。你的扫描会立即进入 Azure Blob Storage。

第三步:重建。 后端将一个重建任务派发给 `recon-worker`——一个 Container Apps 任务运行器。它在你的帧上运行 COLMAP,计算相机位置,生成一个稀疏的 3D 点云。这一步是 CPU 密集型的,今天对每一次扫描都能运行。

第四步:溅射体训练。 COLMAP 的输出会送入 Brush,后者为你的帧拟合出数百万个高斯体。这是 GPU 密集型的一步。说句实话:Azure A10 上的 GPU 额度还在审核中;AWS Activate 额度还在等待中(5 月 28 日提交申请)。在其中任何一个到位之前,重建会回退到稀疏点云。 这是抢先体验,不是一个成品。真正的 GPU 路径预计将在数日内到来。

第五步:溅射体上线。 训练好的 `.spz` 文件存放在 `api.rakuai.com/splats/.spz`。你会得到一个可分享的链接和一个交互式查看器。拖拽即可旋转,双指即可缩放。这就是你的房间,被保存成了一个可测量的 3D 对象。

让它真正有用的部分:MCP

这个交互式查看器令人满意。但真正让这个溅射体有用起来的,是 MCP 运行时。

MCP——Model Context Protocol——是一个开放协议,让外部 AI 助手能够对一个外部服务调用类型化的工具。Raku 通过两个表面暴露你捕获的场景:

17 个原生工具——一个用于读取和变更空间场景的类型化契约。只读工具(查询物体位置、测量距离、获取场景元数据)在包括免费等级在内的所有等级中都可用。变更类工具(移动物体、添加注释、更新场景状态)需要显式的权限授予,默认拒绝。

约 9,500 个透传端点——通过 MCP 中继暴露出来的 Raku 后端的完整 FastAPI 表面。捕获历史、任务状态、重建质量、场景元数据——所有这些都可以从任何 MCP 客户端访问到。

MCP 服务器运行在 `api.rakuai.com`。它采用 stdio 传输。每一次调用都被记录到一份不可篡改的审计跟踪中。按会话强制执行速率限制。

MCP 在每一个等级中都可用,包括免费等级。 把你的 AI 助手连接到一个已捕获的场景,并不是一个 Pro 专属功能。

向你的助手询问关于一个空间的问题

一旦你通过 MCP 把 AI 助手连接到了 Raku,你能问的问题就会从假设性的变成空间性的、有据可查的:

「这张沙发能沿着那面远墙放得下吗?」——助手在两面墙之间调用 `measure_distance`,把结果和你提供的沙发尺寸做比较,给你一个真实的数字,而不是一个估计值。

「窗户离书桌有多远?」——`query_scene_objects` 定位两者的位置,`measure_distance` 返回以厘米为单位的间隙。

「角落里那个搁架单元上放的是什么?」——`query_scene_objects` 返回运行时在那个区域中识别出的物体。

「如果把书桌旋转九十度,这个房间会是什么样子?」——在获得变更授权的情况下,助手可以在场景模型中重新摆放书桌的位置,并重新渲染视图。

这些不是搜索结果。它们是针对你实际空间的 3D 表示所做的测量和观察。助手带来的是语言和推理能力。Raku 带来的是空间基质。

Claude、ChatGPT、Gemini 和 Copilot 都可以工作。对它们来说 MCP 契约都是一样的。当一款新的 AI 助手推出 MCP 支持时,它无需我们这边做任何代码改动,就能直接对接 Raku 工作。

今天已上线的和正在到来的

今天已上线: - 手机扫描 PWA——无需安装,二维码入口,上传到 Azure Blob - COLMAP 特征提取和稀疏点云 - 后端基础设施(FastAPI 约 9,500 个端点、Redis 任务存储、按等级感知的速率限制) - 拥有 17 个原生工具 + 约 9,500 个透传端点的 MCP 运行时 - 面向 Claude、ChatGPT、Gemini、Copilot 的托管 MCP 中继 - 免费等级(每天 10 次捕获,1 GB,保留 7 天,包含 MCP) - Pro Beta——测试期间为 \$0,正式发布(GA)时将变为 每月 \$14.99,任何收费之前至少提前 30 天通知

受限中(抢先体验——预计数日内上线): - Azure A10 上的真实 GPU 溅射体训练(额度审核中) - AWS G5 上的真实 GPU 溅射体训练(Activate 额度审核中) - 捕获应用中的实时 3D 溅射体查看器(three.js 渲染器已经接好;需要一个训练好的溅射体才能显示)

路线图: - 自助式生产环境变更授权 - 面向 Pro 的更高质量重建队列 - 第三方适配器生态系统

自 2026 年 5 月起成为 NVIDIA Inception 会员。五项已获授权的美国专利(优先权 2012 年 7 月)。

诚实说明它是什么

Raku Capture 是手机级和专业消费级的重建。它不是一台测绘仪器。它不是一个专业摄影测量工具。它不会给你毫米级精度或可直接用于 CAD 的模型。

它会给你的是一个由手机走动拍摄产生的、可通过 MCP 被任何 LLM 访问的照片级真实感 3D 高斯溅射体。对于大多数人想问的关于一个真实空间的问题——「这个放得下吗?」「那个有多远?」「那边放着什么?」——它的精度足以真正派上用场。

溅射体查看器还没有在 capture.html 上发布。完整的端到端实时演示(手机上扫描、浏览器中查看溅射体、向助手提问)需要一个训练好的溅射体,而 GPU 训练是目前唯一仍未打开的关卡。这道关卡预计将在数日内打开。

开始使用

如果你今天就想试试捕获这一端:rakuai.com/capture.html——用手机扫描这个二维码。

如果你想通过 MCP 连接你的 AI 助手:/developers/claude-desktop.html——Claude Desktop 指南;对所有助手来说模式都是一样的。

如果你想了解完整的 MCP 工具表面:/mcp.html

扫描它。然后和它对话。

← 所有文章