5 项专利 | 9,500+ API 端点 | 18 个原生 DLL | AI 原生空间游戏引擎 — 抢先体验进行中 探索引擎 →
面向智能眼镜 OEM 技术负责人

智能眼镜 OEM 选择授权—而非自建的空间运行时。

RakuAI 是 OEM 选择授权而非自建的 LLM 厂商中立空间运行时。第 1 阶段滩头阵地:Meta Ray-Ban Display PWA — 从眼镜浏览器即可安装的 Web 应用、Claude·ChatGPT·Gemini·Copilot 都能驱动的 MCP 表面,以及为头戴式显示调校的散热/延迟预算。第 2 阶段路线图:Android XR + 原生 SDK(2026 年第三季度–2027 年)。我们不与你的硬件竞争 — 我们让其上的 AI 体验更快上线。

为 2026–2027 年发布眼镜的 Meta、Samsung、Google、Xreal、Rokid 等公司的工程与合作负责人撰写。对已上线、仅供参考、以及受硬件限制的内容如实说明。未声称任何已签约 OEM 合作伙伴。

智能眼镜上由 MCP 驱动的空间叠加 一个戴着智能眼镜的头部,带有空间抬头显示叠加。眼镜呈现一个由 MCP 驱动的能力 HUD,将答案固定到佩戴者的真实空间:一个标注"钥匙"的锚点标记、一个场景查询结果,以及一个 MCP 工具调用徽章,展示 LLM 从眼镜驱动 RakuAI 运行时。 能力 HUD MCP 驱动 · 世界锁定 scene_query("我的钥匙在哪") 锚点:厨房中岛 果盘左侧 · 0.6 mm 在眼镜中语音播报

各平台今日交付的内容。

RakuAI 能力对应到 2026 窗口期内最重要的三个平台。✅ 已交付。🟡 部分 / 已标记。⏳ 在平台路线图上。❌ 当前无路径。受硬件限制 = 取决于 OEM 是否暴露我们无法控制的相机/帧 API。未声称任何已签约 OEM 合作。脚注见下。

能力 Meta Ray-Ban Display
已交付
Android XR(Samsung 及合作伙伴)
2026 年第三季度发布窗口
Apple Vision Pro
待定
从设备进入 PWA 可安装 Web 应用RakuAI 以可安装 PWA 形式分发 — 无应用商店门槛。 Meta AI 眼镜上的可启动 Web 应用路径1 Android XR 上的 Chrome 支持 PWA2 visionOS 路由到原生;我们提供 WebXR 回退3
MCP 服务器访问(Claude / ChatGPT / Gemini 驱动运行时)面向桌面 AI 助手的 HTTPS + stdio 托管 MCP。 经由配套手机 / 云端 MCP 端侧 Gemini 或云端 MCP 均可 🟡云端 MCP 可用;端侧路径为路线图
从眼镜捕获流程(扫描空间,交给 LLM)原始帧 + IMU → 云端重建 → 数分钟内得到可探索的 splat。 🟡目前经由配套手机捕获4 平台发布时从眼镜直接捕获 等待相机访问表面
实时场景查询(问“厨房里有什么?”,得到结构化答案)重建场景之上的空间查询层;今日交付。 捕获后;实时场景查询为路线图 与目前 Meta 同一路径 经由 WebXR + 云端 MCP
多 LLM 驱动(Claude、ChatGPT、Gemini、Copilot)厂商中立 — LLM 的选择属于用户,而非平台。 目前四者均驱动 RakuAI MCP 四者均可;Gemini 获得一流端侧支持 发布时仅云端
  1. 根据 Meta 公开的 Ray-Ban Display 发布资料:该设备支持从眼镜的 Web 表面安装 Web 应用。我们未与 Meta 签订合作,也不作此声称 — 我们与其公开的 Web 应用入口兼容。
  2. Android XR 遵循标准的 Chrome PWA 安装路径。我们未与 Samsung 或 Google 签订合作。
  3. visionOS 目前不暴露等同于眼镜的可安装 PWA 路径。我们的 visionOS 计划是 WebXR + 后续单独的原生外壳。
  4. “今日从眼镜捕获”的含义:用户佩戴 Ray-Ban Display,配套手机运行我们的 PWA,手机是相机数据来源的基准。当 OEM 暴露帧 API 时,将实现从眼镜直接捕获帧。

三个阶段。一种授权模式。

市场进入按平台就绪度分阶段 — 而非按 RakuAI 的时间表。我们在你的设备已暴露的公开表面上与之相遇,待你准备好后再深化集成。

第 1 阶段 — 滩头阵地

Meta Ray-Ban Display PWA · 目标 2026 年第三季度

  • 入口:从眼镜的嵌入式浏览器安装的 PWA — 无应用商店门槛,无需在你的设备上安装 SDK
  • MCP 表面:17 个原生工具 + 6 个通用透传工具,对 Claude·ChatGPT·Gemini·Copilot 实时可用
  • 捕获:目前以配套手机作为相机;OEM 帧 API 落地后从眼镜直接捕获 (受硬件限制)
  • 架构:手机即算力(手机运行 AI/物理,眼镜负责显示 + 追踪)
  • 诚实标签:PWA 路径已达参考就绪;未与 Meta 达成联合营销或预装协议

第 2 阶段 — 平台

Android XR + 原生 SDK · 2027 年

  • 入口:同一 PWA 路径可推广至 Android XR 的标准化 Chrome 表面
  • 原生 SDK:raku-runtime 以带 OpenXR 兼容会话层的原生 DLL 形式 — 接入 OEM 的合成器、手部追踪管线或显示驱动
  • SDK 文档目标:合作伙伴级文档 2026 年第四季度;8–12 个开发周的集成路径
  • 合作伙伴:Samsung Galaxy XR + Android XR 被授权方;Xreal、Rokid、Vision Pro 浏览器同享分阶段方案
  • 诚实标签:Android XR 发布窗口取决于平台日程;无已签约 OEM

第 3 阶段 — 扩散

Xreal / Rokid / Galaxy XR / Vision Pro · 2027 年+

  • 通过浏览器路径支持长尾设备
  • 面向低规格眼镜的离线 / 间歇链路韧性
  • 可重复的自助资格 → PWA 试点 → SDK 管线
  • 为一家 Tier 3 战略合作伙伴打造联合营销发布应用
  • NVIDIA Inception 向 XR OEM 生态 BD 的友好引荐

NVIDIA Inception 网络:RakuAI 已加入 NVIDIA Inception(2026 年 5 月)。该网络提供向 XR 硬件生态的友好引荐 — 许多眼镜 OEM 及其芯片/光学供应商都是 Inception 成员或 NVIDIA 合作伙伴。

OEM 集成,逐步进行。

滑动浏览从初次对话到共同发布体验的路径。无 SDK 锁定 — 我们在你的设备已暴露的公开 Web 表面上与之相遇。

从眼镜到 MCP,一图说明。

眼镜上的 LLM 通过 PWA 与 RakuAI 的 MCP 表面对话 — 经由到配套设备的 stdio 桥,或经由 HTTPS 到托管 MCP。运行时以空间原语作答:锚点、姿态、场景查询、splat 句柄。

从眼镜到 MCP 的架构图 眼镜上的 LLM 通过可安装 PWA 向 RakuAI 运行时发送 MCP 请求;运行时在生产服务器上暴露 17 个原生 MCP 工具(5 个只读 + 12 个变更),其中约 12 个与眼镜相关(6 个核心捕获/场景工具加 6 个 xr_ 适配器工具),对捕获的场景进行空间推理,并返回结构化答案,助手在眼镜中语音播报。 智能眼镜 眼镜上的 LLM / 端侧助手 "我把钥匙 放哪了?" … 语音回复 … "在厨房中岛, 果盘左侧。" 可安装 PWA rakuai.com/capture-app/ 相机 + IMU + 音频 WebXR / WebGPU stdio MCP 桥 JWT → 托管 MCP stdio | https 请求 / 响应 流式事件 连接令牌流 RakuAI MCP 6 个核心 + 6 个 xr_ 适配器工具(共 17 个原生 MCP 工具) · capture_create · capture_status · scene_query · scene_describe · capture_list · capture_open · xr_get_session · xr_set_head_pose · xr_simulate_input · xr_create_anchor · xr_list_anchors · xr_remove_anchor raku-runtime C++ 引擎 空间推理 splat / 网格存储 锚点 + 姿态 权限 & 作用域 ~9,500 API 端点 18 个原生 DLL 结构化答案 { object_id, pose,   confidence } MCP 请求流程 — 无论 LLM 位于端侧、云端,还是驱动眼镜的桌面,运作方式都相同。

两端都是真实且已上线的。生产 MCP 服务器暴露 17 个原生工具(5 个只读 + 12 个变更)— 完整清单见 spatial-engine.html。其中与眼镜相关的约 12 个划分为:6 个核心捕获/场景工具(在 MCP 页面有文档),以及 6 个 xr_ 适配器工具(面向眼镜驱动流程的会话、头部姿态、输入和锚点原语)。托管 MCP 运行在 East US 的 Azure Container Apps 上。

路线图,诚实地说。

三栏,三条时间线。我们不承诺无法交付的内容,并标记出依赖于我们无法控制的平台行为的部分。

现已上线

生产 · 2026 年 5 月

  • rakuai.com/capture-app/ 上的可安装 PWA
  • 捕获 → 云端重建(GLOMAP + Brush,.spz 输出)
  • 17 个原生 MCP 工具(5 个只读 + 12 个变更),对 Claude·ChatGPT·Gemini·Copilot 实时可用 — 完整清单见 spatial-engine.html
  • 6 个 xr_ 适配器工具(会话、头部姿态、输入、锚点)
  • 重建场景之上的空间查询层
  • 多租户账户、JWT 认证、Azure 上的托管 MCP

2026 年第三季度发布窗口

对齐 Android XR 发布

  • 从眼镜捕获(帧来源 = Ray-Ban Display / Android XR 相机)
  • WebGPU 客户端侧 splat 训练(无云端往返路径)
  • 捕获期间的实时场景查询(不仅是捕获后)
  • NDA 下的 OEM SDK 预览
  • 在 NVIDIA A10 / G5 / H100 上的 GPU 重建(额度即将到位)

2027 年

取决于平台表面

  • visionOS 原生外壳(在此之前为 WebXR 回退)
  • 面向眼镜级算力范围的端侧 SLM
  • 面向有意愿 OEM 的专利授权计划
  • 为一家或多家 OEM 合作伙伴打造的联合营销发布应用
  • 面向机器人 + 智能体眼镜工作流的实时 sim-to-real

我们不会承诺:任何特定 OEM 会预装我们的 PWA、任何特定 LLM 厂商会默认经由我们路由,或我们无法控制的相机 API 会按我们期望的时间表出现。我们针对公开表面进行设计,并让平台来决定。

运行时背后的知识产权资产。

五项已授权美国专利,优先权日 2012 年 7 月,资产有效期至 2032 年 7 月。本页描述的架构正是这些专利所预见的架构。

权利要求涵盖的内容

  • 双模无线通信(低延迟 + 高带宽)
  • 智能眼镜 + 手机/算力主机架构
  • 从算力主机到眼镜的渲染卸载
  • 多人世界状态同步
  • 世界流式传输(场景增量传递,而非视频)

这些专利早于 Meta Ray-Bans(2021)、Xreal Air(2022)、Meta Ray-Ban Display(2024–25)和 Android XR(2026)。对于希望在架构级权利要求上获得清晰前进路径的 OEM,我们在合作之外还提供授权。

专利资产时间线:优先权日 2012 年 7 月,2015 至 2018 年授权,业界自 2021 年起发布 AR 眼镜,资产有效期至 2032 年 7 月。 2012 优先权日 2015–18 5 项专利授权 2021–26 业界发布 AR 眼镜 2032 资产有效至

工程实证要点。

来自一个从第一天起就针对眼镜约束集进行工程设计的运行时的实测数据。这些不是平台声称 — 而是 RakuAI 自身所设定与观测的数字。

18 ms
动作到光子延迟
0.5–0.8 mm
40 cm 处位置精度
0.3 mm
姿态抖动(卡尔曼滤波)
90 Hz
眼镜渲染帧率
60 Hz
手机物理帧率
~20 Hz / 400–1400 B
场景增量同步(非视频)
3 种散热模式
性能 / 平衡 / 低功耗
71 关节骨架
全身追踪
2–4×
注视点渲染性能提升

手机即算力架构。

2012 年专利所预见的分工 — 如今是唯一能在眼镜散热范围内交付的架构。

手机即算力架构:手机运行物理、AI、游戏状态和资产流式传输,通过 Wi-Fi 7 场景增量(带光学回退)与眼镜相连,而眼镜负责渲染、姿态预测和视觉里程计。 手机 — 算力 物理 — 60 Hz 固定 AI 行为 & 游戏状态 资产流式传输 世界模型编排 眼镜 — 显示 渲染 — 90 Hz 姿态预测 注视点渲染 IMU + 视觉里程计 场景增量 ~20 Hz Wi-Fi 7 · 光学回退 传感器上行 无视频流式传输

手机运行世界

物理(60 Hz 固定)、AI 行为、游戏状态、资产流式传输。

眼镜显示世界

本地姿态预测、注视点渲染、IMU + 视觉里程计。

链路处理其余部分

通过 Wi-Fi 7 传输场景增量(可用时带光学回退)、传感器上行,无需视频流式传输。

当前设备支持。

尽可能符合 OpenXR。必要时使用厂商扩展。可用时走 PWA 路径。

Meta Quest 3
Meta Ray-Ban Display
Xreal Air / Air 2 / One
Samsung Android XR
MiRZA AR2
Rokid
Apple Vision Pro (WebXR)
未来符合 OpenXR 的设备

三条具体的 OEM 合作路径。

选择与你团队风险偏好匹配的通道。三者都从我们的联系表单开始。我们的首次回复会保持简短且技术性。

1. 能力咨询 (Tier 1 — Web 应用试点)

你正在筛选运行时合作伙伴,希望就 RakuAI 如何对应到你的特定设备、操作系统和 2026 年发布里程碑获得书面答复。把你的平台约束发给我们 — 我们会答复:今天什么是真实的、什么处于受硬件限制的路径上,以及面向你设备的 1–2 个开发周的 Tier 1 Web 应用试点会是什么样。

联系我们 →

2. 集成规范文档 (Tier 2 — 原生 SDK 路径)

工程级简报,涵盖:PWA 入口表面、MCP 传输(stdio + HTTPS)、捕获流程 API、权限模型,以及我们为 Tier 2 原生 SDK 集成建议的 OEM 侧钩子。公开文档尚在草稿中 — 请索取,我们会连同第 2 阶段 SDK 集成路径(目标 2026 年第四季度,8–12 个开发周)一并直接发送当前版本。

索取规范 →

公开文档尚在草稿中 — 后续会提供一个 /docs/oem-integration-spec.html URL。

3. 抢先体验 SDK 预览 (Tier 3 — 战略合作伙伴)

通过双向 NDA 访问 xr_ 适配器工具、眼镜捕获预览、WebGPU splat 管线,以及第 2 阶段原生 SDK 路线图文档。Tier 3 保留给一家承诺投入旗舰设备的标杆发布合作伙伴。名额有限 — NVIDIA Inception 关系将获优先考虑。

开始 NDA →

我们以标准条款签署双向 NDA;周转时间是数天而非数周。

在动笔之前先深入了解。

OEM 合作伙伴在首次通话前最常阅读的页面 — 外加上方的阶段路线图。

NVIDIA Inception 成员

RakuAI 是 NVIDIA Inception 成员。我们在 Raku Capture 中交付的同一套 NVIDIA 加速 3D 高斯泼溅栈,正是驱动上述眼镜扫描流程的技术。了解更多 →

NVIDIA Inception 是面向 AI 初创企业的免费计划;RakuAI 的成员资格并不意味着 NVIDIA 认可 RakuAI 的产品。详情请见 nvidia.com/startups