5 項專利 | 9,500+ API 端點 | 18 個原生 DLL | AI 原生空間遊戲引擎 — 搶先體驗進行中 探索引擎 →
面向智慧眼鏡 OEM 技術負責人

智慧眼鏡 OEM 選擇授權—而非自建的空間執行階段。

RakuAI 是 OEM 選擇授權而非自建的 LLM 廠商中立空間執行階段。第 1 階段灘頭陣地:Meta Ray-Ban Display PWA — 從眼鏡瀏覽器即可安裝的 Web 應用、Claude·ChatGPT·Gemini·Copilot 都能驅動的 MCP 表面,以及為頭戴式顯示調校的散熱/延遲預算。第 2 階段路線圖:Android XR + 原生 SDK(2026 年第三季–2027 年)。我們不與你的硬體競爭 — 我們讓其上的 AI 體驗更快上線。

為 2026–2027 年發布眼鏡的 Meta、Samsung、Google、Xreal、Rokid 等公司的工程與合作負責人撰寫。對已上線、僅供參考、以及受硬體限制的內容如實說明。未宣稱任何已簽約 OEM 合作夥伴。

智慧眼鏡上由 MCP 驅動的空間疊加 一個戴著智慧眼鏡的頭部,帶有空間抬頭顯示疊加。眼鏡呈現一個由 MCP 驅動的能力 HUD,將答案固定到佩戴者的真實空間:一個標註「鑰匙」的錨點標記、一個場景查詢結果,以及一個 MCP 工具呼叫徽章,展示 LLM 從眼鏡驅動 RakuAI 執行階段。 能力 HUD MCP 驅動 · 世界鎖定 scene_query("我的鑰匙在哪") 錨點:廚房中島 果盤左側 · 0.6 mm 在眼鏡中語音播報

各平台今日交付的內容。

RakuAI 能力對應到 2026 窗口期內最重要的三個平台。✅ 已交付。🟡 部分 / 已標記。⏳ 在平台路線圖上。❌ 目前無路徑。受硬體限制 = 取決於 OEM 是否暴露我們無法控制的相機/影格 API。未宣稱任何已簽約 OEM 合作。註腳見下。

能力 Meta Ray-Ban Display
已交付
Android XR(Samsung 及合作夥伴)
2026 年第三季發布窗口
Apple Vision Pro
待定
從裝置進入 PWA 可安裝 Web 應用RakuAI 以可安裝 PWA 形式發佈 — 無應用商店門檻。 Meta AI 眼鏡上的可啟動 Web 應用路徑1 Android XR 上的 Chrome 支援 PWA2 visionOS 路由到原生;我們提供 WebXR 回退3
MCP 伺服器存取(Claude / ChatGPT / Gemini 驅動執行階段)面向桌面 AI 助理的 HTTPS + stdio 託管 MCP。 經由配套手機 / 雲端 MCP 端側 Gemini 或雲端 MCP 皆可 🟡雲端 MCP 可用;端側路徑為路線圖
從眼鏡擷取流程(掃描空間,交給 LLM)原始影格 + IMU → 雲端重建 → 數分鐘內得到可探索的 splat。 🟡目前經由配套手機擷取4 平台發布時從眼鏡直接擷取 等待相機存取表面
即時場景查詢(問“廚房裡有什麼?”,得到結構化答案)重建場景之上的空間查詢層;今日交付。 擷取後;即時場景查詢為路線圖 與目前 Meta 同一路徑 經由 WebXR + 雲端 MCP
多 LLM 驅動(Claude、ChatGPT、Gemini、Copilot)廠商中立 — LLM 的選擇屬於使用者,而非平台。 目前四者皆驅動 RakuAI MCP 四者皆可;Gemini 獲得一流端側支援 發布時僅雲端
  1. 根據 Meta 公開的 Ray-Ban Display 發布資料:該裝置支援從眼鏡的 Web 表面安裝 Web 應用。我們未與 Meta 簽訂合作,也不作此宣稱 — 我們與其公開的 Web 應用入口相容。
  2. Android XR 遵循標準的 Chrome PWA 安裝路徑。我們未與 Samsung 或 Google 簽訂合作。
  3. visionOS 目前不暴露等同於眼鏡的可安裝 PWA 路徑。我們的 visionOS 計畫是 WebXR + 後續另外的原生外殼。
  4. “今日從眼鏡擷取”的含義:使用者佩戴 Ray-Ban Display,配套手機執行我們的 PWA,手機是相機資料來源的基準。當 OEM 暴露影格 API 時,將實現從眼鏡直接擷取影格。

三個階段。一種授權模式。

市場進入按平台就緒度分階段 — 而非按 RakuAI 的時間表。我們在你的裝置已暴露的公開表面上與之相遇,待你準備好後再深化整合。

第 1 階段 — 灘頭陣地

Meta Ray-Ban Display PWA · 目標 2026 年第三季

  • 入口:從眼鏡的嵌入式瀏覽器安裝的 PWA — 無應用商店門檻,無需在你的裝置上安裝 SDK
  • MCP 表面:17 個原生工具 + 6 個通用透傳工具,對 Claude·ChatGPT·Gemini·Copilot 即時可用
  • 擷取:目前以配套手機作為相機;OEM 影格 API 落地後從眼鏡直接擷取 (受硬體限制)
  • 架構:手機即算力(手機執行 AI/物理,眼鏡負責顯示 + 追蹤)
  • 誠實標籤:PWA 路徑已達參考就緒;未與 Meta 達成聯合行銷或預裝協議

第 2 階段 — 平台

Android XR + 原生 SDK · 2027 年

  • 入口:同一 PWA 路徑可推廣至 Android XR 的標準化 Chrome 表面
  • 原生 SDK:raku-runtime 以帶 OpenXR 相容工作階段層的原生 DLL 形式 — 接入 OEM 的合成器、手部追蹤管線或顯示驅動
  • SDK 文件目標:合作夥伴級文件 2026 年第四季;8–12 個開發週的整合路徑
  • 合作夥伴:Samsung Galaxy XR + Android XR 被授權方;Xreal、Rokid、Vision Pro 瀏覽器同享分階段方案
  • 誠實標籤:Android XR 發布窗口取決於平台日程;無已簽約 OEM

第 3 階段 — 擴散

Xreal / Rokid / Galaxy XR / Vision Pro · 2027 年+

  • 透過瀏覽器路徑支援長尾裝置
  • 面向低規格眼鏡的離線 / 間歇連結韌性
  • 可重複的自助資格 → PWA 試點 → SDK 管線
  • 為一家 Tier 3 策略合作夥伴打造聯合行銷發布應用
  • NVIDIA Inception 向 XR OEM 生態 BD 的友好引薦

NVIDIA Inception 網路:RakuAI 已加入 NVIDIA Inception(2026 年 5 月)。該網路提供向 XR 硬體生態的友好引薦 — 許多眼鏡 OEM 及其晶片/光學供應商都是 Inception 成員或 NVIDIA 合作夥伴。

OEM 整合,逐步進行。

滑動瀏覽從初次對話到共同發布體驗的路徑。無 SDK 鎖定 — 我們在你的裝置已暴露的公開 Web 表面上與之相遇。

從眼鏡到 MCP,一圖說明。

眼鏡上的 LLM 透過 PWA 與 RakuAI 的 MCP 表面對話 — 經由到配套裝置的 stdio 橋,或經由 HTTPS 到託管 MCP。執行階段以空間原語作答:錨點、姿態、場景查詢、splat 控制代碼。

從眼鏡到 MCP 的架構圖 眼鏡上的 LLM 透過可安裝 PWA 向 RakuAI 執行階段發送 MCP 請求;執行階段在生產伺服器上暴露 17 個原生 MCP 工具(5 個唯讀 + 12 個變更),其中約 12 個與眼鏡相關(6 個核心擷取/場景工具加 6 個 xr_ 轉接器工具),對擷取的場景進行空間推理,並返回結構化答案,助理在眼鏡中語音播報。 智慧眼鏡 眼鏡上的 LLM / 端側助理 "我把鑰匙 放哪了?" … 語音回覆 … "在廚房中島, 果盤左側。" 可安裝 PWA rakuai.com/capture-app/ 相機 + IMU + 音訊 WebXR / WebGPU stdio MCP 橋 JWT → 託管 MCP stdio | https 請求 / 回應 串流事件 連接權杖流 RakuAI MCP 6 個核心 + 6 個 xr_ 轉接器工具(共 17 個原生 MCP 工具) · capture_create · capture_status · scene_query · scene_describe · capture_list · capture_open · xr_get_session · xr_set_head_pose · xr_simulate_input · xr_create_anchor · xr_list_anchors · xr_remove_anchor raku-runtime C++ 引擎 空間推理 splat / 網格儲存 錨點 + 姿態 權限 & 範圍 ~9,500 API 端點 18 個原生 DLL 結構化答案 { object_id, pose,   confidence } MCP 請求流程 — 無論 LLM 位於端側、雲端,還是驅動眼鏡的桌面,運作方式都相同。

兩端都是真實且已上線的。生產 MCP 伺服器暴露 17 個原生工具(5 個唯讀 + 12 個變更)— 完整清單見 spatial-engine.html。其中與眼鏡相關的約 12 個劃分為:6 個核心擷取/場景工具(在 MCP 頁面有文件),以及 6 個 xr_ 轉接器工具(面向眼鏡驅動流程的工作階段、頭部姿態、輸入和錨點原語)。託管 MCP 執行在 East US 的 Azure Container Apps 上。

路線圖,誠實地說。

三欄,三條時間線。我們不承諾無法交付的內容,並標記出依賴於我們無法控制的平台行為的部分。

現已上線

生產 · 2026 年 5 月

  • rakuai.com/capture-app/ 上的可安裝 PWA
  • 擷取 → 雲端重建(GLOMAP + Brush,.spz 輸出)
  • 17 個原生 MCP 工具(5 個唯讀 + 12 個變更),對 Claude·ChatGPT·Gemini·Copilot 即時可用 — 完整清單見 spatial-engine.html
  • 6 個 xr_ 轉接器工具(工作階段、頭部姿態、輸入、錨點)
  • 重建場景之上的空間查詢層
  • 多租戶帳戶、JWT 認證、Azure 上的託管 MCP

2026 年第三季發布窗口

對齊 Android XR 發布

  • 從眼鏡擷取(影格來源 = Ray-Ban Display / Android XR 相機)
  • WebGPU 用戶端側 splat 訓練(無雲端往返路徑)
  • 擷取期間的即時場景查詢(不僅是擷取後)
  • NDA 下的 OEM SDK 預覽
  • 在 NVIDIA A10 / G5 / H100 上的 GPU 重建(額度即將到位)

2027 年

取決於平台表面

  • visionOS 原生外殼(在此之前為 WebXR 回退)
  • 面向眼鏡級算力範圍的端側 SLM
  • 面向有意願 OEM 的專利授權計畫
  • 為一家或多家 OEM 合作夥伴打造的聯合行銷發布應用
  • 面向機器人 + 代理型眼鏡工作流程的即時 sim-to-real

我們不會承諾:任何特定 OEM 會預裝我們的 PWA、任何特定 LLM 廠商會預設經由我們路由,或我們無法控制的相機 API 會按我們期望的時間表出現。我們針對公開表面進行設計,並讓平台來決定。

執行階段背後的智慧財產資產。

五項已授權美國專利,優先權日 2012 年 7 月,資產有效期至 2032 年 7 月。本頁描述的架構正是這些專利所預見的架構。

請求項涵蓋的內容

  • 雙模無線通訊(低延遲 + 高頻寬)
  • 智慧眼鏡 + 手機/算力主機架構
  • 從算力主機到眼鏡的算繪卸載
  • 多人世界狀態同步
  • 世界串流(場景增量傳遞,而非影片)

這些專利早於 Meta Ray-Bans(2021)、Xreal Air(2022)、Meta Ray-Ban Display(2024–25)和 Android XR(2026)。對於希望在架構級請求項上獲得清晰前進路徑的 OEM,我們在合作之外還提供授權。

專利資產時間線:優先權日 2012 年 7 月,2015 至 2018 年授權,業界自 2021 年起發布 AR 眼鏡,資產有效期至 2032 年 7 月。 2012 優先權日 2015–18 5 項專利授權 2021–26 業界發布 AR 眼鏡 2032 資產有效至

工程實證要點。

來自一個從第一天起就針對眼鏡約束集進行工程設計的執行階段的實測資料。這些不是平台宣稱 — 而是 RakuAI 自身所設定與觀測的數字。

18 ms
動作到光子延遲
0.5–0.8 mm
40 cm 處位置精度
0.3 mm
姿態抖動(卡爾曼濾波)
90 Hz
眼鏡算繪幀率
60 Hz
手機物理幀率
~20 Hz / 400–1400 B
場景增量同步(非影片)
3 種散熱模式
效能 / 平衡 / 低功耗
71 關節骨架
全身追蹤
2–4×
注視點算繪效能提升

手機即算力架構。

2012 年專利所預見的分工 — 如今是唯一能在眼鏡散熱範圍內交付的架構。

手機即算力架構:手機執行物理、AI、遊戲狀態和資產串流,透過 Wi-Fi 7 場景增量(帶光學回退)與眼鏡相連,而眼鏡負責算繪、姿態預測和視覺里程計。 手機 — 算力 物理 — 60 Hz 固定 AI 行為 & 遊戲狀態 資產串流 世界模型編排 眼鏡 — 顯示 算繪 — 90 Hz 姿態預測 注視點算繪 IMU + 視覺里程計 場景增量 ~20 Hz Wi-Fi 7 · 光學回退 感測器上行 無影片串流

手機執行世界

物理(60 Hz 固定)、AI 行為、遊戲狀態、資產串流。

眼鏡顯示世界

本地姿態預測、注視點算繪、IMU + 視覺里程計。

連結處理其餘部分

透過 Wi-Fi 7 傳輸場景增量(可用時帶光學回退)、感測器上行,無需影片串流。

目前裝置支援。

盡可能符合 OpenXR。必要時使用廠商擴充。可用時走 PWA 路徑。

Meta Quest 3
Meta Ray-Ban Display
Xreal Air / Air 2 / One
Samsung Android XR
MiRZA AR2
Rokid
Apple Vision Pro (WebXR)
未來符合 OpenXR 的裝置

三條具體的 OEM 合作路徑。

選擇與你團隊風險偏好相符的通道。三者都從我們的聯絡表單開始。我們的首次回覆會保持簡短且具技術性。

1. 能力諮詢 (Tier 1 — Web 應用試點)

你正在篩選執行階段合作夥伴,希望就 RakuAI 如何對應到你的特定裝置、作業系統和 2026 年發布里程碑獲得書面答覆。把你的平台約束發給我們 — 我們會答覆:今天什麼是真實的、什麼處於受硬體限制的路徑上,以及面向你裝置的 1–2 個開發週的 Tier 1 Web 應用試點會是什麼樣。

聯絡我們 →

2. 整合規格文件 (Tier 2 — 原生 SDK 路徑)

工程級簡報,涵蓋:PWA 入口表面、MCP 傳輸(stdio + HTTPS)、擷取流程 API、權限模型,以及我們為 Tier 2 原生 SDK 整合建議的 OEM 側掛鉤。公開文件尚在草稿中 — 請索取,我們會連同第 2 階段 SDK 整合路徑(目標 2026 年第四季,8–12 個開發週)一併直接發送目前版本。

索取規格 →

公開文件尚在草稿中 — 後續會提供一個 /docs/oem-integration-spec.html URL。

3. 搶先體驗 SDK 預覽 (Tier 3 — 策略合作夥伴)

透過雙向 NDA 存取 xr_ 轉接器工具、眼鏡擷取預覽、WebGPU splat 管線,以及第 2 階段原生 SDK 路線圖文件。Tier 3 保留給一家承諾投入旗艦裝置的標竿發布合作夥伴。名額有限 — NVIDIA Inception 關係將獲優先考量。

開始 NDA →

我們以標準條款簽署雙向 NDA;周轉時間是數天而非數週。

在動筆之前先深入了解。

OEM 合作夥伴在首次通話前最常閱讀的頁面 — 外加上方的階段路線圖。

NVIDIA Inception 成員

RakuAI 是 NVIDIA Inception 成員。我們在 Raku Capture 中交付的同一套 NVIDIA 加速 3D 高斯潑濺堆疊,正是驅動上述眼鏡掃描流程的技術。了解更多 →

NVIDIA Inception 是面向 AI 新創企業的免費計畫;RakuAI 的成員資格並不意味著 NVIDIA 認可 RakuAI 的產品。詳情請見 nvidia.com/startups