系列: 與 AI 一起學寫程式

讓你的 AI 在真實世界火力全開

任何助理都能棲身其中的單一空間執行環境。

你的 AI 棲身的軀體 AI 原生空間執行環境,為眼鏡的散熱範圍量身打造 MCP 自 2012 年起的 5 項專利 18ms 動作到光子延遲 次毫米級錨定 多供應商 MCP
不是模型拿起來用的工具,而是模型棲身其中的軀體。

Unity 是你的 AI 拿起來用的工具。RakuAI 則是你的 AI 棲身其中的軀體——為智慧眼鏡打造的空間執行環境,背後有十多年前就預見這一刻的專利支撐。

這個星期六早上,我咖啡還沒喝完,三股力量就同時匯聚到我面前。

Unity 剛推出了 Native MCP。智慧眼鏡硬體真的戴到了人們臉上,而不再只是簡報裡的一頁。而我一直在接觸的各家 LLM 實驗室都想要同一樣東西:一個透過契約對外開放空間能力的執行環境,讓他們的模型能在正式環境中、每一影格都能驅動它,而不需要為每個供應商各做一套客製整合。

我從 2025 年開始打造的這個引擎,建立在我十多年前參與申請的專利之上,如今終於有了一個能說清楚它是什麼的名字。它是你的 AI 在真實世界中棲身的執行環境。不是模型拿起來用的工具,而是模型棲身其中的軀體。

這篇文章就是我誠實地把這件事寫下來,並附上憑據。

第 1 節:專利資產

五項已獲證的美國專利,優先權申請日為 2012 年 7 月。它們是公開的、可查詢的,而且是我的。

  • US9210358B2,娛樂主機(Entertainment Console)。2015 年 12 月獲證。
  • US9654613B2,競技場遊戲(Arena Gaming)。2017 年 5 月獲證。
  • US9781244B2,智慧眼鏡(Smart Eyeglasses)。2017 年 10 月獲證。
  • US10027361B2,服務點(Point-of-Service)。2018 年 7 月獲證。
  • US10432772B2,眼鏡(Eyeglasses),21 項請求項。

把它們放在一起讀,你會發現它們描述的是一個完整的系統。雙模無線。智慧眼鏡加運算主機的架構,把繁重的運算移到頭部之外。從主機到顯示裝置的渲染卸載。同一實體空間中多位配戴者之間的多人世界狀態同步。以場景差異(scene delta)而非編碼視訊來串流世界。

優先權日期很重要。2012 年 7 月。那是在 Meta Ray-Bans 之前、在 Xreal Air 之前、在 Android XR 之前,也在如今這批 LLM 實驗室以現在的形態存在之前好幾年。這些申請文件中的架構,正是整個產業如今正在匯聚的架構。我們不是在追趕這個領域,而是在追上我們自己。

我不會拿專利來當開場,因為專利贏不了辯論。我拿它們開場,是因為它們能回答認真的合作夥伴在第二次會議上最常問的問題:「你到底思考這件事多久了?」誠實的答案是兩個數字:專利可追溯至 2012 年,而引擎從 2025 年起持續打造至今。老的智慧財產,新的執行力。

第 2 節:為什麼眼鏡需要一個不同的執行環境

智慧眼鏡的限制條件,跟遊戲主機、手機或 PC 的限制條件不一樣。如果你把它當成上述任何一種裝置的縮小版來對待,你做出來的產品會在二十分鐘內過熱。

以下是我們設計時對準的幾個數字。

  • 18ms 的動作到光子(motion-to-photon)延遲目標。 要的是可預測的延遲,不是峰值影格率。抖動的 90 FPS 感覺比穩定的 60 FPS 更糟。
  • 三種散熱模式。 效能、平衡、低功耗。執行環境知道自己處於哪個模式,並逐影格調整管線成本。模型在請求資源時也知道。
  • 手機當運算、眼鏡當顯示。 主機是苦力,顯示裝置則是透過雙模連線的精簡客戶端。這正是專利所描述的拓撲。
  • Wi-Fi 7 加光學的雙模連線。 頻寬留給世界差異資料,延遲預算留給預測姿態。
  • 在 40 公分處達到 0.5 至 0.8 毫米的空間精度,經 Kalman 濾波。 次毫米級錨定,正是讓虛擬表面感覺像真實表面的關鍵。如果你曾在虛擬面板上寫過書法,你就知道 1mm 抖動和 0.5mm 抖動的差別。那是寫字與亂塗之間的差別。
  • 71 關節全身追蹤。含駐留(dwell)的眼動追蹤。帶來 2 到 4 倍增益的注視點渲染。 在這種散熱範圍內,注視點渲染(foveation)不是可有可無的選項。它是渲染預算裝得下與裝不下之間的差別。

現在對照一下其他選擇。Unity 是一款圍繞 60 FPS 的 PC 與主機目標設計的通用引擎。Unreal 是 VR 優先,但它假設的 VR 是塔式主機裡的 RTX 4090,享有 200 瓦的散熱預算。兩者都是很棒的引擎。但它們都不是為戴在人臉上的 5 瓦散熱範圍而設計的。

這不是貶低,而是類別上的差異。

第 3 節:為什麼 AI 需要一個為它打造的執行環境

我在一月寫過一篇文章,叫做《AI 是神經系統,而不是 AI 是工廠》。文章的論點是:2026 年大多數自稱 AI 原生的引擎,意思其實是在既有管線上外掛了一個聊天面板。模型產出一個成品,成品落到磁碟上,執行環境載入成品,之後模型再也不跟執行環境說話。

那是工廠模式。它是真實的、有用的、正在出貨的。但它也不是空間運算需要的東西。

神經系統模式讓模型參與每一個影格的迴圈。觀察進來,意圖出去,世界回應,週而復始。模型不是內容供應商,而是模擬的參與者。

執行環境開放的六個 MCP 工具,就是這一切發生的介面。

  • load_world_model(adapter_name, config)
  • ingest_frame(adapter_name, frame_data, frame_index, timestamp)
  • get_scene_state(include_physics, include_transforms)
  • set_render_target(target_type, config)
  • start_simulation(tick_rate, max_duration, realtime)
  • get_metrics()

六個工具、stdio 傳輸、預設拒絕的權限、完整的稽核紀錄。任何會說 Model Context Protocol 的模型都能透過這份契約驅動執行環境。Claude、ChatGPT、Gemini、Copilot,以及接下來出現的任何模型。

天生支援多供應商,因為執行環境對線路另一端是哪個模型沒有任何立場。契約就是邊界。執行環境掌握物理、碰撞、計分、多人遊戲狀態的權威;模型貢獻意圖。除了這六個工具之外,雙方都不需要知道彼此的存在。

當你把神經系統模式變成可出貨的程式碼,它看起來就是這個樣子。

第 4 節:RakuAI 與 Unity 的比較,說得公道

Unity Native MCP 最近推出,反應相當正面。我想把它是什麼、不是什麼說清楚,因為我認為兩者可以同時成立。

Unity MCP 是設計階段的場景操作。代理協助開發者擺放物件、設定元件、建構關卡。它是「人加編輯器」迴圈的生產力層。對真實的受眾來說,這是真實的收穫。

RakuAI MCP 是執行階段的世界模型協調。代理在每一影格都參與迴圈,為世界的下一個狀態做出貢獻,而執行環境負責強制執行物理、碰撞和渲染。這是 2026 年 3 月的正式環境,不是設計階段,也不是編輯器輔助。

不同的類別。兩者都成立。我最近開始掛在嘴邊的精簡版說法:

Unity 是你的 AI 拿起來用的工具。RakuAI 是你的 AI 棲身其中的軀體。

如果你想要一個變得更聰明的編輯器,Unity MCP 令人興奮,你應該試試。如果你想要一個讓你的 AI 能在一副眼鏡上安身立命的執行環境,那是另一個問題。讓這件事成為可能的專利在十多年前就已申請,而我們從 2025 年起一直在打造這個引擎。

第 5 節:為什麼我們現在談這件事

在市場定位上,時機很重要,而我想誠實地說明我們的時機。

智慧眼鏡硬體夥伴會在 2026 年和 2027 年選定他們的執行環境。這些決定一旦做出就會延續十年。如果你現在不在那些對話裡,你就永遠不會在裡面。

各家 LLM 實驗室正在決定要整合哪些空間平台。早期的整合會定下預設值,而預設值是有黏性的。

Unity 推出 MCP 驗證了這個類別。我們多年來一直在說「模型應該透過型別化契約驅動執行環境」。如今有一個市值 300 億美元的競爭者在說同樣的話,我們的聲音更容易被聽見了。

專利資產給了我們智慧財產上的跑道。專利已獲證,優先權日期扎實,而它們涵蓋的架構正是產業正在匯聚的架構。

而從 2025 年起一整年埋頭打造,也產出了一個真正就緒的執行環境。MCP 伺服器是真的。轉接器正在陸續落地。散熱範圍受到尊重。延遲目標達成了。次毫米級錨定能用了。十八個 DLL 在 Linux 上全數通過。100% 的測試通過率已經維持了三個月。

現在正是插旗的時刻。

第 6 節:接下來要做什麼

具體的工作,誠實地列出名目,這樣才會被完成。

  • 端到端的真實轉接器。 Runway、Veo、夥伴提供的模型。stub 已經驗證了分派路徑。下一步是讓一個真實模型接在一個真實轉接器後面,公開展示,端到端跑通。
  • 正式環境部署工具組。 服務範本、環境變數設定、健康檢查端點、優雅關機、容器打包。不光鮮,但必要。
  • 多供應商備援。 當主要轉接器變慢或不可用時,伺服器改路由到次要轉接器。形狀很直觀,測試才是真正的工作。
  • 轉接器懸賞計畫。 一旦第一個轉接器出貨,就公開契約並邀請生態系撰寫更多。我們的工作將不再是「整合每一個模型」,而是「審查這些實作」。
  • 兩邊同時推進合作對話。 一邊是硬體夥伴,另一邊是模型實驗室。執行環境就是站在他們中間的東西。這正是專利在十多年前布下的位置,而引擎從 2025 年起一直在努力配得上它。

結語

你的 AI 在真實世界中棲身的執行環境。專利在十多年前就預見的類別,引擎自 2025 年起持續朝它打造。星期六早上,我們終於有了它的名字。

如果你在模型實驗室、眼鏡硬體廠,或是想在 2027 年推出空間體驗的工作室,契約已經就緒,憑據都是公開的。接下來可以讀的三個連結:

星期六。咖啡喝完了。回去弄引擎。

給你的 AI 一個在真實世界安身的地方

契約已經就緒,憑據都是公開的。RakuAI 是為眼鏡散熱範圍打造的多供應商空間執行環境——LLM 開發者與硬體廠商共同建構的平台。

← 所有文章