引擎長大成人的那個週末
總有一個時刻,一個程式碼庫不再是你正在打造的東西,而變成別人可以在其上建構的東西。對 RakuAI 而言,那個時刻是聖誕與新年之間、一個 276 個提交的週末。
有些週末,程式碼庫向前推進;有些週末,程式碼庫換了類別。聖誕與新年之間的那個週末,屬於第二種。
兩百七十六個提交落在各個儲存庫。執行環境長出了那種能把研究專案變成平台的表面積。空間錨點。OpenXR 合成。裝置端小型語言模型推論。帶真正密碼學的聯合同步。光學通訊通道的硬體抽象。其中大部分是在平行的、由代理撰寫的 PR 中落地的,並透過已經運轉兩個月的多供應商工作流程完成審查與合併。
週六早上,我端著咖啡坐下,面前是一條塞滿高優先級 TODO 的佇列。到了週日晚上,我闔上筆電時面對的,已經是一個和週六打開時不同的引擎。這篇文章要講的是出貨了什麼、它意味著什麼,以及為什麼我認為 2026 年是其他人開始認真看待這個引擎的一年。
幾項重大落地
用於 SLM 推論的 TensorFlow Lite C API。 這是我最興奮的一項。執行環境現在可以載入 TFLite 格式的小型語言模型,並把對它們的推論當成一級執行環境操作來執行。動機很直接:不是每個模型都需要一趟雲端來回。驅動 AR 體驗的某些 AI 行為足夠緊湊、聚焦、小巧,可以在裝置上執行。TFLite 路徑給了我們這一端。透過 XRAssistantService 的雲端 LLM 路徑給了我們另一端。引擎現在橫跨兩端。
空間錨點完成(Epic #555)。 完整的空間錨點生命週期:建立、持久化、跨裝置分享、在另一個工作階段還原、過期。持久層透過 libcurl HTTP 由雲端支撐,加密層(AES-256-GCM、PBKDF2 金鑰衍生)同一個週末落地。錨點現在是一級執行環境物件。一個 AR 體驗如果需要讓一個虛擬物件今天、明天、一個月後都落在同一個廚房流理臺上,橫跨兩個不同的人擁有的兩副不同眼鏡——現在可以了。
卡爾曼濾波的錨點姿態穩定化。 一件影響很大的小事。沒有濾波的錨點姿態,抖動的程度剛好讓人覺得不對勁。加上卡爾曼狀態預測濾波的錨點姿態,感覺很紮實。執行環境現在自動套用濾波;上層應用程式完全不需要知道。
OpenXR 合成層管理器與動作空間。 延續十一月以來的 OpenXR 骨幹工作。合成層管理器讓單一影格能以正確的順序、正確的混合模式,把相機透視、使用者的虛擬內容以及任何系統疊加層組合在一起。基礎性的工作,也很容易被低估。
生產級 AES-256-GCM 加密與共享錨點的 UDP 對等探索。 這是讓「把錨點分享給同一個房間裡的朋友」真正能安全出貨的東西。共享錨點協定端到端使用帶驗證的加密。對等探索透過 UDP 在本地進行,不經過雲端來回。共享 AR 的隱私與延遲故事是真實的。
光學通道的硬體抽象層(解決了 33 個感測器 TODO)。 當裝置具備光學鏈路時,它現在與 RF 鏈路平起平坐。兩者都被抽象在十一月落地的同一個雙模鏈路管理器之後。上層執行環境不在乎線路上跑的是哪一種無線電。
聯合同步接通了真正的密碼學。 聯合同步子系統在秋天大部分時間都是靠 stub 撐著。這個週末它長出了真正的實作:HTTP 傳輸、JSON 信封、密碼學簽章驗證。AI/ML 模型更新現在可以安全地透過聯合路徑分發到裝置上。
廠商眼動 SDK 整合與權杖驗證。 幾家廠商特定的眼動追蹤 SDK 現在已接到 OpenXR 提供者介面之後,並為廠商的授權層配上了正規的權杖式驗證。
渲染器全面的 GPU 效能分析儀表(解決了 15 個 TODO)。 逐渲染通道的 GPU 計時、記憶體預算、管線停滯偵測現在都上線了。如果某一影格超時,我們可以確切看到是哪個通道花掉了預算。
Runtime Updater 功能(解決了 10 個 TODO)。 執行環境現在可以在現場自我更新。有版本、有簽章、可回滾。這是那種沒人注意、直到需要時才發現它是「平台」與「藝術專案」之間分水嶺的管線工程。
我從這個節奏學到什麼
一個長假週末兩百七十六個提交,這種節奏在傳統開發工作流程裡行不通。在這一套裡行得通,因為整個工作流程就是圍繞著「代理平行出貨、我持續填滿佇列」建立的。在聖誕到新年這段時間以這種節奏運轉,有幾點觀察:
Epic 結構證明了自己的價值。 月中前後,我把議題追蹤器改成「Epic 帶子議題」的模式(Epic #506 是 Runtime Core Phase 1,Epic #555 是空間錨點,Epic #508 是 OpenXR 擴充)。每個 Epic 對應一個 PR,關閉一整塊連貫的工作。代理平行實作子議題,但合併是以一個原子性的 Epic 級 PR 進行的。這讓程式碼庫的歷史乾淨得多,也讓審查變得可行。
TODO 追蹤系統是正確的一步。 本月稍早,我加了一個自動化系統,掃描程式碼庫裡的 TODO 註解,為每一條建立 GitHub 議題並排定優先級。聖誕衝刺開始時,已有 342 條被追蹤的執行環境 TODO。代理從優先級最高的開始逐一解決。這個週末我們關掉了大約 150 條。程式碼庫比十二月初乾淨了不止一點。
跨儲存庫的合併時機很重要。 這個週末有好幾個 Epic,執行環境和 SDK 必須在幾小時內先後落地各自的變更。當執行環境發布新的 C API 時,SDK 必須在同一天更新它的繫結。我壓住了幾個 SDK 的 PR,又在同一個小時內合併了幾個執行環境的 PR,好讓整合保持誠實。
代理在各自的角色上越來越好。 這個週末落地的 PR,明顯比九月落地的 PR 乾淨。一部分是因為程式碼庫更成熟了。一部分是因為工作流程更有紀律了。一部分是因為模型本身在這種程式碼庫產出的工作類型上變強了。三者都是真的。
邁入 2026 年之際,引擎走到了哪裡
檢查清單版本:
- AR1+ 轉向 AR2 Gen1:完成
- OpenXR 骨幹:完成
- 透過 XRAssistantService 的雲端 LLM 意圖整合:完成
- 透過 TFLite 的裝置端 SLM 推論:完成
- 高精度疊加用的次毫米級錨定:完成
- 帶持久化、分享與正規密碼學的空間錨點:完成
- Wi-Fi 7 卸載渲染管線:完成
- 雙模 RF/光學鏈路管理器:完成
- 眼動追蹤、手部追蹤、全身追蹤:完成
- 帶多設定檔最佳化的注視點渲染:完成
- 感測器與光學通道的硬體抽象:完成
- 用於模型與內容分發的聯合同步:完成
- 帶版本管理與回滾的執行環境更新器:完成
- 多平台建置(Linux、macOS、Windows MSVC 2026):完成
- 遙測與 OpenTelemetry 管線:完成
- 342 條 TODO 被追蹤,本月已關閉約 150 條:進行中,但正在成形
還沒完成的:把模型層繫結到模擬步進的那些 AI 子系統。行為樹。導航網格。人群模擬。感知系統。決策樹。那是我預期一月第一週落地的工作。執行環境已經準備好接納它們。今天引擎有了骨架。下個週末它會長出神經。
我希望合作夥伴、開發者與實驗室從中看到什麼
如果你是硬體夥伴,正在評估這個引擎 2026 年能不能在你的裝置上出貨,答案是能,而且此刻要讓它成真的工作大多只剩廠商特定的黏合層。引擎本身已經就緒。
如果你是 AI 實驗室,正在思考你的模型推論預算在 AR 執行環境裡花在哪裡最划算,TFLite 裝置端路徑和雲端 LLM 的 XRAssistantService 路徑現在都是生產品質。如果你的模型塞得進裝置端預算,它可以跑在模擬步進上。塞不進,雲端路徑也是敞開的。無論哪條路,整合都是模型無關的,而我希望站在它背後的是你們最好的模型。
如果你是開發者,正在考慮 2026 年在這個引擎之上建構,這些表面積是真實的。C API 是穩定的。SDK 繫結(Unity 與 Unreal)是真實的。OpenXR 骨幹意味著引擎鎖定多種裝置。這個網址上的部落格一直是引擎如何走到今天的公開日誌。想知道當你把一段體驗帶上這個平台時會遇到什麼樣的工程文化,回頭讀讀它。
276 個提交,一年將盡,一個長大成人的引擎。不一樣的週末,同一套工作流程。下週六回來繼續打造。
把你的模型放上模擬步進
RakuAI 同時出貨透過 TFLite 的裝置端 SLM 推論與雲端 LLM 路徑——模型無關、生產品質、隨時能接上你的權重。看看你的推論預算在空間執行環境裡花在哪裡最遠。