系列: 與 AI 一起學寫程式

開始每週節奏

第零日:一份智慧眼鏡規格約束著下游的每個決策。

第零日:README 與規格 規格是約束力量。儲存庫在它之下上線。 AR1+ 智慧眼鏡規格 延遲預算 - AI 介面 - 感測器 執行環境儲存庫 主迴圈、延遲追蹤器、CI SDK 儲存庫 Unity + Unreal HelloAR 你的模型指揮模擬步驟 在執行環境裡、每一個影格——而不是外掛在編輯器面板上
這不是行銷文件——而是一股約束力量,下游每個架構決策都要回頭指向它。

瀏覽器裡的生成式內容還可以。錨定在你家廚房真實牆面上的生成式內容才是產品。這就是那個為了在每個模擬步驟接受你的模型指揮而打造的引擎——第零日,公開進行。

這個週六,這個部落格開始固定的每週節奏。本文之前的四篇是今年夏天稍早的設計文件週六:代理人名單、展示套件、資料夾結構、程式碼開始前的最後一次省思。從此以後節奏是每週一篇。這個部落格談的主題並不新。

十多年來,我一直在思考 AR 眼鏡、錨定於真實世界的空間體驗,以及驅動它們的執行環境該有的形狀。其中一部分思考在 2010 年代初期變成了專利,也就是至今仍支撐我們目前所打造之物的眼鏡形態專利資產。一部分變成了從未見過天日的原型。大部分則在我從事其他工作時於背景中運轉。

過去這一年改變的是,世界其他部分終於跟上了。運算元件夠小了。光學元件夠好了。雲端 LLM 夠真了。裝置端推論夠快了。那個早了十年的點子,終於成了一個你能出貨的產品。

所以我開始出貨了。目前這一輪程式碼已經進行了好幾個月。這些提交住在私有儲存庫裡,我正在清理並整併程式碼庫,逐步把它們公開。從現在起,這個部落格就是公開的紀錄。

接下來幾個月會是什麼樣子

這個週六計畫的形狀,作為即將到來之事的預告:

  • 執行環境:今天早上桌上放著一份 AR1+ 智慧眼鏡規格草案。PDF、PowerPoint 和 Markdown 三種版本,讓 LLM 可以推理它、合作夥伴可以閱讀它、設計師可以審視它。重點是規格,不是格式。格式是為讀者服務的。
  • 一個 main.cpp 和一個剛簽入的執行環境主迴圈骨架。
  • 一個延遲追蹤器標頭檔和一個實作樁。延遲將是定義這個引擎的指標。
  • CI 裡的 CMake 建置工作流程,讓每次推送都在乾淨機器上得到乾淨建置。
  • 一份 Copilot 上手指南,讓團隊裡的代理人知道這個團隊怎麼運作。

SDK 儲存庫這個週六也搭好了自己的鷹架。一個早期的 Unity HelloAR 範例。一個早期的 Unreal HelloAR 範例。兩套繫結的標頭檔骨架。一個套件發佈工作流程。

這些都還不能出貨。但這些全是任何可出貨之物成為可能之前所需要的東西。讓兩個儲存庫同時前進、在接縫處刻意耦合的模式,將會是一個貫穿的主題。

為什麼公開的第一天就有智慧眼鏡規格

這份規格是刻意的。大多數引擎先選定執行環境架構,然後再去物色可能可以搭載在上面的產品。我的順序相反。產品是人們戴著走進世界的 AR 眼鏡,引擎必須是適合這個產品的形狀。所以規格先寫,哪怕它還很粗糙。

它不是行銷文件。它是約束力量。它說明引擎必須在什麼樣的硬體上執行、延遲預算是多少、AI 介面在實務上必須長什麼樣。下游每個架構決策都可以指著這份規格問「這個決策是為規格服務,還是在為某個我私心想蓋的別的引擎服務」。第二類正是引擎專案的墳場,我以前避開了它,現在也打算繼續避開。

為什麼第一天就有 Copilot 指南

這個週末另一件刻意的事是 Copilot 上手指南。第一版很粗糙。它會被重寫十次。但這份指南之所以存在,是因為代理人是團隊的一部分,而團隊需要知道團隊怎麼運作。

指南說明:

  • 策略是什麼,以及我們不打造哪一種引擎
  • 路線圖放在哪裡
  • 議題如何開立、被接手、被關閉
  • 一個好的 PR 長什麼樣
  • 審查者應該做什麼(審查者有時是我,有時是另一個代理人)

「代理人閱讀文件」這個框架不是噱頭。它是這種工作流程的實際現實:團隊是一個只有週末的人類,加上數個全天候值勤的自主程式撰寫助理。指南爛,工作就爛。指南好,工作就正確,審查成本也會下降。

為什麼現在開始公開日誌

幾個理由。

這些專利是十年之久的先前技術,沒人談論它們,是因為我們沒談。 這個引擎可追溯至的眼鏡形態研究成果,多年來靜靜地獲證並延續。我希望公開的工程紀錄指向真正的系譜。空間 AR 不是某人去年夏天才撿起來的新東西。這項工作由來已久。

合作洽談正在展開。 硬體夥伴、AI 實驗室、工作室。當對方能讀到一份公開的工程紀錄而不是一份簡報時,這些對話會變得更鋒利。簡報是修飾過的版本。部落格是真實的版本。

這套開發工作流程確實新穎,值得展示。 從公開階段的第一天起,AI 代理人就在團隊裡。多個廠商。平行分支。公開議題佇列。這些沒有一項是為這個專案發明的;不尋常的是在這麼嚴肅的東西上同時做所有這些事。我想在事情發生的當下寫下來,趁教訓還新鮮到能誠實面對。

我希望夥伴和開發者從中得到什麼

如果你在某個大型 AI 實驗室、讀到這篇文章,這就是提案。這個引擎明確是為了接受你的模型的指揮而打造的。不是外掛的。不是在編輯器面板裡。而是在執行環境裡、在模擬步驟上、每一個影格。架構決策此刻正在發生,公開進行,附帶明確的文件軌跡。如果你的模型更擅長理解使用者所站立的真實物理空間,這個引擎就是它得以運用這份理解去做點什麼的地方。

如果你是將來考慮在這上面開發的開發者:SDK 正與執行環境同步前進。截至這個週末,Unity 和 Unreal 範例已在 SDK 儲存庫播種。它們還不能運作。它們會的。之所以在這個階段就讓兩套繫結同時存在,是為了讓我永遠不會走到六個月後那種局面:執行環境架構已鎖定,SDK 只能扭曲自己去遷就。

如果你是留意早期訊號的消費者,訊號是這個:這個引擎打造時的核心假設是,最有趣的體驗是發生在真實地點的 AR 體驗,而 AI 是讓這些體驗產生反應的東西。瀏覽器裡的生成式內容還可以。貼在你家廚房牆上的生成式內容才是真正的產品。

今天是週六。部落格上線了。明天回去繼續打造。

讓你的模型置身真實世界,每一個影格

RakuAI 是為了在模擬步驟上接受你的模型指揮而打造的空間運算執行環境——不是外掛,而是棲身其中。看看 AI 層從哪裡接入。

← 所有文章