Blog › Serie
Eine Serie über das Entwickeln von Produktionssoftware Seite an Seite mit KI-Agenten – was funktioniert, was scheitert und wie sich die Architektur ändert, wenn KI ein Laufzeit-Primitiv statt einer Funktion ist.
Bevor auch nur eine Zeile der räumlichen Runtime existierte, kartierte dieser Samstag die Agentenflotte, die sie bauen würde. Product, SDK, Studio, Marketing, Operations, KI-Strategie, dazu eine Governance-Ebene, die die Wächter beobachtet. So macht man aus einem Ein-Personen-Team ein liefertaugliches Engine-Unternehmen - die Agenten kommen vor der Architektur, weil die Agenten die Architektur formen.
Acht kanonische Demos, die beweisen, wofür eine räumliche Runtime da ist - Arena-Multiplayer, AR-Coaching, HUD-Designer, Streamer-Modus, Point-of-Service-Overlay, Companion-HUD, Zieltrainer, Multiplayer-HUD-Sync. Null Code geschrieben, jede einzelne spezifiziert. Die Demos sind die Spec, und sie zeigen, was deine KI kann, sobald sie in der realen Welt lebt.
Die Ordnerstruktur ist das Organigramm des Codes - richtig hinbekommen, früh, und jeder PR für zwei Jahre landet am richtigen Ort. Dieser Samstag zeichnete das Skelett des SDK, bevor überhaupt Code existierte: /apps, /modules, /assets, /docs, /config, dazu Modul-Stubs, die die Verträge festlegen, an die sich deine Agenten halten. Das ist die Disziplin, die eine KI-gebaute räumliche Runtime über Jahre kohärent hält.
Der letzte Samstag, bevor die Repos öffnen - drei Monate Design-Arbeit dahinter. Agentenaufgebot festgelegt. Demo-Suite spezifiziert. SDK-Ordnerstruktur gezeichnet. API-Oberfläche entworfen. Ein jahrzehntealter Patentbestand bereit, das Fundament zu sein. So sieht es aus, eine räumliche Runtime auf das Team zuzuschneiden, bevor eine einzige Zeile ausgeliefert wird.
Tag null des öffentlichen Logs: Repos live, Agenten am Arbeiten, und eine Smart-Glasses-Spec auf dem Schreibtisch als erzwingende Funktion für jede nachgelagerte Entscheidung. Die Wette ist einfach - die interessantesten KI-Erlebnisse sind räumliche, verankert in den echten Orten, an denen du stehst. Das ist die Engine, die explizit dafür gebaut wird, von deinem Modell Richtung zu nehmen, in jedem Frame.
Zwei Tage an der Tastatur, autonome Agenten, die darunter die Issue-Warteschlange durchkauen, und 282 Commits im Runtime-Repo bis Sonntagabend. Der Main Loop, der Latenz-Tracker, die C-API, die das SDK andocken lässt - hier ist, was ausgeliefert wurde, was kaputtging und wie die agentengesteuerte Schleife aussieht, wenn sie endlich klickt. So sieht es aus, ein Ein-Mensch-Runtime-Team zu supercharge-n.
Jedes Multi-Repo-Projekt stirbt auf dieselbe Weise - ein Repo rast voraus, das andere verrottet still. Dieser Samstag verkabelte Unity- und Unreal-HelloAR, damit sie sich identisch verhalten, und baute das Paritätstest-Gate, das die Lücke unmöglich macht. Das ist die Disziplin, die eine räumliche Runtime und ihre Bindings über Jahre kohärent hält, damit deine Binding-Wahl dich nie von einem Feature aussperrt.
Das Produktziel von AR1+ auf AR2 Gen1 verschieben, dann den Thermovalidierungs-, Wi-Fi-7-Stabilitäts- und Sensor-Bring-up-Kabelbaum für Hardware ausliefern, die noch nicht auf dem Schreibtisch liegt. Wenn das Silizium ankommt, beginnt die Validierung am ersten Tag statt am neunzigsten. So liefert RakuAI schneller auf deiner Hardware aus als die Konkurrenz - der teure Teil ist schon bezahlt.
Ein brutales Präzisionsziel aus einem Partnergespräch: Sub-Millimeter-Overlay-Drift auf einem Blatt Kalligraphie-Papier. Bis Samstagabend hatte die Runtime eine Sub-Millimeter-Anker-Pose-API, Echtzeit-Stiftspitzen-Tracking und markerbasierte Papiererkennung. Das ist die Art von Präzision, die AR vom Spielzeug zum Tutor macht.
Siebenunddreißig Commits statt achtzig — mit Absicht. Ich habe die Agenten-Warteschlange verkürzt und das Tempo gedrosselt, damit ich tatsächlich lesen konnte, was da landete, und die Codebasis ist dadurch sauberer geworden. Hier ist die Disziplin, die eine von Agenten gebaute Runtime kohärent hält, statt einen Haufen isoliert sauberer PRs.
Zwei Monate eines öffentlichen Engineering-Logs, Jahre an Arbeit unter der Haube. Ein ruhiger Samstag, um Bilanz zu ziehen: eine plattformübergreifende C++-AR-Runtime mit KI, die direkt im Simulationsschritt verankert ist, eine Architektur, die sich gesetzt hat, und ein Produktionsreife-Meilenstein im Dezember in Sicht. So sieht eine KI-native räumliche Runtime aus, wenn sie aufhört, ein Leitbild zu sein, und zu einem Repo wird.
Der Platzhaltername ist endlich weg. In einem Wochenende haben Agenten jede Referenz über jedes Repo hinweg von Blade und ar1-runtime zu Raku umbenannt — kein Build-Bruch, kein Kompatibilitätsbruch. Der Name bedeutet Leichtigkeit, Komfort und menschliche Note. Das Engineering hat endlich mit der Marke gleichgezogen, die darauf gewartet hat.
Meta Quest ist jetzt ein Raku-Zielgerät. OpenXR auf Horizon OS, Passthrough-AR mit Composition Layers, Stereo-Rendering und 6DoF-Tracking — die Engine erreicht jetzt eine der größten installierten Basen im Spatial Computing. Erreichen Sie Ihre Nutzer auf der Hardware, die sie schon besitzen, und tragen Sie dieselbe Erfahrung dann kostenlos zu Brillen weiter.
Das Wochenende, an dem die Engine lernte, Anweisungen von jedem Cloud-LLM entgegenzunehmen — als Runtime-Anliegen, nicht als Chat-Panel. Bis Sonntag streamte der XRAssistantService Modell-Intent durch die Voice-Pipeline, augenverfolgte Foveation wurde ausgeliefert, und ausgelagertes Wi-Fi-7-Rendering hatte einen echten Host. ChatGPT kann es steuern. Claude kann es steuern. Gemini kann es steuern. Genau darum geht es.
Eine echte Wette auf Standards dieses Wochenende. Bis Sonntagabend hatte die Runtime ihr OpenXR-Rückgrat — Grafik-Binding, Frame-Lebenszyklus, Action-Sync — plus einen Dual-Mode-RF-/Optik-Link-Manager, der Funkverbindungen im Flug umschaltet, ohne dass die App es je bemerkt. Den Standard übernehmen, wo er existiert; selbst bauen, wo er es nicht tut; bereit sein, wieder zu übernehmen, sobald er aufholt.
Drei Monate rein, und der Entwicklungsworkflow hat sich zu einem Multi-Vendor-Rhythmus gesetzt: Claude schreibt die Runtime, Gemini reviewt die Diffs, ChatGPT ist die Quietscheente für die Architektur, Copilot autovervollständigt. Die wichtigste einzelne Regel — das Modell, das einen PR schreibt, kann nicht das Modell sein, das ihn reviewt. Das ist der Workflow, der eine KI-native Runtime baut, und die Haltung, die die Runtime selbst gegenüber Modellen einnimmt.
Siebenundvierzig Funktionen behaupteten, echte Arbeit zu leisten. Siebenundvierzig gaben Platzhalter zurück. Das ist der Samstag, an dem ich nach den Stubs suchte, die die Agenten still gelandet hatten — und das Audit, die Tests und die Disziplin baute, die aus agentengecodet agentenvertrauenswürdig macht. Die Ehrlichkeit, die eine räumliche Runtime sicher macht, um darauf zu bauen.
Zweihundert Fehler, sechs Kategorien, zwölf PRs, zwei Tage — und der erste grüne x64-Build in der Geschichte der Runtime. Das ist der Blick hinter die Kulissen, wie eine plattformübergreifende räumliche Engine auf MSVC 2026 Insiders gebracht wird, die sechs Fehlerklassen, die jede C++-Codebasis treffen werden, und die agentengetriebenen Sweeps, die sie behoben haben. Drei Plattformen, eine Runtime, bereit, auf Windows auszuliefern.
Ein Wochenende mit 276 Commits brachte TensorFlow Lite für SLM-Inferenz auf dem Gerät, AES-256-GCM-Federated-Sync, OpenXR-Kompositionsebenen, Kalman-gefilterte Anker-Stabilisierung und eine Hardware-Abstraktionsschicht für den optischen Kanal. Dies ist das Wochenende, an dem RakuAI aufhörte, ein Forschungsprojekt zu sein, und die Fläche einer echten Plattform gewann – das Grundgerüst, auf dem Smart Glasses und KI-Labore aufbauen.
139 Commits über Nacht. Zehn grundlegende Subsysteme über ein Wochenende ausgeliefert, größtenteils von einem autonomen Agenten, der gegen eine Warteschlange arbeitet, die ich gefüllt halte. So sieht es tatsächlich aus, wenn das Fundament einer Engine VON Agenten gebaut wird, nicht FÜR sie angeflanscht – und warum diese Entscheidung jede architektonische Entscheidung in der Runtime prägt, in der Ihre KI leben wird.
Die meisten Engines, die 2026 „KI-nativ" sagen, meinen damit, dass sie ein Chat-Panel angeflanscht haben. RakuAI ist anders gebaut – KI ist ein Runtime-Grundbaustein, der in jedem Frame im Kreislauf mitläuft, näher an einem Nervensystem als an einer Fabrik. Wenn Sie nur einen Beitrag darüber lesen, was „KI-nativ" auf der Architekturebene tatsächlich bedeutet, dann diesen.
Vier voneinander unabhängige Bugs, null überlappende Subsysteme, ein Samstag. Pinke Grafik durch fehlende Shader. Ein Punktestand, der doppelt zählte. Ein harter XR-Boot-Absturz. Eine Kamera, die sich weigerte einzurasten. Das ist die Art von Integrationsfehler, die jedem Unit-Test entgeht – und die Disziplin bei Init-Reihenfolge, Event-Besitz und Boot-Guardians, die aus einer kaputten Demo eine Runtime macht, der Partner vertrauen können.
Wenn KI ein Runtime-Grundbaustein in Ihrer Engine ist, sind Sie dann an das Modell gebunden, das Sie eingebaut haben? Nein – die KI-Schicht wird über Schnittstellen exponiert, nicht über Imports. Sechs Subsysteme, eine Modellverwaltungs-API, ein Dateiformat, das Fähigkeiten benennt statt Modelle. Hier ist die Grenze, die es RakuAI erlaubt, jedes Modell, jeden Anbieter, jeden Inferenzpfad auszutauschen, ohne eine einzige Zeile Aufrufer-Code anzufassen – und warum das immer wichtiger wird, je mehr sich der Modellmarkt umwälzt.
Schlimmer als ein Absturz: eine Demo, die nicht abstürzte, keinen Fehler warf und trotzdem nicht funktionierte. Toter Input. Eine Platzhalter-Szene im Kostüm eines fertigen Spiels. Logs, die nichts sagten. Das ist der Samstag, an dem ich die Engine dazu gebracht habe, sich zu weigern, lautlos zu versagen – die Disziplin aus lauten Fehlern, grep-baren Fehlermeldungen und Nachbarschafts-Audits, die eine räumliche Runtime ehrlich hält gegenüber den Leuten, die darauf aufbauen.
54 % auf 100 % in drei Wochenenden. Der Test-Runner interessiert sich nicht für Ihre Gefühle, Ihre Sterne-Zahl oder Ihre Roadmap – er sagt Ihnen genau, wie viel von Ihrer räumlichen Runtime tatsächlich funktioniert. Hier ist, wie wir die Lücke geschlossen haben, Grundursache für Grundursache, und warum die Bestehensquote das ehrlichste Signal ist, das ein Partner verlangen kann.
Ein tiefer Audit-Durchgang förderte zwei Dinge zutage, die mir keine Freude bereiteten: ein zu breit angelegtes Find-Replace, das lautlos Bezeichner über dreihundert Dateien hinweg verstümmelt hatte, und ein hartcodiertes Lizenzierungsgeheimnis in einer öffentlichen Quelldatei. Beides an einem Tag behoben. Das ist der ehrliche Feldführer zu den Fehlermodi, denen eine agentengetriebene Codebasis am stärksten ausgesetzt ist – und den Schutzmechanismen, die sie abfangen.
Sieben O(N²)-Platzhalter, ein Samstag, und die Produktionsalgorithmen, die aus einer wackelnden Demo eine Runtime machten, die aufschreit vor Geschwindigkeit. So verwandelt RakuAI von KI geschriebenen Code in Performance auf Engine-Niveau – und warum ein algorithmisches Audit das schnellste Upgrade ist, das Ihr räumlicher Stack je bekommen wird.
Deine Experience ist eine Datei, keine Binärdatei. Das .raku-Format ist JSON — schema-versioniert, diffbar, hot-reloadbar, mit expliziten Hooks, an denen die Runtime-KI in jedem Frame andockt. Hier ist, wie eine echte Datei aussieht, warum JSON einer eigenen DSL überlegen ist, und wie „Spieledesign, das per Pull Request reviewt wird" zu unserem tatsächlichen Workflow wurde.
Claude hat acht Subsystem-PRs geschrieben. Gemini hat sie reviewt und sechsunddreißig Kommentare hinterlassen — zwei davon waren echte Thread-Safety-Bugs, die sonst ausgeliefert worden wären. Das ist das Multi-Vendor-Review-Muster, das sich auszahlt: anderes Modell, andere blinde Flecken, schwerer zu täuschender Code. Das Disziplin-Signal, nach dem ernsthafte Partner jedes Engine-Team fragen sollten.
Fünf Agenten, fünf Branches, eine Codebasis, ein Wochenende: 112 Commits. Der Flaschenhals ist nicht mehr das Tippen — es ist die Entscheidung, welche vier Probleme vier parallele Versuche wert sind und welche zwei Ergebnisse gut genug sind, um behalten zu werden. Der Job hat aufgehört, „Senior IC" zu sein, und wurde zum Tech Lead eines Teams, das niemals schläft.
Das Sicherheitsteam eines Enterprise-Partners führte eine Due-Diligence-Prüfung unserer API-Oberfläche durch und kam mit acht kritischen und hohen Funden zurück. Für jeden einzelnen landete bis Samstagabend ein Fix. Hier sind die Kategorien, die neuen dauerhaften Schutzmechanismen und die Fehlermodi, gegen die sich eine agentengesteuerte Runtime bewusst wehren muss.
Acht Tests, ein Windows-Fehlercode, eine fehlende Shader-Compiler-DLL, ohne die die Runtime nicht booten konnte. Der Fix hat aus einer harten Ladezeit-Abhängigkeit einen graziösen, beobachtbaren Fallback gemacht — sodass die Engine überall läuft, nicht nur auf einer voll ausgestatteten Entwickler-Workstation. Portabilität ist ein Feature, für das Partner zahlen.
347 nicht getaggte Funktionen über achtzehn native Bibliotheken hinweg, versteckt durch einen Symbol-Visibility-Default, die den Linux-Build eine undefinierte Referenz nach der anderen kaputt machten. Bis zur Wurzel zurückverfolgt, sauber ausgekehrt und hinter einem CI-Guard verriegelt, der jeden PR fehlschlagen lässt, der ein öffentliches Symbol fallen lässt. Linux ist jetzt ein erstklassiges Ziel — und die Codebasis ist auf jeder Plattform ehrlicher.
Ein 15-facher Kostenanstieg führte zu einem Audit jeder Stelle, an der die Runtime mit einem LLM spricht — und fünf Aufrufern, die unbegrenzte Prompts ohne Obergrenze, ohne Kürzung, ohne Verteidigung senden konnten. Bis Samstagnachmittag lief jeder Aufrufer durch einen gemeinsamen Schutzmechanismus, mit Budgets pro Aufruf, Telemetrie und einer CI-Prüfung, die Regressionen blockiert. So macht eine spatiale Runtime Prompt-Längen-Disziplin unmöglich zu vergessen.
Sechs Wochen, in denen Meshy.ai durch eine siebenstufige Asset-Pipeline gefüttert wurde, haben dem Team drei Dinge gelehrt, die nicht in der API-Dokumentation stehen. Roben verdecken die Silhouette, die die Pose-Schätzung braucht. Japanische Charakternamen bringen alles zum Absturz, das stdout in eine Datei pipet. Und Meshys Remesh-Endpoint kann mitten im Sprint einfach verschwinden. Das ist die unglamouröse Realität, KI-generierte Assets in produktionsreifen Content für eine spatiale Runtime zu verwandeln.
Ende März 2026 fielen der GDC-Vorabend-Release und ein Zwei-Plattform-Mobile-Push in dieselbe Woche. Hier ist, was ausgeliefert wurde, was achtundvierzig Stunden bevor ich abgeflogen bin kaputt ging, und welche Fixes im Diff klein aussehen, aber die Laptop-Demo davor bewahrt haben, vor Fremden zu entgleisen. So sieht es tatsächlich aus, eine spatiale Runtime in Konferenz-Geschwindigkeit auszuliefern.
Eine Reihe von Aufräum-Commits, die im Diff unspektakulär aussehen und für das Projekt trotzdem eine Zäsur bedeuten. Achtzehn DLLs grün unter Linux. Jeder LLM-Aufruf gegen ausufernde Prompt-Längen abgesichert. Der Namespace /api/v2/ überall in /api/raku/ umbenannt. Nullzeiger-Sicherheit durch die gesamte Runtime gefegt. Der Build ist endlich etwas, mit dem man nicht mehr streiten muss.
Die Runtime spricht seit Ende März Model Context Protocol. Sie begann mit sechs Tools über stdio-Transport, Deny-by-Default-Berechtigungen, vollständigem Audit-Log – und ist seitdem auf 17 native MCP-Tools angewachsen. Der Server ist die Grenze, über die jeder externe Agent die Engine steuert. Dieser Beitrag ist die Momentaufnahme mit sechs Tools und zeigt, was die nächste Schicht aus echten Adaptern und Partnerintegrationen freischaltet. Das ist die MCP-Runtime, gegen die LLM-Hersteller entwickeln.
Die Runtime, in der Ihr KI-Assistent lebt, wenn er eine räumliche Welt bauen, abfragen oder simulieren muss. Fünf Patente, die bis 2012 zurückreichen. Gebaut für das Wärmebudget von Brillen. Multi-Vendor per Design. Hier ist, warum.
Vom Telefon-Scan über den 3D-Gaussian-Splat bis hin zu jedem LLM, das ihn als Tools über Multi-Vendor-MCP steuert. Der ehrliche End-to-End-Bericht: was heute ausgeliefert wird, was auf GPU-Guthaben wartet, und warum die reine Inferenz-Runtime der Burggraben ist.
Scannen Sie einen echten Raum mit Ihrem Telefon — kein Rig, keine Marker, keine Installation — und erhalten Sie eine 3D-Rekonstruktion, die Ihr KI-Assistent lesen, vermessen und über die er über MCP nachdenken kann. GPU-Splat-Training kommt innerhalb weniger Tage. Das ist die Geschichte von Raku Capture.