Verleihen Sie Ihrer KI in der realen Welt einen Turbo

Unity ist ein Werkzeug, das Ihre KI in die Hand nimmt. RakuAI ist ein Körper, in dem Ihre KI lebt — die räumliche Runtime, gebaut für Smart Glasses, gestützt auf Patente, die diesen Moment schon vor mehr als einem Jahrzehnt vorweggenommen haben.

Drei Entwicklungslinien liefen an diesem Samstagmorgen zusammen, noch bevor ich meinen Kaffee ausgetrunken hatte.

Unity hat gerade Native MCP ausgeliefert. Smart-Glasses-Hardware sitzt jetzt tatsächlich auf den Gesichtern von Menschen, nicht mehr nur auf Folien. Und die LLM-Labore, mit denen ich gesprochen habe, wollen alle dasselbe: eine Runtime, die räumliche Fähigkeiten über einen Vertrag freigibt, den ihre Modelle steuern können, in Produktion, jeden Frame, ohne kundenspezifische Integration pro Anbieter.

Die Engine, mit deren Bau ich 2025 begonnen habe, aufbauend auf Patenten, an deren Anmeldung ich vor über einem Jahrzehnt mitgewirkt habe, hat endlich einen Namen für das, was sie ist. Sie ist die Runtime, in der Ihre KI in der realen Welt lebt. Kein Werkzeug, das das Modell aufnimmt. Ein Körper, in dem das Modell wohnt.

Dieser Beitrag ist mein ehrlicher Versuch, das mit Belegen niederzuschreiben.

Abschnitt 1. Der Patentbestand

Fünf erteilte US-Patente, Prioritätsanmeldung Juli 2012. Sie sind öffentlich, sie sind recherchierbar, sie gehören mir.

• US9210358B2, Entertainment Console. Erteilt Dezember 2015.
• US9654613B2, Arena Gaming. Erteilt Mai 2017.
• US9781244B2, Smart Eyeglasses. Erteilt Oktober 2017.
• US10027361B2, Point-of-Service. Erteilt Juli 2018.
• US10432772B2, Eyeglasses, 21 Ansprüche.

Liest man sie zusammen, beschreiben sie ein System. Dual-Mode-Funk. Eine Architektur aus Smart Glasses plus Compute-Host, bei der die Schwerarbeit außerhalb des Kopfes stattfindet. Render-Auslagerung vom Host zum Display. Synchronisation des Multiplayer-Weltzustands über mehrere Träger im selben physischen Raum hinweg. Welt-Streaming als Szenen-Delta statt kodiertes Video.

Das Prioritätsdatum ist entscheidend. Juli 2012. Das ist Jahre vor Meta Ray-Bans, vor Xreal Air, vor Android XR, vor der aktuellen Generation von LLM-Laboren in ihrer heutigen Form. Die Architektur in den Anmeldungen ist die Architektur, auf die die Branche jetzt zusteuert. Wir jagen dem Feld nicht hinterher. Wir holen uns selbst ein.

Ich stelle die Patente nicht deshalb voran, weil Patente Diskussionen gewinnen. Ich stelle sie voran, weil sie die häufigste Frage beantworten, die ein ernsthafter Partner im zweiten Meeting stellt, nämlich: „Wie lange denken Sie eigentlich schon darüber nach.” Die ehrliche Antwort besteht aus zwei Zahlen: Die Patente datieren auf 2012, und die Engine befindet sich seit 2025 im aktiven Bau. Altes geistiges Eigentum, neue Umsetzung.

Abschnitt 2. Warum Brillen eine andere Runtime brauchen

Die Beschränkungen von Smart Glasses sind nicht die Beschränkungen von Konsolen, Telefonen oder PCs. Behandelt man sie wie eine kleinere Version von einem dieser Geräte, liefert man ein Produkt aus, das nach zwanzig Minuten überhitzt.

Ein paar der Zahlen, auf die wir hin entwerfen.

• 18 ms Zielwert für Motion-to-Photon-Latenz. Vorhersagbare Latenz, nicht Spitzen-Framerate. Ein ruckeliges 90 FPS fühlt sich schlechter an als ein stabiles 60 FPS.
• Drei Wärmemodi. Performance, Balanced, Low Power. Die Runtime weiß, in welchem Modus sie sich befindet, und passt die Pipeline-Kosten pro Frame an. Das Modell weiß es ebenfalls, wenn es Ressourcen anfordert.
• Telefon als Compute, Brille als Display. Der Host ist das Arbeitspferd. Das Display ist ein schlanker Client über eine Dual-Mode-Verbindung. Das ist die Topologie, die die Patente beschreiben.
• Wi-Fi 7 plus optische Dual-Mode-Verbindung. Bandbreite für das Welt-Delta. Latenzbudget für die vorhergesagte Pose.
• 0,5 bis 0,8 Millimeter räumliche Präzision auf 40 Zentimeter, Kalman-gefiltert. Sub-Millimeter-Ankerung ist das, was eine virtuelle Fläche wie eine echte anfühlen lässt. Wer schon einmal auf einer virtuellen Tafel kalligrafiert hat, kennt den Unterschied zwischen 1 mm Jitter und 0,5 mm Jitter. Es ist der Unterschied zwischen Schreiben und Kritzeln.
• Ganzkörper-Tracking mit 71 Gelenken. Eye-Tracking mit Verweildauer-Erkennung. Foveiertes Rendering mit zwei- bis vierfachem Gewinn. Foveation ist in diesem Wärmebudget nicht optional. Sie ist der Unterschied zwischen einem Render-Budget, das passt, und einem, das es nicht tut.

Vergleichen Sie das jetzt mit den Alternativen. Unity ist eine Universal-Engine, entworfen für 60-FPS-Ziele auf PC und Konsole. Unreal ist VR-first, aber das VR, von dem es ausgeht, ist eine RTX 4090 in einem Turm mit 200 Watt Wärmebudget. Beides sind großartige Engines. Keine wurde für ein Wärmebudget von 5 Watt auf dem Gesicht eines Menschen entworfen.

Das ist keine Herabsetzung. Es ist ein Kategorienunterschied.

Abschnitt 3. Warum KI eine für sie gebaute Runtime braucht

Ich habe im Januar einen Beitrag mit dem Titel KI als Nervensystem, nicht KI als Fabrik geschrieben. Das Argument war, dass die meisten Engines, die sich 2026 KI-nativ nennen, damit meinen, dass sie ein Chat-Panel auf eine bestehende Pipeline geschraubt haben. Das Modell erzeugt ein Artefakt. Das Artefakt landet auf der Festplatte. Die Runtime lädt das Artefakt. Das Modell spricht danach nie wieder mit der Runtime.

Das ist das Fabrik-Muster. Es ist real, es ist nützlich, es wird ausgeliefert. Es ist aber auch nicht das, was Spatial Computing braucht.

Das Nervensystem-Muster hält das Modell in jedem Frame in der Schleife. Beobachtung rein, Absicht raus, die Welt reagiert, von vorn. Das Modell ist kein Content-Lieferant. Es ist ein Teilnehmer an der Simulation.

Die sechs MCP-Tools, die die Runtime bereitstellt, sind die Oberfläche, auf der das geschieht.

• load_world_model(adapter_name, config)
• ingest_frame(adapter_name, frame_data, frame_index, timestamp)
• get_scene_state(include_physics, include_transforms)
• set_render_target(target_type, config)
• start_simulation(tick_rate, max_duration, realtime)
• get_metrics()

Sechs Tools, stdio-Transport, Deny-by-Default-Berechtigungen, vollständiges Audit-Log. Jedes Modell, das Model Context Protocol spricht, kann die Runtime über diesen Vertrag steuern. Claude. ChatGPT. Gemini. Copilot. Was auch immer als Nächstes ausgeliefert wird.

Multi-Vendor per Design, weil die Runtime keine Meinung dazu hat, welches Modell am anderen Ende sitzt. Der Vertrag ist die Grenze. Die Runtime behält die Autorität über Physik, Kollision, Punktestand, Multiplayer-Zustand. Das Modell trägt Absicht bei. Keine Seite muss von der anderen wissen, außer über sechs Tools.

Das ist es, wie das Nervensystem-Muster aussieht, wenn man es in ausgelieferten Code verwandelt.

Abschnitt 4. RakuAI gegen Unity, fair betrachtet

Unity Native MCP wurde kürzlich ausgeliefert, und das Echo war positiv. Ich möchte klarstellen, was es ist und was es nicht ist, denn ich denke, beides kann gleichzeitig wahr sein.

Unity MCP ist Szenenmanipulation zur Entwurfszeit. Ein Agent hilft dem Entwickler, Objekte zu platzieren, Komponenten zu konfigurieren, ein Level zu bauen. Es ist eine Produktivitätsschicht für die Schleife aus Mensch und Editor. Das ist ein echter Gewinn für ein echtes Publikum.

RakuAI MCP ist Weltmodell-Orchestrierung zur Laufzeit. Der Agent ist in jedem Frame in der Schleife und trägt zum nächsten Zustand der Welt bei, während die Runtime Physik, Kollision und Rendering durchsetzt. Das ist Produktion im März 2026, keine Entwurfszeit, keine Editor-Unterstützung.

Unterschiedliche Kategorien. Beide gültig. Die knappe Version, die ich inzwischen laut ausspreche:

Unity ist ein Werkzeug, das Ihre KI in die Hand nimmt. RakuAI ist ein Körper, in dem Ihre KI lebt.

Wenn Sie einen Editor wollen, der klüger wird, ist Unity MCP spannend, und Sie sollten es ausprobieren. Wenn Sie eine Runtime wollen, die Ihrer KI einen Ort gibt, an dem sie auf einer Brille leben kann, ist das ein anderes Problem. Die Patente, die das möglich machen, wurden vor über einem Jahrzehnt angemeldet, und wir bauen die Engine seit 2025.

Abschnitt 5. Warum wir jetzt darüber sprechen

Timing spielt bei der Positionierung eine Rolle, und ich möchte ehrlich über unseres sein.

Smart-Glasses-Hardwarepartner wählen ihre Runtime 2026 und 2027. Diese Entscheidungen werden einmal getroffen und gelten für ein Jahrzehnt. Wenn Sie jetzt nicht in diesen Gesprächen sind, werden Sie es gar nicht sein.

LLM-Labore entscheiden, mit welchen räumlichen Plattformen sie sich integrieren. Die frühen Integrationen setzen die Standardeinstellungen. Standardeinstellungen bleiben hängen.

Dass Unity MCP ausgeliefert hat, hat die Kategorie validiert. Wir sagen seit Jahren „Das Modell sollte die Runtime über einen typisierten Vertrag steuern.” Es ist jetzt leichter, gehört zu werden, wenn ein 30-Milliarden-Dollar-Konkurrent dasselbe sagt.

Der Patentbestand gibt uns IP-Vorlauf. Die Patente sind erteilt, das Prioritätsdatum ist solide, und die Architektur, die sie abdecken, ist die Architektur, auf die die Branche zusteuert.

Und ein Jahr konzentrierten Bauens seit 2025 hat eine Runtime hervorgebracht, die tatsächlich bereit ist. Der MCP-Server ist real. Die Adapter landen. Das Wärmebudget wird respektiert. Der Latenz-Zielwert wird erreicht. Die Sub-Millimeter-Ankerung funktioniert. Die achtzehn DLLs sind unter Linux grün. Die 100-Prozent-Testquote hält sich seit drei Monaten.

Das ist der Moment, eine Flagge zu setzen.

Abschnitt 6. Was als Nächstes kommt

Konkrete Arbeit, ehrlich benannt, damit sie erledigt wird.

• Echte Adapter End-to-End. Runway. Veo. Von Partnern bereitgestellt. Die Stubs haben den Dispatch-Pfad bewiesen. Der nächste Schritt ist ein echtes Modell hinter einem echten Adapter, öffentlich demonstriert, End-to-End.
• Produktions-Deployment-Harness. Service-Vorlage, Umgebungsvariablen-Konfiguration, Health-Check-Endpunkt, sauberes Herunterfahren, Container-Paketierung. Nicht glamourös. Notwendig.
• Multi-Provider-Fallback. Wenn der primäre Adapter langsam oder nicht verfügbar ist, leitet der Server auf einen sekundären um. Die Form ist unkompliziert. Die Tests werden die eigentliche Arbeit sein.
• Adapter-Bounty-Programm. Sobald ein Adapter ausgeliefert ist, den Vertrag veröffentlichen und das Ökosystem einladen, weitere zu schreiben. Unsere Aufgabe hört auf, „jedes Modell integrieren” zu sein, und wird zu „die Implementierungen prüfen”.
• Partnerschaftsgespräche auf beiden Seiten. Hardwarepartner auf der einen Seite, Modell-Labore auf der anderen. Die Runtime ist das Bindeglied zwischen ihnen. Das ist die Position, die die Patente vor über einem Jahrzehnt aufgebaut haben, und die sich die Engine seit 2025 verdient.

Schluss

Die Runtime, in der Ihre KI in der realen Welt lebt. Die Kategorie, die die Patente vor über einem Jahrzehnt vorweggenommen haben, und auf die die Engine seit 2025 hinbaut. Samstagmorgen, wir haben einen Namen dafür.

Wenn Sie in einem Modell-Labor, einem Brillen-Hardware-Unternehmen oder einem Studio arbeiten, das 2027 räumliche Erlebnisse ausliefern möchte: Der Vertrag ist bereit, und die Belege sind öffentlich. Drei Links zum Weiterlesen:

• Die MCP-Oberfläche: /mcp
• Die Smart-Glasses-Runtime: /smart-glasses
• Die Geschichte für LLM-Hersteller: /llm-makers

Samstag. Kaffee ausgetrunken. Zurück an die Engine.