5 Patente | 9.500+ API-Endpunkte | 18 native DLLs | Die KI-native räumliche Game-Engine — jetzt im Early Access
Für die Technik-Leads von Smart-Glasses-OEMs

Das Spatial-Runtime, das Smart-Glasses-OEMs lizenzieren—statt es selbst zu bauen.

RakuAI ist ein LLM-anbieterneutrales Spatial-Runtime, das OEMs lizenzieren statt es selbst zu bauen. Phase 1 Beachhead: Meta Ray-Ban Display PWA — eine installierbare Web-App aus dem Browser der Brille, eine MCP-Oberfläche, die Claude, ChatGPT, Gemini oder Copilot steuern kann, und ein Thermal-/Latenz-Budget, abgestimmt auf am Kopf getragene Displays. Phase 2 Roadmap: Android XR + natives SDK (Q3 2026–2027). Wir konkurrieren nicht mit deiner Hardware — wir sorgen dafür, dass die KI-Erlebnisse darauf früher live gehen.

Geschrieben für Engineering- und Partnerschafts-Leads bei Meta, Samsung, Google, Xreal, Rokid und anderen, die 2026–2027 Brillen ausliefern. Ehrlich darüber, was ausgeliefert ist, was nur als Referenz existiert und was hardware-abhängig ist. Kein unterzeichneter OEM-Partner wird behauptet.

Mitglied von NVIDIA Inception AWS Activate Microsoft for Startups Mehr lesen ↓
OEM-Partnerschaft anfragen → OEM-Phasen-Roadmap ansehen ↓
MCP-gesteuerte räumliche Überlagerung auf Smart Glasses Ein Kopf mit Smart Glasses und einem räumlichen Heads-up-Display-Overlay. Die Brille zeigt ein MCP-gesteuertes Fähigkeits-HUD, das Antworten im realen Raum des Trägers verankert: ein Anker-Marker mit der Bezeichnung „Schlüssel", ein Szenenabfrageergebnis und ein MCP-Tool-Aufruf-Badge, das zeigt, wie ein LLM das RakuAI-Runtime von der Brille aus steuert. Fähigkeits-HUD MCP-gesteuert · weltraum-verankert scene_query("wo sind meine Schlüssel") Anker: Kücheninsel links von der Obstschale · 0,6 mm in der Brille zurückgesprochen

Was heute pro Plattform live ist.

Wir ordnen die RakuAI-Funktionen den drei Plattformen zu, die für Brillen im Zeitfenster 2026 zählen. ✅ live. 🟡 teilweise / hinter einem Flag. ⏳ auf der Plattform-Roadmap. ❌ derzeit kein Weg. Fußnoten unter der Tabelle.

Funktion Meta Ray-Ban Display
Verfügbar		 Android XR (Samsung & Partner)
Launch-Fenster Q3 2026		 Apple Vision Pro
noch offen
PWA-installierbarer Web-App-Einstieg vom GerätRakuAI wird als installierbare PWA verteilt — ohne App-Store-Hürde. ✅Startbarer Web-App-Pfad auf Meta AI-Brillen1 ✅Chrome auf Android XR unterstützt PWAs2 ❌visionOS leitet auf nativ; wir liefern einen WebXR-Fallback3
MCP-Server-Zugriff (Claude / ChatGPT / Gemini steuern das Runtime)Gehostetes MCP über HTTPS + stdio für Desktop-KI-Assistenten. ✅über das Begleit-Telefon / Cloud-MCP ✅Gemini-on-device oder Cloud-MCP funktionieren beide 🟡Cloud-MCP funktioniert; On-Device-Pfad ist Roadmap
Capture-aus-der-Brille-Ablauf (einen Raum scannen, ihn dem LLM übergeben)Rohbilder + IMU → Cloud-Rekonstruktion → erkundbares Splat in Minuten. 🟡Capture heute über das Begleit-Telefon4 ⏳direkt aus der Brille zum Plattform-Launch ⏳wartet auf Kamera-Zugriffs-Schnittstelle
Echtzeit-Szenenabfrage (frag “Was ist in der Küche?” und erhalte eine strukturierte Antwort)Räumliche Abfrageschicht über der rekonstruierten Szene; heute verfügbar. ✅nach dem Capture; Live-Szenenabfrage ist Roadmap ✅heute derselbe Pfad wie bei Meta ✅über WebXR + Cloud-MCP
Multi-LLM-Treiber (Claude, ChatGPT, Gemini, Copilot)Anbieterneutral — die LLM-Wahl trifft die Nutzerin, nicht die Plattform. ✅alle vier steuern heute RakuAI MCP ✅alle vier; Gemini erhält erstklassigen On-Device-Zugang ✅zum Launch nur Cloud
  1. Gemäß Metas öffentlichem Launch-Material zum Ray-Ban Display: Das Gerät unterstützt installierbare Web-Apps über die Web-Schnittstelle der Brille. Wir haben keine Partnerschaft mit Meta geschlossen und behaupten das auch nicht — wir sind mit dem öffentlichen Web-App-Einstiegspunkt kompatibel.
  2. Android XR folgt dem Standard-Installationspfad für Chrome-PWAs. Wir haben keine Partnerschaft mit Samsung oder Google geschlossen.
  3. visionOS stellt derzeit keinen brillen-äquivalenten Pfad für installierbare PWAs bereit. Unser visionOS-Plan ist WebXR + eine separate native Shell als Folgeschritt.
  4. “Capture aus der Brille heute” bedeutet: Die Nutzerin trägt das Ray-Ban Display, das Begleit-Telefon führt unsere PWA aus, und das Telefon ist die maßgebliche Kamera-Quelle. Direkte Bilderfassung aus der Brille kommt, sobald der OEM die Frame-API bereitstellt.

Drei Phasen. Ein Lizenzmodell.

Die Go-to-Market-Strategie ist nach Plattformreife gestaffelt — nicht nach RakuAIs Zeitplan. Wir treffen dein Gerät auf den öffentlichen Oberflächen, die es bereits bereitstellt, und vertiefen die Integration, sobald du bereit bist.

Phase 1 — Beachhead

Meta Ray-Ban Display PWA · Ziel Q3 2026

  • Einstieg: Installierbare PWA aus dem eingebetteten Browser der Brille — keine App-Store-Hürde, kein SDK-Install auf deinem Gerät
  • MCP-Oberfläche: 17 native Tools + 6 universelle Passthrough-Tools, live für Claude, ChatGPT, Gemini, Copilot
  • Capture: Begleit-Telefon als Kamera heute; direktes Capture aus der Brille, wenn die Frame-API des OEM verfügbar ist (hardware-abhängig)
  • Architektur: Telefon als Compute (Telefon übernimmt KI/Physik, Brille zeigt an + trackt)
  • Ehrliches Label: PWA-Pfad ist referenzbereit; kein Co-Marketing oder Vorinstallation mit Meta vereinbart

Phase 2 — Plattform

Android XR + natives SDK · 2027

  • Einstieg: Derselbe PWA-Pfad verallgemeinert sich über die standardisierte Chrome-Oberfläche von Android XR
  • Natives SDK: raku-runtime als native DLLs mit einer OpenXR-kompatiblen Session-Schicht — in den Compositor, Hand-Tracking-Pipeline oder Display-Treiber des OEM eingebunden
  • SDK-Docs-Ziel: Partner-grade Docs Q4 2026; 8–12 Entwickler-Wochen Integrationsaufwand
  • Partner: Samsung Galaxy XR + Android XR Lizenznehmer; Xreal, Rokid, Vision Pro Browser mit demselben gestaffelten Angebot
  • Ehrliches Label: Android XR Launch-Fenster abhängig vom Plattformplan; kein unterzeichneter OEM

Phase 3 — Fan-out

Xreal / Rokid / Galaxy XR / Vision Pro · 2027+

  • Long-Tail-Geräteunterstützung über den Browser-Pfad
  • Offline-/Unterbrechungsresilienz für Brillen mit niedrigeren Spezifikationen
  • Wiederholbarer Selbst-Qualifizierungs-Prozess → PWA-Pilot → SDK-Pipeline
  • Co-vermarktete Launch-App für einen Tier 3 strategischen Partner
  • NVIDIA Inception Warm Intros in das XR-OEM-Ökosystem BD

NVIDIA Inception Netzwerk: RakuAI wurde im Mai 2026 in NVIDIA Inception aufgenommen. Dieses Netzwerk bietet Warm Intros in das XR-Hardware-Ökosystem — viele Brillen-OEMs und ihre Silizium-/Optiklieferanten sind Inception-Mitglieder oder NVIDIA-Partner.

OEM-Integration, Schritt für Schritt.

Wische durch den Weg vom ersten Gespräch bis zur gemeinsamen Auslieferung. Kein SDK-Lock-in — wir treffen dein Gerät auf den öffentlichen Web-Oberflächen, die es bereits bereitstellt.

MCP aus der Brille, in einem Diagramm.

Ein LLM auf der Brille spricht über die PWA mit RakuAIs MCP-Schnittstelle — entweder über eine stdio-Brücke zum Begleitgerät oder über HTTPS zum gehosteten MCP. Das Runtime antwortet in räumlichen Primitiven: Anker, Posen, Szenenabfragen, Splat-Handles.

Architekturdiagramm MCP aus der Brille Ein LLM auf der Brille sendet eine MCP-Anfrage über die installierbare PWA an das RakuAI-Runtime; das Runtime stellt auf dem Produktionsserver 17 native MCP-Tools bereit (5 read-only + 12 mutation), davon ~12 brillen-relevant (6 core capture/scene plus 6 xr_ adapter tools), führt räumliches Reasoning über die erfasste Szene aus und liefert eine strukturierte Antwort, die der Assistent in der Brille zurückspricht. Smart Glasses LLM auf der Brille / On-Device-Assistent "Wo habe ich meine Schlüssel gelassen?" … Sprachantwort … "Auf der Kücheninsel, links von der Obstschale." Installierbare PWA rakuai.com/capture-app/ Kamera + IMU + Audio WebXR / WebGPU stdio MCP bridge JWT → hosted MCP stdio | https Anfrage / Antwort Streaming-Events Connect-Token-Flow RakuAI MCP 6 core + 6 xr_ adapter tools(von 17 nativen MCP-Tools) · capture_create · capture_status · scene_query · scene_describe · capture_list · capture_open · xr_get_session · xr_set_head_pose · xr_simulate_input · xr_create_anchor · xr_list_anchors · xr_remove_anchor raku-runtime C++ engine Räumliches Reasoning Splat-/Mesh-Speicher Anker + Posen Berechtigung & Scope ~9.500 API-Endpunkte 18 native DLLs strukturierte Antwort { object_id, pose,   confidence } MCP-Anfrageablauf — funktioniert gleich, ob das LLM on-device, in der Cloud oder auf einem Desktop läuft, der die Brille steuert.

Beide Hälften sind real und live. Der Produktions-MCP-Server stellt 17 native Tools bereit (5 read-only + 12 mutation) — das vollständige Inventar siehe spatial-engine.html. Die ~12 brillen-relevanten teilen sich auf in: 6 core capture/scene tools (auf der MCP-Seite dokumentiert) und 6 xr_ adapter tools (Session-, Head-Pose-, Input- und Anker-Primitive für brillengesteuerte Abläufe). Das gehostete MCP läuft auf Azure Container Apps in East US.

Roadmap, ehrlich.

Drei Spalten, drei Zeithorizonte. Wir versprechen nicht, was wir nicht liefern können, und wir kennzeichnen, was von Plattformverhalten abhängt, das wir nicht kontrollieren.

Jetzt verfügbar

Produktion · Mai 2026

  • Installierbare PWA unter rakuai.com/capture-app/
  • Capture → Cloud-Rekonstruktion (GLOMAP + Brush, .spz-Ausgabe)
  • 17 native MCP-Tools (5 read-only + 12 mutation) live für Claude, ChatGPT, Gemini, Copilot — das vollständige Inventar siehe spatial-engine.html
  • 6 xr_ adapter tools (Session, Head-Pose, Input, Anker)
  • Räumliche Abfrageschicht über rekonstruierten Szenen
  • Mandantenfähige Accounts, JWT-Authentifizierung, gehostetes MCP auf Azure

Launch-Fenster Q3 2026

Abgestimmt auf den Android-XR-Launch

  • Capture aus der Brille (Bildquelle = Ray-Ban Display / Android-XR-Kamera)
  • WebGPU-Splat-Training clientseitig (Pfad ohne Cloud-Roundtrip)
  • Live-Szenenabfrage während des Captures (nicht nur danach)
  • OEM-SDK-Preview unter NDA
  • GPU-Rekonstruktion auf NVIDIA A10 / G5 / H100 (Credits in Anflug)

2027

Abhängig von Plattform-Schnittstellen

  • Native visionOS-Shell (bis dahin WebXR-Fallback)
  • On-Device-SLM für Compute-Budgets der Brillen-Klasse
  • Patent-Lizenzprogramm für OEMs, die es wünschen
  • Gemeinsam vermarktete Launch-App für einen oder mehrere OEM-Partner
  • Echtzeit-Sim-to-Real für Robotik- + agentische Brillen-Workflows

Was wir nicht versprechen: dass ein bestimmter OEM unsere PWA vorinstalliert, dass ein bestimmter LLM-Anbieter standardmäßig über uns leitet, oder dass Kamera-APIs, die wir nicht kontrollieren, im gewünschten Zeitrahmen existieren. Wir entwickeln gegen die öffentlichen Schnittstellen und lassen die Plattformen entscheiden.

Das IP-Portfolio hinter dem Runtime.

Fünf erteilte US-Patente, Priorität Juli 2012, Portfolio bis Juli 2032. Die Architektur, die diese Seite beschreibt, ist die Architektur, die diese Patente vorhergesagt haben.

Was die Ansprüche abdecken

  • Dual-Modus-Funkkommunikation (niedrige Latenz + hohe Bandbreite)
  • Architektur aus Smart Glasses + Telefon-/Compute-Host
  • Render-Auslagerung vom Compute-Host an die Brille
  • Synchronisierung des Multiplayer-Weltzustands
  • World-Streaming (Szenen-Delta-Übertragung, kein Video)

Diese Patente sind älter als Meta Ray-Ban (2021), Xreal Air (2022), Meta Ray-Ban Display (2024–25) und Android XR (2026). Für OEMs, die einen klaren Weg bei Ansprüchen auf Architekturebene wollen, bieten wir Lizenzierung zusätzlich zur Partnerschaft an.

Zeitleiste des Patentportfolios: Priorität Juli 2012, Erteilungen von 2015 bis 2018, während die Industrie ab 2021 AR-Brillen ausliefert, und das Portfolio läuft bis Juli 2032. 2012 Priorität 2015–18 5 Patente erteilt 2021–26 Industrie liefert AR-Brillen 2032 Portfolio läuft bis

Technische Belege.

Gemessene Zahlen aus einem Runtime, das von Tag eins gegen die Beschränkungen von Brillen ausgelegt ist. Das sind keine Plattform-Behauptungen — es ist das, was RakuAI selbst anstrebt und beobachtet.

18 ms
Motion-to-Photon-Latenz
0.5–0.8 mm
Positionsgenauigkeit bei 40 cm
0.3 mm
Pose-Jitter (Kalman-gefiltert)
90 Hz
Render-Rate der Brille
60 Hz
Physik-Rate des Telefons
~20 Hz / 400–1400 B
Szenen-Delta-Sync (kein Video)
3 Thermalmodi
Performance / Balanced / Low Power
71-Gelenk-Skelett
Ganzkörper-Tracking
2–4×
Performance-Gewinn durch foveiertes Rendering

Phone-as-Compute-Architektur.

Die Aufteilung, die die Patente von 2012 vorhergesagt haben — heute die einzige Architektur, die unter dem Thermalbudget der Brille auslieferbar ist.

Phone-as-Compute-Architektur: Das Telefon führt Physik, KI, Spielzustand und Asset-Streaming aus, verbunden mit der Brille über Wi-Fi 7 mit Szenen-Delta und optischem Fallback, während die Brille Rendering, Pose-Vorhersage und visuelle Odometrie übernimmt. Telefon — Compute Physik — 60 Hz fix KI-Verhalten & Spielzustand Asset-Streaming Weltmodell-Orchestrierung Brille — Display Rendering — 90 Hz Pose-Vorhersage Foveiertes Rendering IMU + visuelle Odometrie Szenen-Delta ~20 Hz Wi-Fi 7 · optischer Fallback Sensor-Uplink kein Video-Streaming

Das Telefon führt die Welt aus

Physik (60 Hz fix), KI-Verhalten, Spielzustand, Asset-Streaming.

Die Brille zeigt die Welt an

Lokale Pose-Vorhersage, foveiertes Rendering, IMU + visuelle Odometrie.

Die Verbindung erledigt den Rest

Szenen-Delta über Wi-Fi 7 (mit optischem Fallback, wo verfügbar), Sensor-Uplink, kein Video-Streaming erforderlich.

Geräteunterstützung heute.

OpenXR-konform, wo möglich. Hersteller-Erweiterungen, wo nötig. PWA-Pfad, wo verfügbar.

Meta Quest 3
Meta Ray-Ban Display
Xreal Air / Air 2 / One
Samsung Android XR
MiRZA AR2
Rokid
Apple Vision Pro (WebXR)
Künftige OpenXR-konforme Geräte

Drei konkrete Wege zur Zusammenarbeit.

Wähl die Spur, die zum Stand deines Teams passt. Das erste Gespräch halten wir kurz.

1. Funktionsanfrage

Du evaluierst Runtime-Partner und willst eine schriftliche Antwort dazu, wie RakuAI auf dein konkretes Gerät, dein OS und deine Launch-Meilensteine für 2026 passt. Schick uns deine Plattform-Beschränkungen, und wir antworten mit dem, was heute real ist und was wir für deinen Launch liefern müssten.

Kontakt aufnehmen →

2. Integrationsspezifikation

Briefing auf Engineering-Ebene: PWA-Einstiegsschnittstelle, MCP-Transport, Capture-Flow-API, Berechtigungsmodell und die OEM-seitigen Hooks, die wir empfehlen würden. Wir entwerfen die öffentliche Version noch — frag nach, und wir senden dir den aktuellen Stand direkt.

Spezifikation anfordern →

Das öffentliche Dokument ist im Entwurf — rechne in einem Folgeschritt mit einer /docs/oem-integration-spec.html-URL.

3. Early-Access-SDK-Preview

Zugang unter wechselseitigem NDA zu den xr_ adapter tools, der Capture-aus-der-Brille-Preview und der clientseitigen WebGPU-Splat-Pipeline vor dem Launch-Fenster Q3 2026. Begrenzt auf eine kleine Zahl von OEM-Partnern.

NDA starten →

Wir unterzeichnen wechselseitige NDAs zu Standardbedingungen; die Bearbeitung dauert Tage, nicht Wochen.

Wenn du vor dem Schreiben tiefer einsteigen willst.

Die vier Seiten, die Partner vor einem ersten Gespräch am häufigsten lesen.

Spatial Engine →
Das C++-Runtime — 18 native DLLs, ~9.500 API-Endpunkte, die Plattform, auf der die MCP-Schnittstelle aufsetzt.
MCP Server →
Die Sechs-Tool-MCP-Schnittstelle, mit der Claude, ChatGPT, Gemini und Copilot das Runtime steuern. In Produktion seit März 2026.
Why RakuAI →
Das ausführlichere Argument für eine KI-native räumliche Engine — eine API für Web, Native und XR.
Engineering-Blog →
Build-Log mit dem MCP-Adapter-Beitrag, der NVIDIA-Inception-Ankündigung und den Raku-Capture-Beiträgen.
NVIDIA Inception Member

RakuAI ist NVIDIA Inception-Mitglied. Derselbe NVIDIA-beschleunigte 3D-Gaussian-Splatting-Stack, den wir in Raku Capture ausliefern, treibt den oben beschriebenen brillengesteuerten Scan-Ablauf an. Mehr lesen →

NVIDIA Inception ist ein kostenloses Programm für KI-Startups; die Mitgliedschaft von RakuAI bedeutet nicht, dass NVIDIA die Produkte von RakuAI befürwortet. Mehr unter nvidia.com/startups.

Aufgebaut auf AWS Microsoft for Startups

RakuAI ist auf AWS aufgebaut und AWS Activate-Teilnehmer. Die Produktionsrekonstruktion läuft heute auf Azure; AWS GPU-Kapazität (G5 / G6e) ist auf unserer Roadmap, ehrlich gegatelt bis die Quote verfügbar ist.

„AWS" und „AWS Activate" sind Marken von Amazon.com, Inc. oder seinen Tochtergesellschaften. RakuAIs Teilnahme impliziert nicht, dass AWS die Produkte von RakuAI befürwortet.