楽AI™ — Die universelle Runtime für World Models  |  Für Studios & Entwickler →    Außerdem: Consumer-Demo ausprobieren →
Mitglied von NVIDIA Inception Aufgebaut auf AWS Microsoft for Startups Mehr erfahren ↓
SPATIAL ENGINE

Die C++-Runtime, die ein LLM steuern kann

18 native DLLs, 30.738 exportierte Funktionen und ein MCP-Server, der Claude, GPT oder ein beliebiges Modell eine lebende räumliche Szene steuern lässt. Kein Unity/Unreal-Ersatz — eine Spatial-AI-Runtime mit transparenten Internals, gegen die Sie linken können.

Eine Szene in 10 Min. steuern ↓ Ehrlicher Vergleich mit Unity / Unreal

RakuAI Spatial Engine: LLM-gesteuerter Runtime-Stack Ein Schichtdiagramm, das LLMs (Claude, GPT, Gemini, Copilot) oben zeigt, verbunden über 17 MCP-Tools und etwa 9.500 REST-Endpunkte mit der räumlichen RakuAI-Runtime, die auf einer Grundlage von 18 nativen C++-DLLs mit 30.738 Exporten ruht und auf XR-Headsets, Smart Glasses und Desktop abzielt. Ihr LLM Claude · ChatGPT · Gemini · Copilot · lokal 17 native MCP-Tools + ~9.500 REST-Endpunkte via api_call Räumliche Runtime Physik Renderer / XR Animation Räumliches Audio SLM / KI / Sprache 18 native C++-DLLs · 30.738 Exporte OpenXR 1.1 · DirectX 12 + Vulkan · CMake / MSVC · 5 erteilte US-Patente XR-Headsets · Smart Glasses · Desktop · Robotik
18
Native C++-DLLs
30.738
Exportierte Funktionen
17
Native MCP-Tools
~9.500
REST-Endpunkte via api_call

Eine Szene in 10 Minuten steuern

Der reibungsärmste Weg: der MCP-Server gegen Claude Desktop oder Cursor. Keine Installation eines C++-SDK erforderlich, um zu starten.

1

MCP-Server klonen und einrichten

Der MCP-Server liegt unter src/mcp/ im Repo raku-runtime. Es ist ein Python-Server — keine C++-Toolchain nötig, um mit einer laufenden Instanz zu kommunizieren.

# einmalige Einrichtung
git clone https://github.com/RakuXR/raku-runtime
cd raku-runtime/src/mcp
pip install -r requirements.txt
2

Claude Desktop auf den Server zeigen lassen

Fügen Sie den MCP-Server-Eintrag zu Ihrer claude_desktop_config.json hinzu. Claude Desktop erkennt ihn beim Neustart automatisch.

{
  "mcpServers": {
    "raku-runtime": {
      "command": "python",
      "args": ["path/to/raku-runtime/src/mcp/server.py"]
    }
  }
}
3

Claude bitten, Ihre Szene zu steuern

Claude verfügt nun über 17 native MCP-Tools und einen Passthrough zu ~9.500 REST-Endpunkten. Objekte spawnen, den Szenengraphen abfragen, Physik ausführen — alles in natürlicher Sprache.

# Beispiel-Prompt für Claude
"Spawne einen Starrkörper-Würfel an Position (0, 2, 0),
 wende einen Aufwärtsimpuls von 5 N an und liste
 die Szenenknoten nach 1 Sekunde auf."
4

Tiefer einsteigen: eine DLL direkt linken

Wenn Sie MCP entwachsen, linken Sie RakuXR.dll oder RakuRenderer.dll direkt. Alle 30.738 Exporte sind öffentliche Symbole — dumpbin /exports zeigt sie alle, keine Blackbox.

Vollständige Claude-Desktop-Integrationsanleitung →

17 native MCP-Tools — bringen Sie Ihr eigenes Modell mit

Der MCP-Server stellt eine kuratierte Reihe szenenbewusster Tools sowie einen universellen api_call-Passthrough bereit, der die vollständige REST-API mit ~9.500 Endpunkten zugänglich macht. Bringen Sie Claude, GPT, Gemini, Copilot oder ein lokales Modell mit — kein Modell-Lock-in.

scene_query
Den Szenengraphen lesen — Knoten, Transformationen, Eigenschaften
scene_spawn
Entitäten mit Komponenten in die lebende Szene spawnen
scene_transform
Welttransformationen an einem beliebigen Knoten lesen oder setzen
physics_apply
Kräfte, Impulse oder Constraints zur Laufzeit anwenden
animation_play
Animationszustände auf Skelett-Rigs auslösen oder überblenden
asset_load
Assets von Datenträger oder URL in die Szene streamen
anchor_create
Weltverankerte räumliche Anker über Sitzungen hinweg fixieren
audio_play
Räumliches Audio an einer 3D-Position auslösen
render_capture
Ein Bild oder einen Stream vom Renderer erfassen
script_run
Lua-Skripting im Szenenkontext ausführen
xr_session
OpenXR-Sitzung, Kopfpose und Tracking-Status verwalten
input_inject
Synthetische Eingabe-Events für Testautomatisierung einspeisen
debug_inspect
Laufzeit-Diagnose, Speicher und Frame-Statistiken auslesen
ui_update
Räumliche UI-Panels und Overlay-Inhalte verändern
network_sync
Multiplayer-Szenen-Delta-Zustand pushen oder abfragen
splat_load
Ein 3D-Gaussian-Splat als vollwertiges Szenenobjekt laden
api_call
Universeller Passthrough zu allen ~9.500 REST-Endpunkten

Vollständiges agentengesteuertes Szenen-Authoring (Spawnen, Animieren, Skripten, Verankern — der gesamte Loop) ist das Roadmap-Ziel von Phase 2. Die heutigen 17 Tools decken Abfrage, Spawn, Transformation, Physik und Asset-Operationen ab. MCP-Server-Dokumentation →

Splat-nativ: erfasste Realität als Szenenobjekt

Die Engine ist das Substrat für Raku Capture. Ein mit einer Handykamera erfasstes 3D-Gaussian-Splat wird zu einem vollwertigen Szenenobjekt — positioniert, verankert und für jedes LLM über dieselben MCP-Tools wie jede andere Entität adressierbar. Derselbe Runtime-Pfad läuft auf XR, Desktop und Glasses.

Capture → Szene in einer Pipeline

splat_load streamt eine erfasste .spz-Datei in die lebende Szene. Das Splat erbt sofort Szenengraph, Physik und Anker-Subsysteme.

Vom ersten Tag an LLM-adressierbar

Bitten Sie Claude, ein erfasstes Objekt zu bewegen, abzufragen, was im Splat steckt, oder es an einer realen Position zu verankern — die MCP-Oberfläche behandelt ein Splat wie jeden anderen Knoten.

OpenXR-Anzeigepfad inklusive

RakuXR rendert das Splat durch dieselbe foveierte, bis zu 120 Hz-fähige Pipeline, die für alle Szeneninhalte verwendet wird — kein separater Viewer.

Mehr über Raku Capture erfahren →

Weltverankert, bis auf den Submillimeter

Sensorfusion speist das Szenenverständnis, das Anker setzt, die ihre Position über Sitzungen und Geräte hinweg halten.

Räumliche Verankerung: Eine Pipeline von Sensorfusion über Szenenverständnis zu Ankern speist ein perspektivisches Raumraster, in dem weltverankerte Ankerpunkte ihre Position mit Submillimeter-Präzision halten. Sensorfusion IMU · Kameras · Tiefe Szenenverständnis Ebenen · Meshes · Semantik Räumliche Anker weltverankert · persistent < 1 mm Drift

Im Inneren der Runtime

Blättern Sie durch die Pipeline und die 18 nativen DLLs, aus denen die Engine besteht — gruppiert nach ihrer Funktion.

PHYSIK — RakuPhysics

Physik-Engine

3D-Physik in Produktionsqualität mit Starrkörpern, Constraints, Raycasting und Kollisionserkennung. Deterministische Simulation mit Submillisekunden-Schrittzeiten selbst auf mobiler XR-Hardware. Vollständig über das MCP-Tool physics_apply adressierbar — ein LLM kann Kräfte anwenden, den Kollisionszustand abfragen und Constraints aus einem natürlichsprachlichen Prompt verändern.

  • Starrkörper, Gelenke, Constraints, Raycasting
  • Deterministischer Schritt — reproduzierbare Replays und agentengesteuerte Simulation
  • Submillisekunden-Schritt auf mobiler XR-Hardware
  • 1.278 exportierte Funktionen in RakuPhysics.dll
Wesentlicher Vorteil: Konsistente, zuverlässige Physik über VR, Desktop und mobil hinweg — keine plattformspezifische Abstimmung. Derselbe Schritt, der im Headset läuft, läuft headless in einer Agent-Eval.
VFX — RakuRenderer

Partikelsystem & VFX

GPU-beschleunigtes Partikelsystem mit genrespezifischen VFX-Presets. Unterstützt Emitter, Attraktoren, Kollision und LOD-Skalierung. Automatisches Budget-Management hält die Bildraten auf XR-Hardware bei 72–120 Hz konstant. Der Renderer nutzt DirectX 12 mit einem Vulkan-Back-End (RakuVulkan) — beide Pfade exportieren über RakuRenderer.dll (3.677 Exporte).

Wesentlicher Vorteil: Cinematische VFX, die mit der Hardware skalieren — ohne manuelle Optimierung. Derselbe Budget-Manager, der Partikel steuert, steuert agenteneingespeiste Szenenmutationen.
ANIMATION — RakuAnimation

Animationssystem

Skelettanimation mit Blend Trees, State Machines, IK und Retargeting. Unterstützt gleichzeitig animierte Charaktere mit flüssigen Übergängen und Blending zur Laufzeit. Das MCP-Tool animation_play lässt ein LLM Animationszustände direkt auslösen oder überblenden — keine eigene Integration erforderlich.

  • Blend Trees, State Machines, IK, Retargeting
  • Blending zur Laufzeit — LLM-gesteuerte Übergänge
  • 1.900 exportierte Funktionen in RakuAnimation.dll
Wesentlicher Vorteil: Natürliche, reaktionsschnelle Charakteranimation ohne Einrichtung pro Charakter. Ein Agent kann das Charakterverhalten so steuern, wie es ein Regisseur tun würde — in natürlicher Sprache.
AUDIO — RakuAudio

Räumliches Audio

HRTF-basiertes räumliches 3D-Audio mit binauralem Rendering, Verdeckung, Hall-Zonen und adaptiven Musikebenen. Abgestimmt auf die Lautsprecher von XR-Headsets und Kopfhörer bei minimaler CPU-Last. Das MCP-Tool audio_play erlaubt es einem LLM, Klänge an jeder beliebigen 3D-Position in der Szene zu platzieren.

  • HRTF-binaurales Rendering — natürliche Richtungswahrnehmung
  • Verdeckung, Hall-Zonen, adaptive Musikebenen
  • 1.654 exportierte Funktionen in RakuAudio.dll
Wesentlicher Vorteil: Spieler können Geräusche im 3D-Raum natürlich orten — entscheidend für immersives XR. Agentenplatzierte Audio-Anker folgen dem Szenengraphen genau wie visuelle Objekte.

Ehrlicher Vergleich: RakuAI vs. Unity / Unreal

Wir sind kein Unity- oder Unreal-Ersatz. Wir gewinnen dort, wo sie schwach sind. Diese Tabelle bleibt öffentlich, weil das Vertrauen der Entwickler mehr zählt als Marketing-Spin.

Fähigkeit RakuAI Unity Unreal Engine
LLM steuert lebende Szene (MCP) Nativ — 17 Tools + Passthrough zu ~9.500 Endpunkten Nicht integriert; erfordert eigenes Plugin Nicht integriert; erfordert eigenes Plugin
Transparente native Exporte 30.738 öffentliche Symbole — gegen jede DLL direkt linken Geschlossene Runtime; IL2CPP-/Managed-Schicht Geschlossene Runtime; UObject-/Blueprint-Schicht
Thermisches Budget der Glasses-Klasse RakuSLM-On-Device-Inferenz; auf Sub-5-W-Hüllkurve abgestimmt Kein Designziel Kein Designziel
OpenXR 1.1 (Hand-/Eye-Tracking, Anker) RakuXR — 2.704 Exporte, volle OpenXR-Oberfläche Unterstützt über OpenXR-Plugin Unterstützt über OpenXR-Plugin
Splat / 3DGS als vollwertiges Szenenobjekt Nativ — MCP-Tool splat_load, in den Szenengraphen integriert Drittanbieter-Pakete; nicht szenengraph-nativ Drittanbieter-Pakete; nicht szenengraph-nativ
Editor-Tooling & Asset Store Frühe Phase — RakuEditor-DLL; noch kein grafischer Editor Branchenstandard-Editor; großer Asset Store Branchenstandard-Editor; Fab-Marktplatz
AAA-Konsolen-Pipeline Derzeit kein Ziel Volle Konsolen-Zertifizierungsunterstützung Volle Konsolen-Zertifizierungsunterstützung
Umfang der Dokumentation Spärlich — Phase 0 (Pro-DLL-Referenzen stehen aus) Umfangreich Umfangreich
Bring-your-own-LLM (kein Lock-in) Jedes MCP-kompatible Modell — Claude, GPT, lokal Kein natives Äquivalent Kein natives Äquivalent
Überprüfbarkeit der Export-Anzahl dumpbin-Ausgabe im Repo eingecheckt — auditierbar Nicht zutreffend — geschlossene Runtime Nicht zutreffend — geschlossene Runtime

Vollständiger ehrlicher Vergleich (mehr Subsysteme, Lizenzierung, Preise) → compare.html

Wo die Runtime heute steht

Wir veröffentlichen den ehrlichen Stand, damit Sie die Runtime anhand echter Fakten bewerten können, nicht anhand von Marketing.

Phase 0 — Die Runtime glaubwürdig & nutzbar machen

Ausgeliefert und glaubwürdig: 18 C++-DLLs mit 30.738 exportierten Funktionen (verifiziert via dumpbin /exports, getrackt in raku-runtime/dll_exports/ als CI-Artefakt). MCP-Server unter src/mcp/ mit 17 nativen Tools live. OpenXR-1.1-Unterstützung in RakuXR. NVIDIA-Inception-Mitglied (Mai 2026). 5 erteilte US-Patente (Priorität Juli 2012).

Aktiver Defekt: RakuAssets hat einen laufenden LNK2001-Linker-Fix. Die übrigen 17 DLLs sind CI-grün; ein sauberer 18/18-Build steht unmittelbar bevor, ist aber noch nicht bestätigt. Dieser Hinweis wird entfernt, sobald der Fix gelandet ist.

Noch offen (Phase-0-Aufgaben): Pro-DLL-Referenzdokumentation; eine veröffentlichte DLL-Fähigkeitsmatrix; das „Steuern Sie Ihre Szene in 10 Minuten“-Quickstart-Video. Erste eingebettete OEM-Auslieferungen sind Phase 1.

Hinweis zur Export-Anzahl: 30.738 ist die dokumentierte/Main-Baseline. Ein lokaler Release-Build eines ungemergten WIP-Branches zeigt +46 (30.784) — nur die Zahl 30.738 ist für die öffentliche Verwendung kanonisch.

Optimiert für XR — und für die thermische Hüllkurve von Glasses

Jedes Subsystem ist auf die anspruchsvollen Bildbudgets von VR- und AR-Headsets optimiert — und auf die engeren Einschränkungen von Smart-Glasses-Hardware, die Unity und Unreal nicht als Ziel haben.

120-Hz-XR-Rendering

Foveierte Render-Pipeline mit automatischem LOD hält Bildbudgets auf jeder Headset-Klasse ein.

On-Device-SLM-Inferenz

RakuSLM zielt auf die Sub-5 W-Hüllkurve von Smart-Glasses-Hardware — nicht auf gebundene GPU-Rigs.

Transparente Internals

Alle 30.738 Exporte sind öffentliche Symbole. Profilen und optimieren Sie auf C++-Ebene — keine Blackbox.

Mit dem MCP-Quickstart beginnen XR-Funktionen KI-Systeme

NVIDIA Inception Member

Die Engine, die Raku Capture antreibt, wird von einem NVIDIA-Inception-Mitglied entwickelt. Wir nutzen den NGC-Katalog des Programms, Partner-Cloud-Credits und DLI-Schulungen, um die räumliche Pipeline zu beschleunigen. Mehr erfahren →