楽AI™ — Le runtime universel pour les World Models  |  Pour les studios et développeurs →    Aussi : Essayer la démo grand public →
Membre de NVIDIA Inception Propulsé par AWS Microsoft for Startups En savoir plus ↓
MOTEUR SPATIAL

Le runtime C++ qu'un LLM peut piloter

18 DLL natives, 30 738 fonctions exportées et un serveur MCP qui permet à Claude, GPT ou n'importe quel modèle de commander une scène spatiale en direct. Pas un remplacement d'Unity/Unreal — un runtime d'IA spatiale aux composants internes transparents auxquels vous pouvez vous lier.

Piloter une scène en 10 min ↓ Comparaison honnête avec Unity / Unreal

RakuAI Moteur spatial : pile de runtime pilotée par LLM Un schéma en couches montrant les LLM (Claude, GPT, Gemini, Copilot) en haut, connectés via 17 outils MCP et environ 9 500 endpoints REST au runtime spatial RakuAI, qui repose sur une base de 18 DLL C++ natives exposant 30 738 exports, ciblant les casques XR, les lunettes connectées et le bureau. Votre LLM Claude · ChatGPT · Gemini · Copilot · local 17 outils MCP natifs + ~9 500 endpoints REST via api_call Runtime spatial Physique Renderer / XR Animation Audio spatial SLM / IA / Voix 18 DLL C++ natives · 30 738 exports OpenXR 1.1 · DirectX 12 + Vulkan · CMake / MSVC · 5 brevets US accordés Casques XR · lunettes connectées · bureau · robotique
18
DLL C++ natives
30 738
Fonctions exportées
17
Outils MCP natifs
~9 500
Endpoints REST via api_call

Piloter une scène en 10 minutes

La voie la moins contraignante : le serveur MCP face à Claude Desktop ou Cursor. Aucune installation de SDK C++ requise pour démarrer.

1

Clonez et configurez le serveur MCP

Le serveur MCP se trouve dans src/mcp/ du dépôt raku-runtime. C'est un serveur Python — aucune chaîne d'outils C++ nécessaire pour commencer à dialoguer avec une instance en cours d'exécution.

# configuration unique
git clone https://github.com/RakuXR/raku-runtime
cd raku-runtime/src/mcp
pip install -r requirements.txt
2

Pointez Claude Desktop vers le serveur

Ajoutez l'entrée du serveur MCP à votre claude_desktop_config.json. Claude Desktop la détecte automatiquement au redémarrage.

{
  "mcpServers": {
    "raku-runtime": {
      "command": "python",
      "args": ["path/to/raku-runtime/src/mcp/server.py"]
    }
  }
}
3

Demandez à Claude de piloter votre scène

Claude dispose désormais de 17 outils MCP natifs et d'un passthrough vers ~9 500 endpoints REST. Générez des objets, interrogez le graphe de scène, exécutez la physique — le tout en langage naturel.

# exemple de prompt pour Claude
"Génère un cube à corps rigide à la position (0, 2, 0),
 applique une impulsion ascendante de 5 N et liste
 les nœuds de la scène après 1 seconde."
4

Aller plus loin : lier une DLL directement

Lorsque vous dépassez MCP, liez RakuXR.dll ou RakuRenderer.dll directement. Les 30 738 exports sont des symboles publics — dumpbin /exports les affiche tous, aucune boîte noire.

Guide complet d'intégration Claude Desktop →

17 outils MCP natifs — apportez votre propre modèle

Le serveur MCP expose un ensemble organisé d'outils conscients de la scène ainsi qu'un passthrough universel api_call qui donne accès à l'API REST complète de ~9 500 endpoints. Apportez Claude, GPT, Gemini, Copilot ou un modèle local — aucun verrouillage de modèle.

scene_query
Lire le graphe de scène — nœuds, transformations, propriétés
scene_spawn
Générer des entités avec composants dans la scène en direct
scene_transform
Lire ou définir des transformations en espace-monde sur n'importe quel nœud
physics_apply
Appliquer des forces, impulsions ou contraintes à l'exécution
animation_play
Déclencher ou mélanger des états d'animation sur des squelettes
asset_load
Diffuser des assets depuis le disque ou une URL dans la scène
anchor_create
Fixer des ancres spatiales verrouillées au monde entre les sessions
audio_play
Déclencher de l'audio spatial à une position 3D
render_capture
Capturer une image ou un flux depuis le renderer
script_run
Exécuter du scripting Lua dans le contexte de la scène
xr_session
Gérer la session OpenXR, la pose de tête et l'état de suivi
input_inject
Injecter des événements d'entrée synthétiques pour l'automatisation des tests
debug_inspect
Lire les diagnostics d'exécution, la mémoire et les statistiques d'images
ui_update
Modifier les panneaux d'UI spatiale et le contenu d'overlay
network_sync
Pousser ou interroger l'état de delta de scène multijoueur
splat_load
Charger un splat gaussien 3D comme objet de scène de première classe
api_call
Passthrough universel vers les ~9 500 endpoints REST

La création (authoring) complète de scènes pilotée par agent (générer, animer, scripter, ancrer — la boucle complète) est l'objectif de la feuille de route de la Phase 2. Les 17 outils actuels couvrent l'interrogation, la génération, la transformation, la physique et les opérations sur les assets. Documentation du serveur MCP →

Natif des splats : la réalité capturée comme objet de scène

Le moteur est le substrat de Raku Capture. Un splat gaussien 3D capturé avec l'appareil photo d'un téléphone devient un objet de scène de première classe — positionné, ancré et adressable par n'importe quel LLM via les mêmes outils MCP que toute autre entité. Le même chemin de runtime s'exécute sur XR, bureau et lunettes.

Capture → scène en une seule pipeline

splat_load diffuse un fichier .spz capturé dans la scène en direct. Le splat hérite immédiatement du graphe de scène, de la physique et des sous-systèmes d'ancrage.

Adressable par LLM dès le premier jour

Demandez à Claude de déplacer un objet capturé, d'interroger ce qui se trouve dans le splat ou de l'ancrer à une position du monde réel — la surface MCP traite un splat comme n'importe quel autre nœud.

Chemin d'affichage OpenXR inclus

RakuXR rend le splat via la même pipeline fovéale capable de 120 Hz utilisée pour tout le contenu de scène — pas de visionneuse séparée.

En savoir plus sur Raku Capture →

Verrouillé au monde, au submillimètre près

La fusion de capteurs alimente la compréhension de la scène, qui fixe des ancres conservant leur position d'une session et d'un appareil à l'autre.

Ancrage spatial : une pipeline allant de la fusion de capteurs à la compréhension de la scène puis aux ancres alimente une grille de pièce en perspective où les points d'ancrage verrouillés au monde conservent leur position avec une précision submillimétrique. Fusion de capteurs IMU · caméras · profondeur Compréhension de la scène plans · maillages · sémantique Ancres spatiales verrouillées au monde · persistantes < 1 mm de dérive

À l'intérieur du runtime

Faites défiler la pipeline et les 18 DLL natives qui composent le moteur — regroupées par fonction.

PHYSIQUE — RakuPhysics

Moteur de physique

Physique 3D de qualité production avec corps rigides, contraintes, raycasting et détection de collisions. Simulation déterministe avec des temps de pas submilliseconde, même sur du matériel XR mobile. Entièrement adressable via l'outil MCP physics_apply — un LLM peut appliquer des forces, interroger l'état de collision et modifier des contraintes à partir d'un prompt en langage naturel.

  • Corps rigides, articulations, contraintes, raycasting
  • Pas déterministe — rejeux reproductibles et simulation pilotée par agent
  • Pas submilliseconde sur matériel XR mobile
  • 1 278 fonctions exportées dans RakuPhysics.dll
Avantage clé : Physique cohérente et fiable sur VR, bureau et mobile — sans réglage spécifique à la plateforme. Le même pas qui s'exécute dans le casque s'exécute sans interface dans une évaluation d'agent.
VFX — RakuRenderer

Système de particules & VFX

Système de particules accéléré par GPU avec presets VFX par genre. Prend en charge les émetteurs, attracteurs, collisions et la mise à l'échelle LOD. La gestion automatique du budget maintient les fréquences d'images verrouillées à 72–120 Hz sur le matériel XR. Le renderer utilise DirectX 12 avec un back-end Vulkan (RakuVulkan) — les deux chemins exportent via RakuRenderer.dll (3 677 exports).

Avantage clé : Des VFX cinématiques qui s'adaptent au matériel — sans optimisation manuelle. Le même gestionnaire de budget qui régit les particules régit les mutations de scène injectées par l'agent.
ANIMATION — RakuAnimation

Système d'animation

Animation squelettique avec arbres de mélange, machines à états, IK et retargeting. Prend en charge des personnages animés simultanés avec des transitions fluides et un mélange à l'exécution. L'outil MCP animation_play permet à un LLM de déclencher ou mélanger directement des états d'animation — aucune intégration personnalisée requise.

  • Arbres de mélange, machines à états, IK, retargeting
  • Mélange à l'exécution — transitions pilotées par LLM
  • 1 900 fonctions exportées dans RakuAnimation.dll
Avantage clé : Animation de personnages naturelle et réactive sans configuration par personnage. Un agent peut diriger le comportement des personnages comme le ferait un réalisateur — en langage naturel.
AUDIO — RakuAudio

Audio spatial

Audio spatial 3D basé sur HRTF avec rendu binaural, occlusion, zones de réverbération et couches musicales adaptatives. Réglé pour les haut-parleurs des casques XR et les écouteurs avec une charge CPU minimale. L'outil MCP audio_play permet à un LLM de placer des sons à n'importe quelle position 3D de la scène.

  • Rendu binaural HRTF — perception directionnelle naturelle
  • Occlusion, zones de réverbération, couches musicales adaptatives
  • 1 654 fonctions exportées dans RakuAudio.dll
Avantage clé : Les joueurs localisent naturellement les sons dans l'espace 3D — essentiel pour une XR immersive. Les ancres audio placées par l'agent suivent le graphe de scène comme les objets visuels.

Comparaison honnête : RakuAI vs. Unity / Unreal

Nous ne sommes pas un remplacement d'Unity ni d'Unreal. Nous l'emportons là où ils sont faibles. Ce tableau reste public car la confiance des développeurs compte plus que le marketing.

Capacité RakuAI Unity Unreal Engine
Le LLM pilote la scène en direct (MCP) Natif — 17 outils + passthrough vers ~9 500 endpoints Non intégré ; nécessite un plugin personnalisé Non intégré ; nécessite un plugin personnalisé
Exports natifs transparents 30 738 symboles publics — liez-vous à n'importe quelle DLL directement Runtime fermé ; couche IL2CPP / managée Runtime fermé ; couche UObject / Blueprint
Budget thermique de classe lunettes Inférence sur l'appareil RakuSLM ; réglée pour une enveloppe sub-5 W Pas un objectif de conception Pas un objectif de conception
OpenXR 1.1 (suivi mains/yeux, ancres) RakuXR — 2 704 exports, surface OpenXR complète Pris en charge via un plugin OpenXR Pris en charge via un plugin OpenXR
Splat / 3DGS comme objet de scène de première classe Natif — outil MCP splat_load, intégré au graphe de scène Packages tiers ; pas natifs du graphe de scène Packages tiers ; pas natifs du graphe de scène
Outils d'éditeur & magasin d'assets Phase précoce — DLL RakuEditor ; pas encore d'éditeur graphique Éditeur standard du secteur ; vaste magasin d'assets Éditeur standard du secteur ; place de marché Fab
Pipeline console AAA Pas un objectif actuel Support complet de certification console Support complet de certification console
Étendue de la documentation Limitée — Phase 0 (les références par DLL sont attendues) Étendue Étendue
Apportez votre propre LLM (sans verrouillage) Tout modèle compatible MCP — Claude, GPT, local Aucun équivalent natif Aucun équivalent natif
Vérifiabilité du nombre d'exports Sortie dumpbin versionnée dans le dépôt — auditable N/A — runtime fermé N/A — runtime fermé

Comparaison honnête complète (plus de sous-systèmes, licences, tarifs) → compare.html

Où en est le runtime aujourd'hui

Nous publions l'état honnête pour que vous puissiez évaluer le runtime sur des faits réels, pas sur du marketing.

Phase 0 — Rendre le runtime crédible & consommable

Livré et crédible : 18 DLL C++ avec 30 738 fonctions exportées (vérifiées via dumpbin /exports, suivies dans raku-runtime/dll_exports/ en tant qu'artefact CI). Serveur MCP dans src/mcp/ avec 17 outils natifs en direct. Support d'OpenXR 1.1 dans RakuXR. Membre de NVIDIA Inception (mai 2026). 5 brevets US accordés (priorité juillet 2012).

Défaut actif : RakuAssets fait l'objet d'un correctif d'éditeur de liens LNK2001 en cours. Les 17 autres DLL sont au vert en CI ; une compilation propre 18/18 est imminente mais pas encore confirmée. Cet avis sera retiré une fois le correctif intégré.

Encore dû (tâches de la Phase 0) : documentation de référence par DLL ; une matrice de capacités des DLL publiée ; la vidéo de démarrage rapide « pilotez votre scène en 10 minutes ». Les premiers déploiements OEM intégrés relèvent de la Phase 1.

Note sur le nombre d'exports : 30 738 est la référence documentée/de main. Une compilation Release locale d'une branche WIP non fusionnée affiche +46 (30 784) — seul le chiffre 30 738 est canonique pour un usage public.

Optimisé pour la XR — et pour l'enveloppe thermique des lunettes

Chaque sous-système est optimisé pour les budgets d'images exigeants des casques VR et AR — et pour les contraintes plus strictes du matériel de lunettes connectées que Unity et Unreal ne ciblent pas.

Rendu XR à 120 Hz

La pipeline de rendu fovéal avec LOD automatique respecte les budgets d'images sur chaque classe de casque.

Inférence SLM sur l'appareil

RakuSLM vise l'enveloppe thermique sub-5 W du matériel de lunettes connectées — pas les configurations GPU filaires.

Composants internes transparents

Les 30 738 exports sont des symboles publics. Profilez et optimisez au niveau C++ — aucune boîte noire.

Commencer par le démarrage rapide MCP Fonctionnalités XR Systèmes d'IA

Membre de NVIDIA Inception

Le moteur qui propulse Raku Capture est développé par un membre de NVIDIA Inception. Nous utilisons le catalogue NGC du programme, les crédits cloud des partenaires et la formation DLI pour accélérer la pipeline spatiale. En savoir plus →