18 DLLs nativas, 30.738 funções exportadas e um servidor MCP que permite ao Claude, GPT ou qualquer modelo comandar uma cena espacial ao vivo. Não é um substituto do Unity/Unreal — é um runtime de IA espacial com internals transparentes contra os quais você pode fazer link.
O caminho de menor atrito: o servidor MCP contra o Claude Desktop ou o Cursor. Nenhuma instalação do SDK C++ necessária para começar.
O servidor MCP fica em src/mcp/ no repositório raku-runtime. É um servidor Python — sem necessidade de toolchain C++ para começar a conversar com uma instância em execução.
Adicione a entrada do servidor MCP ao seu claude_desktop_config.json. O Claude Desktop o descobre automaticamente ao reiniciar.
Agora o Claude tem 17 ferramentas MCP nativas e um passthrough para ~9.500 endpoints REST. Crie objetos, consulte o scene graph, execute física — tudo em linguagem natural.
Quando o MCP ficar pequeno, faça link diretamente com RakuXR.dll ou RakuRenderer.dll. Todos os 30.738 exports são símbolos públicos — dumpbin /exports mostra todos, sem caixa-preta.
O servidor MCP expõe um conjunto curado de ferramentas cientes da cena, além de um passthrough universal api_call que dá acesso à API REST completa de ~9.500 endpoints. Traga Claude, GPT, Gemini, Copilot ou um modelo local — sem lock-in de modelo.
A autoria completa de cena conduzida por agente (criar, animar, scriptar, ancorar — o loop completo) é a meta de roadmap da Fase 2. As 17 ferramentas de hoje cobrem consulta, criação, transform, física e operações de assets. Documentação do servidor MCP →
O motor é o substrato do Raku Capture. Um splat gaussiano 3D capturado com a câmera de um celular se torna um objeto de cena de primeira classe — posicionado, ancorado e endereçável por qualquer LLM através das mesmas ferramentas MCP de qualquer outra entidade. O mesmo caminho de runtime roda em XR, desktop e óculos.
splat_load faz streaming de um arquivo .spz capturado para a cena ao vivo. O splat herda imediatamente o scene graph, a física e os subsistemas de ancoragem.
Peça ao Claude para mover um objeto capturado, consultar o que há no splat ou ancorá-lo a uma posição do mundo real — a superfície MCP trata um splat como qualquer outro nó.
RakuXR renderiza o splat pelo mesmo pipeline foveado capaz de 120 Hz usado para todo conteúdo de cena — sem visualizador separado.
A fusão de sensores alimenta a compreensão de cena, que fixa âncoras que mantêm sua posição entre sessões e dispositivos.
Deslize pelo pipeline e pelas 18 DLLs nativas que compõem o motor — agrupadas pelo que fazem.
Física 3D de nível de produção com corpos rígidos, constraints, raycasting e detecção de colisão. Simulação determinística com tempos de passo de submilissegundo mesmo em hardware de XR móvel. Totalmente endereçável via a ferramenta MCP physics_apply — uma LLM pode aplicar forças, consultar estado de colisão e alterar constraints a partir de um prompt em linguagem natural.
RakuPhysics.dllSistema de partículas acelerado por GPU com presets de VFX por gênero. Suporta emissores, atratores, colisão e escala de LOD. O gerenciamento automático de orçamento mantém as taxas de quadros travadas em 72–120 Hz em hardware de XR. O renderizador usa DirectX 12 com um back-end Vulkan (RakuVulkan) — ambos os caminhos exportam por RakuRenderer.dll (3.677 exports).
Animação esquelética com blend trees, máquinas de estado, IK e retargeting. Suporta personagens animados concorrentes com transições suaves e blending em tempo de execução. A ferramenta MCP animation_play permite que uma LLM dispare ou misture estados de animação diretamente — sem integração personalizada.
RakuAnimation.dllÁudio espacial 3D baseado em HRTF com renderização binaural, oclusão, zonas de reverb e camadas de música adaptativa. Ajustado para alto-falantes de headsets de XR e fones de ouvido com sobrecarga mínima de CPU. A ferramenta MCP audio_play permite que uma LLM posicione sons em qualquer posição 3D na cena.
RakuAudio.dllNão somos um substituto do Unity ou do Unreal. Vencemos onde eles são fracos. Esta tabela permanece pública porque a confiança do desenvolvedor importa mais do que retórica de marketing.
| Capacidade | RakuAI | Unity | Unreal Engine |
|---|---|---|---|
| LLM comanda cena ao vivo (MCP) | Nativo — 17 ferramentas + passthrough de ~9.500 endpoints | Não integrado; requer plugin personalizado | Não integrado; requer plugin personalizado |
| Exports nativos transparentes | 30.738 símbolos públicos — faça link direto com qualquer DLL | Runtime fechado; camada IL2CPP / gerenciada | Runtime fechado; camada UObject / Blueprint |
| Orçamento térmico de classe óculos | Inferência on-device RakuSLM; ajustada para envelope abaixo de 5W | Não é um alvo de design | Não é um alvo de design |
| OpenXR 1.1 (rastreamento de mão/olho, âncoras) | RakuXR — 2.704 exports, superfície OpenXR completa | Suportado via plugin OpenXR | Suportado via plugin OpenXR |
| Splat / 3DGS como objeto de cena de primeira classe | Nativo — ferramenta MCP splat_load, integrada ao scene graph | Pacotes de terceiros; não nativo ao scene graph | Pacotes de terceiros; não nativo ao scene graph |
| Ferramentas de editor e loja de assets | Estágio inicial — DLL RakuEditor; sem editor gráfico ainda | Editor padrão da indústria; grande loja de assets | Editor padrão da indústria; marketplace Fab |
| Pipeline de console AAA | Não é um alvo atual | Suporte completo de certificação de console | Suporte completo de certificação de console |
| Amplitude da documentação | Esparsa — Fase 0 (referências por DLL ainda devidas) | Extensa | Extensa |
| Traga sua própria LLM (sem lock-in) | Qualquer modelo compatível com MCP — Claude, GPT, local | Sem equivalente nativo | Sem equivalente nativo |
| Verificabilidade da contagem de exports | Saída do dumpbin versionada no repositório — auditável | N/A — runtime fechado | N/A — runtime fechado |
Comparação honesta completa (mais subsistemas, licenciamento, preços) → compare.html
Publicamos o estado honesto para que você possa avaliar o runtime com fatos reais, não com marketing.
Em produção e confiável: 18 DLLs C++ com 30.738 funções exportadas (verificadas via dumpbin /exports, rastreadas em raku-runtime/dll_exports/ como artefato de CI). Servidor MCP em src/mcp/ com 17 ferramentas nativas ativas. Suporte a OpenXR 1.1 em RakuXR. Membro do NVIDIA Inception (maio de 2026). 5 patentes nos EUA concedidas (prioridade julho de 2012).
Defeito ativo: RakuAssets tem uma correção de linker LNK2001 em andamento. As outras 17 DLLs estão verdes no CI; uma build limpa 18/18 é iminente mas ainda não confirmada. Este aviso será removido quando a correção for aplicada.
Ainda devido (trilhas da Fase 0): documentação de referência por DLL; uma matriz de capacidades de DLL publicada; o vídeo de quickstart "comande sua cena em 10 minutos". Os primeiros embarcadores OEM embutidos são da Fase 1.
Nota sobre a contagem de exports: 30.738 é a baseline documentada/main. Uma build Release local de um branch WIP não mesclado mostra +46 (30.784) — apenas o número 30.738 é canônico para uso público.
Cada subsistema é otimizado para os orçamentos de quadro exigentes de headsets de VR e AR — e para as restrições mais apertadas do hardware de óculos inteligentes, onde Unity e Unreal não miram.
Pipeline de renderização foveado com LOD automático mantém os orçamentos de quadro em toda classe de headset.
O RakuSLM mira o envelope térmico abaixo de 5 W do hardware de óculos inteligentes — não rigs de GPU com fio.
Todos os 30.738 exports são símbolos públicos. Faça profiling e otimize no nível de C++ — sem caixa-preta.
O motor que move o Raku Capture é construído por um membro do NVIDIA Inception. Usamos o catálogo NGC do programa, créditos de nuvem de parceiros e treinamento DLI para acelerar o pipeline espacial. Saiba mais →