5 Patentes | Mais de 9.500 endpoints de API | 18 DLLs nativas | A engine de jogos espacial nativa de IA — Agora em Acesso Antecipado Explore a engine →
Para líderes técnicos de OEMs de óculos inteligentes

O runtime espacial que os OEMs de óculos inteligentes licenciam—não constroem.

A RakuAI é um runtime espacial neutro quanto a fornecedores de LLM que os OEMs licenciam em vez de construir. Beachhead da Fase 1: Meta Ray-Ban Display PWA — um web app instalável a partir do navegador dos óculos, uma superfície MCP que Claude, ChatGPT, Gemini ou Copilot podem conduzir, e um orçamento térmico/de latência ajustado para displays usados na cabeça. Roadmap da Fase 2: Android XR + SDK nativo (3º tri 2026–2027). Não competimos com o seu hardware — fazemos as experiências de IA nele chegarem mais cedo.

Escrito para líderes de engenharia e parcerias na Meta, Samsung, Google, Xreal, Rokid e outros que lançarão óculos em 2026–2027. Honesto sobre o que já foi lançado, o que é apenas referência e o que depende de hardware. Nenhum parceiro OEM assinado é alegado.

Membro do NVIDIA Inception Desenvolvido na AWS Microsoft for Startups Saiba mais ↓
Iniciar uma parceria OEM → Ver o roadmap de fases OEM ↓
Sobreposição espacial conduzida por MCP em óculos inteligentes Uma cabeça usando óculos inteligentes com uma sobreposição de display espacial heads-up. Os óculos exibem um HUD de capacidade conduzido por MCP que fixa respostas ao espaço real do usuário: um marcador de âncora rotulado "chaves", um resultado de consulta de cena e um selo de chamada de ferramenta MCP, ilustrando um LLM conduzindo o runtime da RakuAI a partir dos óculos. HUD de capacidade conduzido por MCP · travado ao mundo scene_query("onde estão minhas chaves") Âncora: ilha da cozinha à esquerda da fruteira · 0,6 mm falado de volta nos óculos

O que é entregue por plataforma, hoje.

Capacidades da RakuAI mapeadas às três plataformas que importam na janela de 2026. ✅ entregue. 🟡 parcial / sinalizado. ⏳ no roadmap da plataforma. ❌ sem caminho atual. Dependente de hardware = depende de o OEM expor uma API de câmera/frame que não controlamos. Nenhuma parceria OEM assinada é alegada. Notas de rodapé abaixo.

Capacidade Meta Ray-Ban Display
Entregue		 Android XR (Samsung & parceiros)
Janela de lançamento 3º tri 2026		 Apple Vision Pro
A definir
Entrada de web app instalável (PWA) a partir do dispositivoA RakuAI é distribuída como um PWA instalável — sem gating de app-store. ✅Caminho de web app executável nos óculos Meta AI1 ✅Chrome no Android XR suporta PWAs2 ❌visionOS roteia para nativo; entregamos um fallback WebXR3
Acesso ao servidor MCP (Claude / ChatGPT / Gemini conduzem o runtime)MCP hospedado sobre HTTPS + stdio para assistentes de IA de desktop. ✅via o celular companheiro / MCP em nuvem ✅Gemini no dispositivo ou MCP em nuvem, ambos funcionam 🟡MCP em nuvem funciona; caminho no dispositivo é roadmap
Fluxo de captura a partir dos óculos (escanear um espaço, entregá-lo ao LLM)Frames brutos + IMU → reconstrução em nuvem → splat explorável em minutos. 🟡captura via celular companheiro hoje4 ⏳direto dos óculos no lançamento da plataforma ⏳aguarda superfície de acesso à câmera
Consulta de cena em tempo real (pergunte “o que há na cozinha?” e receba resposta estruturada)Camada de consulta espacial sobre a cena reconstruída; entregue hoje. ✅pós-captura; consulta de cena ao vivo no roadmap ✅mesmo caminho que a Meta hoje ✅sobre WebXR + MCP em nuvem
Driver multi-LLM (Claude, ChatGPT, Gemini, Copilot)Neutro quanto a fornecedores — a escolha do LLM é do usuário, não da plataforma. ✅os quatro conduzem o MCP da RakuAI hoje ✅os quatro; o Gemini ganha primeira-classe no dispositivo ✅somente nuvem no lançamento
  1. Lendo o material público de lançamento do Meta Ray-Ban Display: o dispositivo suporta web apps instaláveis a partir da superfície web dos óculos. Não assinamos uma parceria com a Meta e não alegamos isso — somos compatíveis com o ponto de entrada público de web app.
  2. O Android XR segue o caminho padrão de instalação de PWA do Chrome. Não assinamos uma parceria com a Samsung ou o Google.
  3. O visionOS atualmente não expõe um caminho de PWA instalável equivalente ao dos óculos. Nosso plano para visionOS é WebXR + um shell nativo separado como continuação.
  4. “Captura a partir dos óculos hoje” significa: o usuário veste o Ray-Ban Display, o celular companheiro roda nosso PWA e o celular é a fonte-de-verdade da câmera. A captura direta de frames dos óculos chega quando o OEM expuser a API de frame.

Três fases. Um modelo de licenciamento.

O go-to-market é faseado pela prontidão da plataforma — não pelo cronograma da RakuAI. Encontramos o seu dispositivo nas superfícies públicas que ele já expõe e, depois, aprofundamos a integração quando você estiver pronto.

Fase 1 — Beachhead

Meta Ray-Ban Display PWA · meta 3º tri 2026

  • Entrada: PWA instalável a partir do navegador embarcado dos óculos — sem gating de app-store, sem instalar SDK no seu dispositivo
  • Superfície MCP: 17 ferramentas nativas + 6 ferramentas universais de passthrough, ativas para Claude, ChatGPT, Gemini, Copilot
  • Captura: celular-companheiro-como-câmera hoje; captura direta dos óculos quando a API de frame do OEM chegar (dependente de hardware)
  • Arquitetura: celular-como-compute (o celular roda IA/física, os óculos exibem + rastreiam)
  • Rótulo honesto: o caminho PWA está pronto como referência; nenhum co-marketing ou pré-instalação com a Meta está acordado

Fase 2 — Plataforma

Android XR + SDK nativo · 2027

  • Entrada: o mesmo caminho PWA se generaliza pela superfície Chrome padronizada do Android XR
  • SDK nativo: o raku-runtime como DLLs nativas com uma camada de sessão compatível com OpenXR — integrado ao compositor, ao pipeline de rastreamento de mãos ou ao driver de display do OEM
  • Meta de docs do SDK: docs de nível parceiro no 4º tri 2026; caminho de integração de 8–12 semanas-dev
  • Parceiros: Samsung Galaxy XR + licenciados Android XR; Xreal, Rokid, navegador do Vision Pro na mesma oferta faseada
  • Rótulo honesto: janela de lançamento do Android XR sujeita ao cronograma da plataforma; nenhum OEM assinado

Fase 3 — Fan-out

Xreal / Rokid / Galaxy XR / Vision Pro · 2027+

  • Suporte a dispositivos de cauda longa pelo caminho do navegador
  • Resiliência offline / de link intermitente para óculos de menor especificação
  • Pipeline repetível autoqualificar → piloto PWA → SDK
  • App de lançamento com co-marketing para um parceiro estratégico Tier 3
  • Apresentações calorosas do NVIDIA Inception ao BD do ecossistema OEM de XR

Rede NVIDIA Inception: a RakuAI foi aceita no NVIDIA Inception (maio de 2026). Essa rede oferece apresentações calorosas ao ecossistema de hardware XR — muitos OEMs de óculos e seus fornecedores de silício/óptica são membros do Inception ou parceiros da NVIDIA.

Integração OEM, passo a passo.

Deslize pelo caminho da primeira conversa até uma experiência co-lançada. Sem lock-in de SDK — encontramos o seu dispositivo nas superfícies web públicas que ele já expõe.

MCP a partir dos óculos, em um diagrama.

Um LLM nos óculos conversa com a superfície MCP da RakuAI pelo PWA — seja via uma ponte stdio ao dispositivo companheiro ou por HTTPS ao MCP hospedado. O runtime responde em primitivas espaciais: âncoras, poses, consultas de cena, handles de splat.

Diagrama de arquitetura MCP a partir dos óculos Um LLM nos óculos envia uma requisição MCP pelo PWA instalável ao runtime da RakuAI; o runtime expõe 17 ferramentas MCP nativas (5 de leitura + 12 de mutação) no servidor de produção, das quais ~12 são relevantes para óculos (6 de captura/cena principais mais 6 ferramentas adaptadoras xr_), realiza raciocínio espacial sobre a cena capturada e retorna uma resposta estruturada que o assistente fala de volta nos óculos. Óculos inteligentes LLM nos óculos / assistente no dispositivo "Onde deixei minhas chaves?" … resposta por voz … "Na ilha da cozinha, à esquerda da fruteira." PWA instalável rakuai.com/capture-app/ Câmera + IMU + áudio WebXR / WebGPU ponte MCP stdio JWT → MCP hospedado stdio | https requisição / resposta eventos de streaming fluxo de token de conexão RakuAI MCP 6 principais + 6 adaptadoras xr_(de 17 ferramentas MCP nativas) · capture_create · capture_status · scene_query · scene_describe · capture_list · capture_open · xr_get_session · xr_set_head_pose · xr_simulate_input · xr_create_anchor · xr_list_anchors · xr_remove_anchor raku-runtime engine C++ Raciocínio espacial Store de splat / mesh Âncoras + poses Permissão & escopo ~9.500 endpoints de API 18 DLLs nativas resposta estruturada { object_id, pose,   confidence } Fluxo de requisição MCP — funciona igual quer o LLM esteja no dispositivo, na nuvem ou em um desktop conduzindo os óculos.

As duas metades são reais e já entregues. O servidor MCP de produção expõe 17 ferramentas nativas (5 de leitura + 12 de mutação) — veja spatial-engine.html para o inventário completo. As ~12 relevantes para óculos se dividem em: 6 ferramentas principais de captura/cena (documentadas na página MCP) e 6 ferramentas adaptadoras xr_ (sessão, pose da cabeça, entrada e primitivas de âncora para fluxos conduzidos pelos óculos). O MCP hospedado roda no Azure Container Apps em East US.

Roadmap, honestamente.

Três colunas, três cronogramas. Não prometemos o que não podemos entregar e sinalizamos o que depende de comportamento de plataforma que não controlamos.

Em produção agora

Produção · maio de 2026

  • PWA instalável em rakuai.com/capture-app/
  • Captura → reconstrução em nuvem (GLOMAP + Brush, saída .spz)
  • 17 ferramentas MCP nativas (5 de leitura + 12 de mutação) ativas para Claude, ChatGPT, Gemini, Copilot — veja spatial-engine.html para o inventário completo
  • 6 ferramentas adaptadoras xr_ (sessão, pose da cabeça, entrada, âncoras)
  • Camada de consulta espacial sobre cenas reconstruídas
  • Contas multi-tenant, auth JWT, MCP hospedado no Azure

Janela de lançamento 3º tri 2026

Alinhada ao lançamento do Android XR

  • Captura a partir dos óculos (fonte de frame = câmera Ray-Ban Display / Android XR)
  • Treino de splat WebGPU no lado cliente (caminho sem round-trip à nuvem)
  • Consulta de cena ao vivo durante a captura (não apenas pós-captura)
  • Prévia do SDK OEM sob NDA
  • Reconstrução em GPU NVIDIA A10 / G5 / H100 (créditos chegando)

2027

Sujeito às superfícies das plataformas

  • Shell nativo visionOS (fallback WebXR até lá)
  • SLM no dispositivo para envelopes de compute classe-óculos
  • Programa de licenciamento de patentes para OEMs que o quiserem
  • App de lançamento co-marketado para um ou mais parceiros OEM
  • Sim-to-real em tempo real para fluxos de robótica + óculos agênticos

O que não prometemos: que qualquer OEM específico pré-instalará nosso PWA, que qualquer fornecedor de LLM específico roteará por nós por padrão, ou que APIs de câmera que não controlamos existirão no cronograma que queremos. Projetamos para as superfícies públicas e deixamos as plataformas decidirem.

O patrimônio de PI por trás do runtime.

Cinco patentes dos EUA concedidas, prioridade julho de 2012, patrimônio até julho de 2032. A arquitetura que esta página descreve é a arquitetura que essas patentes previram.

O que as reivindicações cobrem

  • Comunicação sem fio de modo duplo (baixa latência + alta largura de banda)
  • Arquitetura de óculos inteligentes + host de compute/celular
  • Offload de render do host de compute para os óculos
  • Sincronização de estado de mundo multiplayer
  • Streaming de mundo (entrega de delta de cena, não vídeo)

Essas patentes antecedem os Meta Ray-Bans (2021), o Xreal Air (2022), o Meta Ray-Ban Display (2024–25) e o Android XR (2026). Para OEMs que querem um caminho claro adiante em reivindicações de nível de arquitetura, oferecemos licenciamento ao lado da parceria.

Linha do tempo do patrimônio de patentes: prioridade julho de 2012, concessões de 2015 a 2018, com a indústria lançando óculos AR de 2021 em diante, e o patrimônio vigente até julho de 2032. 2012 prioridade 2015–18 5 patentes concedidas 2021–26 indústria lança óculos AR 2032 patrimônio vigente até

Pontos de prova de engenharia.

Números medidos de um runtime projetado contra o conjunto de restrições dos óculos desde o primeiro dia. Não são alegações de plataforma — são o que a própria RakuAI mira e observa.

18 ms
latência motion-to-photon
0,5–0,8 mm
precisão de posição @ 40 cm
0,3 mm
jitter de pose (filtrado por Kalman)
90 Hz
taxa de render dos óculos
60 Hz
taxa de física do celular
~20 Hz / 400–1400 B
sync de delta de cena (não vídeo)
3 modos térmicos
Performance / Balanceado / Baixo Consumo
esqueleto de 71 juntas
rastreamento de corpo inteiro
2–4×
ganho de performance de renderização foveada

Arquitetura celular-como-compute.

A divisão que as patentes de 2012 previram — agora a única arquitetura que cabe no envelope térmico dos óculos.

Arquitetura celular-como-compute: o celular roda física, IA, estado do jogo e streaming de assets, ligado aos óculos por delta de cena Wi-Fi 7 com fallback óptico, enquanto os óculos cuidam de render, predição de pose e odometria visual. Celular — compute Física — 60 Hz fixos Comportamento de IA & estado do jogo Streaming de assets Orquestração de world model Óculos — display Render — 90 Hz Predição de pose Renderização foveada IMU + odometria visual delta de cena ~20 Hz Wi-Fi 7 · fallback óptico uplink de sensores sem streaming de vídeo

O celular roda o mundo

Física (60 Hz fixos), comportamento de IA, estado do jogo, streaming de assets.

Os óculos exibem o mundo

Predição de pose local, renderização foveada, IMU + odometria visual.

O link faz o resto

Delta de cena sobre Wi-Fi 7 (com fallback óptico quando disponível), uplink de sensores, sem necessidade de streaming de vídeo.

Suporte a dispositivos hoje.

Em conformidade com OpenXR onde possível. Extensões de fornecedor onde necessário. Caminho PWA onde disponível.

Meta Quest 3
Meta Ray-Ban Display
Xreal Air / Air 2 / One
Samsung Android XR
MiRZA AR2
Rokid
Apple Vision Pro (WebXR)
Futuros dispositivos em conformidade com OpenXR

Três caminhos concretos de engajamento OEM.

Escolha a faixa que combina com o apetite a risco do seu time. As três começam com nosso formulário de contato. Manteremos a primeira resposta curta e técnica.

1. Consulta de capacidade (Tier 1 — piloto de web app)

Você está avaliando parceiros de runtime e quer uma resposta por escrito sobre como a RakuAI se mapeia ao seu dispositivo, OS e marcos de lançamento de 2026 específicos. Envie-nos suas restrições de plataforma — responderemos com o que é real hoje, o que está em um caminho dependente de hardware e como seria o piloto de web app Tier 1 de 1–2 semanas-dev para o seu dispositivo.

Fale conosco →

2. Documento de spec de integração (Tier 2 — caminho de SDK nativo)

Briefing em nível de engenharia cobrindo: superfície de entrada PWA, transporte MCP (stdio + HTTPS), API de fluxo de captura, modelo de permissão e os hooks do lado OEM que recomendaríamos para uma integração de SDK nativo Tier 2. O doc público está em rascunho — peça e enviaremos a versão atual diretamente, junto com o caminho de integração do SDK da Fase 2 (meta 4º tri 2026, 8–12 semanas-dev).

Solicitar a spec →

O doc público está em rascunho — espere uma URL /docs/oem-integration-spec.html em um follow-up.

3. Prévia do SDK em acesso antecipado (Tier 3 — parceiro estratégico)

Acesso sob NDA mútuo às ferramentas adaptadoras xr_, à prévia de captura a partir dos óculos, ao pipeline de splat WebGPU e aos docs de roadmap do SDK nativo da Fase 2. O Tier 3 é reservado para um parceiro de lançamento de destaque comprometido com um dispositivo carro-chefe. Vagas limitadas — conexões do NVIDIA Inception têm consideração prioritária.

Iniciar o NDA →

Assinamos NDAs mútuos em termos padrão; o prazo é de dias, não semanas.

Aprofunde-se antes de escrever.

As páginas que os parceiros OEM mais leem antes de uma primeira chamada — além do roadmap de fases acima.

Engine Espacial →
O runtime C++ — 18 DLLs nativas, ~9.500 endpoints de API, a plataforma sobre a qual a superfície MCP se assenta.
Servidor MCP →
A superfície MCP nativa de 17 ferramentas que permite a Claude, ChatGPT, Gemini e Copilot conduzir o runtime. Em produção desde março de 2026.
Por que RakuAI →
O argumento mais longo por uma engine espacial nativa de IA — uma API para web, nativo e XR.
Blog de engenharia →
Log de build incluindo o post do adaptador MCP, o anúncio do NVIDIA Inception e os relatos do Raku Capture.
Membro do NVIDIA Inception

A RakuAI é membro do NVIDIA Inception. O mesmo stack de splatting gaussiano 3D acelerado por NVIDIA que entregamos no Raku Capture é o que alimenta o fluxo de escaneamento conduzido pelos óculos descrito acima. Saiba mais →

O NVIDIA Inception é um programa gratuito para startups de IA; a participação da RakuAI não implica que a NVIDIA endossa os produtos da RakuAI. Saiba mais em nvidia.com/startups.