O Fim de Semana em Que o Motor Cresceu

Existe um momento em que uma base de código deixa de ser algo que você está construindo e vira algo sobre o qual outros conseguem construir. Para a RakuAI, esse momento foi um fim de semana de 276 commits entre o Natal e o Ano Novo.

Existem fins de semana em que uma base de código avança, e existem fins de semana em que uma base de código muda de categoria. O fim de semana entre o Natal e o Ano Novo foi do segundo tipo.

Duzentos e setenta e seis commits entraram nos repositórios. O runtime cresceu o tipo de área de superfície que transforma um projeto de pesquisa em uma plataforma. Âncoras espaciais. Composição OpenXR. Inferência de pequeno modelo de linguagem no dispositivo. Sincronização federada com criptografia de verdade. Abstração de hardware para o canal de comunicações óptico. A maior parte entrou em PRs paralelos escritos por agentes, revisados e mesclados através do fluxo de trabalho multi-fornecedor que vem rodando há dois meses.

Sábado de manhã sentei com café e uma fila cheia de TODOs de alta prioridade. Até domingo à noite fechei o laptop em um motor diferente daquele que tinha aberto no sábado. Este é o post sobre o que foi lançado, o que isso significa, e por que acho que 2026 é o ano em que outras pessoas vão começar a levar este motor a sério.

As grandes entregas

API C do TensorFlow Lite para inferência de SLM. Esta é a que mais me empolga. O runtime agora consegue carregar pequenos modelos de linguagem em formato TFLite e rodar inferência contra eles como uma operação de runtime de primeira classe. A motivação é direta: nem todo modelo precisa ser uma ida e volta para a nuvem. Alguns dos comportamentos de IA que conduzem uma experiência de RA são apertados, focados, e pequenos o suficiente para rodar no dispositivo. O caminho TFLite nos dá isso. O caminho de LLM em nuvem através do XRAssistantService nos dá a outra ponta. O motor agora abrange os dois.

Âncoras Espaciais Completas (Epic #555). Ciclo de vida completo de âncora espacial: criar, persistir, compartilhar entre dispositivos, restaurar em uma sessão diferente, expirar. A camada de persistência é apoiada em nuvem através de HTTP libcurl, com a camada de criptografia (AES-256-GCM, derivação de chave PBKDF2) entrando no mesmo fim de semana. Âncoras agora são objetos de runtime de primeira classe. Uma experiência de RA que precisa colocar um objeto virtual na mesma bancada de cozinha hoje, amanhã, e daqui a um mês, através de dois pares diferentes de óculos possuídos por duas pessoas diferentes, funciona.

Estabilização de pose de âncora com filtro de Kalman. Uma coisa pequena que importa muito. Poses de âncora sem filtragem tremem só o suficiente para parecer errado. Poses de âncora com filtragem de predição de estado de Kalman parecem sólidas. O runtime agora aplica o filtro automaticamente; aplicações acima não precisam saber.

Gerenciador de camadas de composição OpenXR e espaços de ação. Continuando o trabalho de espinha dorsal OpenXR de novembro. O gerenciador de camadas de composição é o que permite que um único frame combine o passthrough de câmera, o conteúdo virtual do usuário, e quaisquer overlays de sistema na ordem certa com os modos de mesclagem certos. Fundamental e fácil de subestimar.

Criptografia AES-256-GCM de produção e descoberta de peers por UDP para âncoras compartilhadas. É isso que torna “compartilhar uma âncora com um amigo que está no mesmo cômodo” de fato seguro para lançar. O protocolo de âncora compartilhada usa criptografia autenticada ponta a ponta. A descoberta de peers acontece via UDP localmente sem passar por uma ida e volta na nuvem. A proposta de privacidade e latência para RA compartilhada é real.

Camada de abstração de hardware para o canal óptico (33 TODOs de sensor resolvidos). O link óptico, quando presente em um dispositivo, agora é um par do link de RF. Ambos são abstraídos atrás do mesmo gerenciador de link de modo duplo que entrou em novembro. O runtime acima não se importa com qual rádio está no fio.

Sincronização federada conectada a criptografia de verdade. O subsistema de sincronização federada era conduzido por stub durante a maior parte do outono. Neste fim de semana ele cresceu implementações reais: transporte HTTP, envelope JSON, verificação de assinatura criptográfica. Atualizações de modelo de IA/ML agora podem ser distribuídas para dispositivos através do caminho federado com segurança.

Integração de SDK de olhos de fornecedor e verificação de token. Um punhado de SDKs de rastreamento ocular específicos de fornecedor agora estão conectados atrás da interface de provedor OpenXR, com autenticação apropriada baseada em token para a camada de licenciamento do fornecedor.

Instrumentação de profiling de GPU através do renderizador (15 TODOs resolvidos). Tempo de GPU por passe, orçamentos de memória, e detecção de travamento de pipeline agora estão ao vivo. Se um frame demora demais, conseguimos ver exatamente qual passe custou o orçamento.

Funcionalidade de Atualizador de Runtime (10 TODOs resolvidos). O runtime agora consegue se atualizar em campo. Versionado, assinado, com rollback. Este é o tipo de encanamento que ninguém percebe até precisar dele, momento em que é a diferença entre uma plataforma e um projeto de arte.

O que aprendi com o ritmo

Duzentos e setenta e seis commits ao longo de um longo fim de semana de feriado é um ritmo que não funciona em um fluxo de trabalho de desenvolvimento tradicional. Funciona neste porque o fluxo de trabalho é construído em torno de agentes lançando em paralelo contra uma fila que mantenho cheia. Algumas observações de rodar nesse ritmo durante o trecho do Natal ao Ano Novo:

A estrutura de Epic se pagou. Por volta de meados do mês mudei o rastreador de issues para um padrão de Epic com sub-issues (Epic #506 para o Runtime Core Fase 1, Epic #555 para Âncoras Espaciais, Epic #508 para Extensões OpenXR). Cada Epic ganha um PR que fecha um corpo coerente de trabalho. Os agentes implementam as sub-issues em paralelo, mas a mesclagem acontece como um único PR atômico em nível de Epic. Isso deu à base de código um histórico bem mais limpo e tornou a revisão tratável.

O sistema de rastreamento de TODO foi a escolha certa. No início do mês adicionei um sistema automatizado que varre a base de código em busca de comentários TODO e cria issues no GitHub para cada um, com priorização. Quando o sprint de Natal começou, havia 342 TODOs de runtime rastreados. Os agentes pegaram os de maior prioridade primeiro. Fechamos aproximadamente 150 deles neste fim de semana. A base de código está significativamente mais limpa do que estava no início de dezembro.

O timing de mesclagem entre repositórios importa. O runtime e o SDK tiveram que entregar suas mudanças com poucas horas de diferença entre si para vários Epics neste fim de semana. Quando o runtime publica uma nova API C, o SDK tem que atualizar seus bindings no mesmo dia. Retive alguns PRs do SDK e mesclei alguns PRs do runtime na mesma hora para manter a integração honesta.

Os agentes estão melhorando nos seus papéis. Os PRs que entraram neste fim de semana são perceptivelmente mais limpos do que os PRs que entraram em setembro. Parte disso é a base de código estar mais madura. Parte é o fluxo de trabalho estar mais disciplinado. Parte é os próprios modelos ficando melhores no tipo de trabalho que esta base de código produz. As três coisas são reais.

Onde o motor está, entrando em 2026

A versão em lista de checagem:

• Mudança de AR1+ para AR2 Gen1: feito
• Espinha dorsal OpenXR: feito
• Integração de intenção de LLM em nuvem através do XRAssistantService: feito
• Inferência de SLM no dispositivo através do TFLite: feito
• Ancoragem sub-milimétrica para overlays de alta precisão: feito
• Âncoras espaciais com persistência, compartilhamento, e criptografia adequada: feito
• Pipeline de renderização descarregada por Wi-Fi 7: feito
• Gerenciador de link RF/óptico de modo duplo: feito
• Rastreamento ocular, rastreamento de mãos, rastreamento de corpo inteiro: feito
• Renderização foveada com otimização multi-perfil: feito
• Abstração de hardware para sensores e canal óptico: feito
• Sincronização federada para distribuição de modelo e conteúdo: feito
• Atualizador de runtime com versionamento e rollback: feito
• Builds multiplataforma (Linux, macOS, Windows MSVC 2026): feito
• Pipeline de telemetria e OpenTelemetry: feito
• 342 TODOs rastreados, ~150 fechados este mês: em andamento, mas se juntando

O que não está feito: os subsistemas de IA que ligam a camada de modelo à etapa de simulação. Árvores de comportamento. Malhas de navegação. Simulação de multidão. Sistemas sensoriais. Árvores de decisão. Esse é o trabalho que espero que entre na primeira semana de janeiro. O runtime está pronto para recebê-los. Hoje o motor tem os ossos. No próximo fim de semana ele ganha os nervos.

O que eu quero que parceiros, construtores e labs tirem disso

Se você é um parceiro de hardware avaliando se este motor consegue ser lançado no seu dispositivo em 2026, a resposta é sim, e o trabalho para tornar isso real é principalmente a cola específica de fornecedor neste ponto. O motor em si está pronto.

Se você é um lab de IA olhando para onde o orçamento de inferência do seu modelo poderia ser mais bem gasto em um runtime de RA, tanto o caminho de TFLite no dispositivo quanto o caminho de XRAssistantService de LLM em nuvem agora têm qualidade de produção. Se o seu modelo cabe no orçamento no dispositivo, ele pode rodar na etapa de simulação. Se não cabe, o caminho em nuvem está aberto. De qualquer forma, a integração é agnóstica de modelo, e eu quero que o seu modelo seja o melhor modelo por trás dela.

Se você é um desenvolvedor pensando em construir em cima deste motor em 2026, a área de superfície é real. A API C é estável. Os bindings do SDK (Unity e Unreal) são reais. A espinha dorsal OpenXR significa que o motor tem múltiplos dispositivos como alvo. O blog nesta URL tem sido um registro público de como o motor chegou até aqui. Releia se você quiser saber como vai ser a cultura de engenharia quando você trouxer uma experiência para esta plataforma.

276 commits, um ano terminando, um motor que cresceu. Fim de semana diferente, mesmo fluxo de trabalho. De volta a construir no próximo sábado.