Notes d’ingénierie, décisions d’architecture et coulisses de l’équipe RakuAI.
Raku Capture transforme un scan téléphone en une scène 3D dans laquelle une IA peut travailler. Le calcul derrière cela vient de quatre programmes, et chacun a supprimé un goulot d'étranglement différent à une couche différente de la pile. Voici qui fait quoi.
Juin 2026 a donné à l'informatique spatiale un moteur de navigateur ouvert, des lunettes AR autonomes à 2 195 $, et un défi de splat industriel. Bien. Plus le web spatial devient ouvert, plus il a besoin d'un runtime gouverné pour l'IA qui travaille à l'intérieur. Voici où se situe RakuAI et comment obtenir le contrat d'outils spatiaux MCP.
SAFe et les frameworks agiles à l'échelle ont été construits pour la prévisibilité. L'IA récompense l'apprentissage et la vitesse de livraison. L'IA a déjà comprimé la découverte et la construction — le goulot d'étranglement est maintenant la livraison, et c'est ce qu'un runtime résout. Le plaidoyer pour la vélocité en boucle complète plutôt que pour l'adoption de frameworks.
Du scan téléphone au splat gaussien 3D jusqu'à n'importe quel LLM le pilotant comme des outils via MCP multi-fournisseur. Le compte-rendu honnête de bout en bout : ce qui est livré aujourd'hui, ce qui est bloqué sur des crédits GPU, et pourquoi le runtime inférence-seule est la douve défensive.
Scannez une vraie pièce avec votre téléphone — sans rig, sans marqueurs, sans installation — et obtenez une reconstruction 3D que votre assistant IA peut lire, mesurer, et sur laquelle raisonner via MCP. L'entraînement de splat GPU arrive sous quelques jours. Voici l'histoire de Raku Capture.
Le runtime qu'habite votre assistant IA quand il doit construire, interroger, ou simuler un monde spatial. Cinq brevets remontant à 2012. Construit pour l'enveloppe thermique des lunettes. Multi-fournisseur par conception. Voici pourquoi.
Le runtime parle Model Context Protocol depuis fin mars. Cela a commencé avec six outils via un transport stdio, des permissions refus-par-défaut, un journal d'audit complet — et c'est depuis passé à 17 outils MCP natifs. Le serveur est la frontière qu'utilise tout agent externe pour piloter le moteur. Ce billet est l'instantané à six outils et ce que la couche suivante d'adaptateurs réels et d'intégrations partenaires débloque. Voici le runtime MCP contre lequel les fabricants de LLM construisent.
Une série de commits de nettoyage qui paraissent peu glamour sur le diff et transformateurs sur le projet. Dix-huit DLL au vert sur Linux. Chaque appelant LLM protégé contre l'emballement de la longueur des prompts. L'espace de noms /api/v2/ renommé en /api/raku/ partout où il apparaît. La sécurité pointeur-nul balayée à travers le runtime. Le build est enfin quelque chose avec quoi on peut arrêter de discuter.
Fin mars 2026 a réuni la même semaine la sortie de veille de la GDC et une poussée mobile sur deux plateformes. Voici ce qui a été livré, ce qui a cassé quarante-huit heures avant mon départ, et quels correctifs paraissent minimes sur le diff mais ont empêché la démo sur portable de déraper devant des inconnus. Voici à quoi ressemble réellement la livraison d'un runtime spatial au rythme d'une conférence.
Six semaines à faire passer Meshy.ai par un pipeline d'assets en sept étapes ont appris à l'équipe trois choses que la documentation de l'API ne dit pas. Les robes masquent la silhouette dont l'estimation de pose a besoin. Les noms de personnages japonais font planter tout ce qui redirige stdout vers un fichier. Et le point de terminaison de remaillage de Meshy peut disparaître en plein sprint. Voici la réalité peu glamour de la transformation d'assets générés par IA en contenu de qualité production pour un runtime spatial.
Un pic de coût multiplié par 15 a déclenché un audit de tous les endroits où le runtime dialogue avec un LLM — et révélé cinq appelants capables d'envoyer des prompts sans limite, sans plafond, sans troncature, sans défense. Dès le samedi après-midi, chaque appelant passait par un garde-fou partagé, avec des budgets par appel, de la télémétrie et un contrôle CI qui bloque les régressions. Voici comment un runtime spatial rend impossible d'oublier la discipline de longueur des prompts.
347 fonctions non étiquetées à travers dix-huit bibliothèques natives, cachées par une valeur par défaut de visibilité de symboles, cassant le build Linux une référence non définie à la fois. Tracé jusqu'à la racine, balayé proprement, et verrouillé derrière un garde-fou CI qui fait échouer toute PR qui fait tomber un symbole public. Linux est maintenant une cible de premier ordre — et la base de code est plus honnête sur chaque plateforme.
Huit tests, un code d'erreur Windows, une DLL de compilateur de shaders manquante sans laquelle le runtime ne pouvait pas démarrer. Le correctif a transformé une dépendance dure au chargement en un repli élégant et observable — afin que le moteur fonctionne partout, pas seulement sur une station de travail de développeur entièrement équipée. La portabilité est une fonctionnalité pour laquelle les partenaires paient.
L'équipe de sécurité d'un partenaire entreprise a mené une due diligence sur notre surface API et est revenue avec huit constats critiques et élevés. Chacun avait un correctif livré avant samedi soir. Voici les catégories, les nouveaux garde-fous permanents, et les modes d'échec contre lesquels un runtime piloté par agents doit se défendre délibérément.
Cinq agents, cinq branches, une base de code, un week-end : 112 commits. Le goulot d'étranglement n'est plus de taper — c'est de décider quels quatre problèmes valent quatre tentatives parallèles, et lesquels des deux résultats sont assez bons pour être gardés. Le métier a cessé d'être IC senior et est devenu tech lead d'une équipe qui ne dort jamais.
Claude a écrit huit PR de sous-systèmes. Gemini les a relues et a laissé trente-six commentaires — dont deux vrais bugs de thread-safety qui seraient partis en production. Voici le motif de relecture multi-fournisseur qui prouve sa valeur : modèle différent, angles morts différents, code plus difficile à tromper. Le signal de discipline que tout partenaire sérieux devrait demander à chaque équipe moteur.
Votre expérience est un fichier, pas un binaire. Le format .raku est du JSON — versionné par schéma, diffable, rechargeable à chaud, avec des points d'ancrage explicites où l'IA du runtime se branche à chaque frame. Voici à quoi ressemble un vrai fichier, pourquoi JSON bat un DSL sur mesure, et comment « le game design relu dans une pull request » est devenu notre vrai flux de travail.
Sept placeholders O(N²), un samedi, et les algorithmes de production qui ont transformé une démo chancelante en un runtime qui hurle de vitesse. Voici comment RakuAI transforme du code écrit par IA en performance de niveau moteur — et pourquoi un audit algorithmique est la mise à niveau la plus rapide que votre stack spatiale obtiendra jamais.
Une passe d'audit approfondie a révélé deux choses que je n'ai pas appréciées : un chercher-remplacer trop large qui avait silencieusement charabié des identifiants dans trois cents fichiers, et un secret de licence codé en dur dans un fichier source public. Les deux corrigés en une journée. Voici le guide de terrain honnête des modes d'échec auxquels une base de code pilotée par agents est le plus exposée — et les garde-fous qui les attrapent.
De 54 % à 100 % en trois week-ends. L'exécuteur de tests se moque de vos sentiments, de votre nombre d'étoiles, ou de votre feuille de route — il vous dit exactement quelle part de votre runtime spatial fonctionne réellement. Voici comment nous avons comblé l'écart, cause racine par cause racine, et pourquoi le taux de réussite est le signal le plus honnête qu'un partenaire puisse demander.
Pire qu'un plantage : une démo qui n'a pas planté, n'a pas produit d'erreur, et n'a pas non plus fonctionné. Entrée morte. Une scène de remplacement portant le costume d'un jeu terminé. Des logs qui ne disaient rien. Voici le samedi où j'ai forcé le moteur à refuser d'échouer en silence — la discipline de l'échec bruyant, de l'erreur grep-able, de l'audit par adjacence qui maintient un runtime spatial honnête envers les gens qui construisent dessus.
Si l'IA est une primitive du runtime à l'intérieur de votre moteur, êtes-vous enfermé dans le modèle que vous avez câblé ? Non — la couche IA est exposée via des interfaces, pas des imports. Six sous-systèmes, une API de gestion de modèles, un format de fichier qui nomme des capacités plutôt que des modèles. Voici la frontière qui permet à RakuAI d'échanger n'importe quel modèle, n'importe quel fournisseur, n'importe quel chemin d'inférence sans toucher une seule ligne de code appelant — et pourquoi cela compte de plus en plus à mesure que le marché des modèles s'agite.
Quatre bugs sans rapport, zéro chevauchement de sous-systèmes, un seul samedi. Des graphismes roses de shader manquant. Un score qui comptait double. Un crash brutal au démarrage XR. Une caméra qui refusait de se verrouiller. Voici le genre d'échec d'intégration qui échappe à chaque test unitaire - et la discipline d'ordre d'initialisation, de propriété d'événement, et de gardien de démarrage qui transforme une démo cassée en un runtime en qui les partenaires peuvent avoir confiance.
La plupart des moteurs qui disent « natif IA » en 2026 veulent dire qu'ils ont boulonné un panneau de chat. RakuAI est construit différemment - l'IA est une primitive de runtime dans la boucle à chaque frame, plus proche d'un système nerveux que d'une usine. Si vous lisez un seul article sur ce que signifie réellement « natif IA » au niveau de l'architecture, que ce soit celui-ci.
139 commits pendant la nuit. Dix sous-systèmes fondamentaux livrés sur un seul week-end, majoritairement par un agent autonome tournant contre une file que je garde remplie. Voici à quoi ressemble réellement le fait de construire les fondations d'un moteur PAR des agents, plutôt que de les boulonner POUR eux - et pourquoi ce choix façonne chaque décision architecturale du runtime que votre IA habitera.
Un week-end à 276 commits qui a fait atterrir TensorFlow Lite pour l'inférence SLM sur l'appareil, la synchro fédérée AES-256-GCM, les couches de composition OpenXR, la stabilisation d'ancres par filtre de Kalman, et une couche d'abstraction matérielle pour le canal optique. Voici le week-end où RakuAI a cessé d'être un projet de recherche et a fait grandir la surface d'une véritable plateforme - les os sur lesquels les lunettes intelligentes et les laboratoires IA construisent.
Deux cents erreurs, six catégories, douze PR, deux jours - et le premier build x64 vert de l'histoire du runtime. Voici les coulisses de la mise en route d'un moteur spatial multiplateforme sur MSVC 2026 Insiders, les six classes d'erreurs qui frapperont n'importe quelle base de code C++, et les balayages pilotés par agents qui les ont corrigées. Trois plateformes, un seul runtime, prêt à se déployer sur Windows.
Quarante-sept fonctions prétendaient faire du vrai travail. Quarante-sept renvoyaient des emplacements réservés. Voici le samedi où je suis parti à la recherche des stubs que les agents avaient discrètement fait atterrir - et où j'ai construit l'audit, les tests, et la discipline qui transforme du code écrit par des agents en code de confiance. L'honnêteté qui rend un runtime spatial sûr à construire dessus.
Trois mois plus tard, le flux de travail de développement s'est stabilisé en un rythme multi-fournisseurs : Claude écrit le runtime, Gemini révise les diffs, ChatGPT sert de faire-valoir pour l'architecture, Copilot autocomplète. La règle la plus importante entre toutes - le modèle qui écrit une PR ne peut pas être le modèle qui la révise. Voici le flux de travail qui construit un runtime natif IA, et la posture que le runtime lui-même adopte envers les modèles.
Un vrai pari sur les standards ce week-end. D'ici dimanche soir, le runtime avait son ossature OpenXR - liaison graphique, cycle de vie de frame, synchro d'action - plus un gestionnaire de liaison RF / optique à double mode qui bascule les radios à la volée sans que l'application ne s'en aperçoive jamais. Adopter le standard là où il existe ; construire là où il n'existe pas ; être prêt à adopter de nouveau quand il rattrape son retard.
Le week-end où le moteur a appris à recevoir des directives de n'importe quel LLM cloud - comme une préoccupation de runtime, pas un panneau de chat. D'ici dimanche, le XRAssistantService diffusait l'intention du modèle à travers le pipeline vocal, la fovéation par suivi oculaire était livrée, et le rendu déporté Wi-Fi 7 avait un véritable hôte. ChatGPT peut le piloter. Claude peut le piloter. Gemini peut le piloter. C'est tout le sujet.
Meta Quest est maintenant une cible Raku. OpenXR sur Horizon OS, AR en passthrough avec des couches de composition, rendu stéréo et suivi 6DoF - le moteur atteint maintenant l'une des plus grandes bases installées de l'informatique spatiale. Rencontrez vos utilisateurs sur le matériel qu'ils possèdent déjà, puis portez la même expérience vers des lunettes gratuitement.
Le nom d'emplacement réservé est enfin tombé. En un week-end, des agents ont balayé chaque référence à travers chaque dépôt, de Blade et ar1-runtime vers Raku - aucune casse de build, aucune casse de compatibilité. Le nom signifie facilité, confort, et la touche humaine. L'ingénierie a enfin rattrapé la marque qui l'attendait.
Deux mois de journal public d'ingénierie, des années de travail sous le capot. Un samedi tranquille pour faire le point : un runtime AR C++ multiplateforme avec l'IA intégrée dans l'étape de simulation, une architecture qui s'est stabilisée, et un jalon de préparation à la production de décembre en vue. Voici à quoi ressemble un runtime spatial natif IA quand il cesse d'être un énoncé de mission et devient un dépôt.
Trente-sept commits au lieu de quatre-vingts - exprès. J'ai réduit la file d'agents et ralenti le rythme pour pouvoir réellement lire ce qui atterrissait, et la base de code en est ressortie plus propre. Voici la discipline qui garde un runtime construit par des agents cohérent au lieu d'un tas de PR propres isolément.
Une cible de précision brutale issue d'une conversation avec un partenaire : une dérive de superposition sous le millimètre sur une feuille de papier de calligraphie. D'ici samedi soir, le runtime avait une API de pose d'ancrage sous-millimétrique, un suivi de pointe de stylo en temps réel, et une détection de papier basée sur des marqueurs. Voici le type de précision qui transforme l'AR d'un jouet en tuteur.
Faire pivoter la cible produit d'AR1+ vers AR2 Gen1, puis livrer le harnais de validation thermique, de stabilité Wi-Fi 7 et de mise en service des capteurs pour un matériel qui n'est pas encore sur le bureau. Quand le silicium arrive, la validation commence le jour un au lieu du jour quatre-vingt-dix. Voici comment RakuAI se déploie sur votre matériel plus vite que ses concurrents - la partie coûteuse est déjà payée.
Chaque projet multi-dépôts meurt de la même façon - un dépôt fonce en avant, l'autre pourrit silencieusement. Ce samedi a câblé Unity et Unreal HelloAR pour se comporter de façon identique et construit la barrière de test de parité qui rend l'écart impossible. C'est la discipline qui garde un runtime spatial et ses liaisons cohérents pendant des années, pour que votre choix de liaison ne vous prive jamais d'une fonctionnalité.
Deux jours au clavier, des agents autonomes qui broient la file d'issues en dessous, et 282 commits dans le dépôt runtime d'ici dimanche soir. La boucle principale, le traqueur de latence, l'API C qui permet au SDK de se lier - voici ce qui a été livré, ce qui a cassé, et à quoi ressemble la boucle pilotée par agents quand elle finit par cliquer. Voici ce que signifie démultiplier une équipe runtime d'un seul humain.
Jour zéro du journal public : dépôts en ligne, agents au travail, et une spec de lunettes intelligentes sur le bureau comme fonction de contrainte pour chaque décision en aval. Le pari est simple - les expériences IA les plus intéressantes sont spatiales, ancrées dans les vrais lieux où vous vous trouvez. Voici le moteur construit explicitement pour recevoir des directives de votre modèle, à chaque frame.
Le dernier samedi avant l'ouverture des dépôts - trois mois de travail de conception derrière lui. Effectif d'agents verrouillé. Suite de démos spécifiée. Structure de dossiers du SDK dessinée. Surface API ébauchée. Un portefeuille de brevets vieux d'une décennie prêt à servir de fondation. Voici à quoi ressemble la conception d'un runtime spatial pour qu'il s'adapte à son équipe avant qu'une seule ligne ne soit livrée.
La structure de dossiers est l'organigramme du code - bien la définir tôt, et chaque PR pendant deux ans atterrit au bon endroit. Ce samedi a dessiné le squelette du SDK avant qu'aucun code n'existe : /apps, /modules, /assets, /docs, /config, plus des stubs de module qui verrouillent les contrats sur lesquels vos agents construisent. C'est la discipline qui garde un runtime spatial construit par IA cohérent pendant des années.
Huit démos canoniques qui prouvent à quoi sert un runtime spatial - arène multijoueur, coaching AR, concepteur de HUD, mode streamer, superposition point de vente, HUD compagnon, entraîneur de visée, synchronisation HUD multijoueur. Zéro ligne de code écrite, chacune spécifiée. Les démos sont la spec, et c'est ainsi que RakuAI montre ce que votre IA peut faire une fois qu'elle habite le monde réel.
Avant même qu'une seule ligne du runtime spatial n'existe, ce samedi a servi à cartographier la flotte d'agents qui allait le construire. Product, SDK, Studio, Marketing, Operations, stratégie IA, plus une couche de gouvernance qui surveille les surveillants. Voici comment démultiplier une équipe d'un seul humain en une entreprise de moteur qui livre - les agents précèdent l'architecture parce que les agents façonnent l'architecture.