Boostez votre IA dans le monde réel

Unity est un outil que votre IA ramasse. RakuAI est un corps qu'habite votre IA — le runtime spatial construit pour les lunettes connectées, adossé à des brevets qui ont anticipé ce moment il y a plus d'une décennie.

Trois vecteurs ont convergé vers moi ce samedi matin avant même que j’aie fini mon café.

Unity vient de livrer Native MCP. Le matériel des lunettes connectées est réellement sur le visage des gens maintenant, pas dans une présentation. Et les laboratoires LLM avec qui je discute veulent tous la même chose : un runtime qui expose des capacités spatiales via un contrat que leurs modèles peuvent piloter, en production, à chaque image, sans intégration personnalisée par fournisseur.

Le moteur que j’ai commencé à construire en 2025, par-dessus des brevets que j’ai contribué à déposer il y a plus d’une décennie, a enfin un nom pour ce qu’il est. C’est le runtime qu’habite votre IA dans le monde réel. Pas un outil que le modèle ramasse. Un corps dans lequel le modèle vit.

Ce billet, c’est moi qui consigne cela honnêtement, avec les preuves.

Section 1. Le portefeuille de brevets

Cinq brevets américains délivrés, dépôt prioritaire en juillet 2012. Ils sont publics, ils sont consultables, ils sont à moi.

• US9210358B2, Console de divertissement. Délivré décembre 2015.
• US9654613B2, Jeu en arène. Délivré mai 2017.
• US9781244B2, Lunettes intelligentes. Délivré octobre 2017.
• US10027361B2, Point de service. Délivré juillet 2018.
• US10432772B2, Lunettes, 21 revendications.

Lus ensemble, ce qu’ils décrivent est un système. Sans fil à double mode. Une architecture lunettes-connectées-plus-hôte-de-calcul où le gros du travail se déroule hors de la tête. Décharge de rendu de l’hôte vers l’affichage. Synchronisation de l’état du monde multijoueur entre plusieurs porteurs dans le même espace physique. Diffusion du monde sous forme de delta de scène plutôt que de vidéo encodée.

La date de priorité compte. Juillet 2012. C’est des années avant les Meta Ray-Bans, avant Xreal Air, avant Android XR, avant que les laboratoires LLM actuels n’existent sous leur forme présente. L’architecture des dépôts est l’architecture vers laquelle l’industrie converge maintenant. Nous ne courons pas après le domaine. Nous nous rattrapons nous-mêmes.

Je ne mets pas les brevets en avant parce que les brevets gagnent des débats. Je les mets en avant parce qu’ils répondent à la question la plus courante qu’un partenaire sérieux pose lors de la deuxième réunion, à savoir « depuis combien de temps réfléchissez-vous réellement à cela ». La réponse honnête est deux chiffres : les brevets datent de 2012, et le moteur est en construction active depuis 2025. Ancienne propriété intellectuelle, nouvelle exécution.

Section 2. Pourquoi les lunettes ont besoin d’un runtime différent

Les contraintes des lunettes connectées ne sont pas les contraintes des consoles, des téléphones, ou des PC. Si vous les traitez comme une version plus petite de l’un de ceux-ci, vous livrez un produit qui surchauffe en vingt minutes.

Quelques-uns des chiffres selon lesquels nous concevons.

• Cible de latence mouvement-photon de 18 ms. Latence prévisible, pas fréquence d’images maximale. Un 90 FPS saccadé se ressent pire qu’un 60 FPS stable.
• Trois modes thermiques. Performance, Équilibré, Basse consommation. Le runtime sait dans quel mode il se trouve et ajuste le coût du pipeline par image. Le modèle le sait aussi, quand il demande des ressources.
• Téléphone-comme-calcul, lunettes-comme-affichage. L’hôte est la bête de somme. L’affichage est un client léger sur une liaison à double mode. C’est la topologie que décrivent les brevets.
• Liaison double mode Wi-Fi 7 plus optique. Bande passante pour le delta du monde. Budget de latence pour la pose prédite.
• Précision spatiale de 0,5 à 0,8 millimètre à 40 centimètres, filtrée par Kalman. L’ancrage sous-millimétrique est ce qui fait qu’une surface virtuelle se ressent comme une surface réelle. Si vous avez déjà calligraphié sur un panneau virtuel, vous connaissez la différence entre 1 mm de tremblement et 0,5 mm de tremblement. C’est la différence entre écrire et griffonner.
• Suivi corps entier à 71 articulations. Suivi oculaire avec temps de fixation. Rendu fovéal avec un gain de 2 à 4x. La fovéation n’est pas optionnelle dans cette enveloppe. C’est la différence entre un budget de rendu qui tient et un qui ne tient pas.

Maintenant, comparez cela avec les alternatives. Unity est un moteur généraliste conçu autour de cibles PC et console à 60 FPS. Unreal est VR-first, mais la VR qu’il suppose est une RTX 4090 dans une tour avec un budget thermique de 200 watts. Les deux sont d’excellents moteurs. Aucun des deux n’a été conçu pour une enveloppe thermique de 5 watts sur le visage d’une personne.

Ce n’est pas un dénigrement. C’est une différence de catégorie.

Section 3. Pourquoi l’IA a besoin d’un runtime construit pour elle

J’ai écrit un billet en janvier intitulé AI as Nervous System, Not AI as Factory. L’argument était que la plupart des moteurs qui se disent natifs IA en 2026 veulent dire qu’ils ont boulonné un panneau de discussion sur un pipeline existant. Le modèle produit un artefact. L’artefact atterrit sur le disque. Le runtime charge l’artefact. Le modèle ne parle plus jamais au runtime.

C’est le motif d’usine. Il est réel, il est utile, il est livré. Ce n’est pas non plus ce dont a besoin l’informatique spatiale.

Le motif de système nerveux met le modèle dans la boucle à chaque image. Observation en entrée, intention en sortie, le monde répond, on recommence. Le modèle n’est pas un fournisseur de contenu. C’est un participant à la simulation.

Les six outils MCP que le runtime expose sont la surface où cela se produit.

• load_world_model(adapter_name, config)
• ingest_frame(adapter_name, frame_data, frame_index, timestamp)
• get_scene_state(include_physics, include_transforms)
• set_render_target(target_type, config)
• start_simulation(tick_rate, max_duration, realtime)
• get_metrics()

Six outils, transport stdio, permissions refus-par-défaut, journal d’audit complet. Tout modèle qui parle Model Context Protocol peut piloter le runtime via ce contrat. Claude. ChatGPT. Gemini. Copilot. Quoi qui sorte ensuite.

Multi-fournisseur par conception, parce que le runtime n’a aucune opinion sur quel modèle se trouve de l’autre côté. Le contrat est la frontière. Le runtime garde l’autorité sur la physique, les collisions, le score, l’état multijoueur. Le modèle apporte l’intention. Aucun des deux côtés n’a besoin de connaître l’autre sauf via six outils.

C’est à cela que ressemble le motif de système nerveux quand on le transforme en code livré.

Section 4. RakuAI face à Unity, dit équitablement

Unity Native MCP a été livré récemment et l’accueil a été positif. Je veux être clair sur ce que c’est et ce que ce n’est pas, parce que je pense que les deux peuvent être vrais en même temps.

Unity MCP est de la manipulation de scène au moment de la conception. Un agent aide le développeur à placer des objets, configurer des composants, construire un niveau. C’est une couche de productivité pour la boucle humain-plus-éditeur. C’est une vraie victoire pour un vrai public.

RakuAI MCP est de l’orchestration de modèle du monde au moment de l’exécution. L’agent est dans la boucle à chaque image, contribuant au prochain état du monde, pendant que le runtime applique la physique, les collisions, et le rendu. C’est de la production en mars 2026, pas du temps de conception, pas de l’assistance d’éditeur.

Des catégories différentes. Toutes deux valides. La version percutante que j’ai commencé à dire à voix haute :

Unity est un outil que votre IA ramasse. RakuAI est un corps qu’habite votre IA.

Si vous voulez un éditeur qui devient plus intelligent, Unity MCP est enthousiasmant et vous devriez l’essayer. Si vous voulez un runtime qui donne à votre IA un endroit où vivre sur une paire de lunettes, c’est un problème différent. Les brevets qui rendent cela possible ont été déposés il y a plus d’une décennie, et nous construisons le moteur depuis 2025.

Section 5. Pourquoi nous en parlons maintenant

Le timing compte en positionnement, et je veux être honnête sur le nôtre.

Les partenaires matériels des lunettes connectées choisissent leur runtime en 2026 et 2027. Ces décisions se prennent une fois et durent une décennie. Si vous n’êtes pas dans ces conversations maintenant, vous n’y serez pas du tout.

Les laboratoires LLM décident avec quelles plateformes spatiales ils s’intègrent. Les intégrations précoces fixent les valeurs par défaut. Les valeurs par défaut collent.

Le fait qu’Unity ait livré MCP a validé la catégorie. Nous disons « le modèle devrait piloter le runtime via un contrat typé » depuis des années. C’est plus facile à faire entendre maintenant qu’un concurrent à 30 milliards de dollars dit la même chose.

Le portefeuille de brevets nous donne une marge de propriété intellectuelle. Les brevets sont délivrés, la date de priorité est solide, et l’architecture qu’ils couvrent est l’architecture vers laquelle l’industrie converge.

Et une année de construction tête baissée depuis 2025 a produit un runtime qui est réellement prêt. Le serveur MCP est réel. Les adaptateurs arrivent. L’enveloppe thermique est respectée. La cible de latence est atteinte. L’ancrage sous-millimétrique fonctionne. Les dix-huit DLL sont au vert sous Linux. Le taux de réussite des tests à 100 pour cent tient depuis trois mois.

C’est le moment de planter un drapeau.

Section 6. Ce qui vient ensuite

Du travail précis, nommé honnêtement pour qu’il se fasse.

• Des adaptateurs réels de bout en bout. Runway. Veo. Fournis par des partenaires. Les stubs ont prouvé le chemin de dispatch. La prochaine étape est un vrai modèle derrière un vrai adaptateur, démontré publiquement, de bout en bout.
• Harnais de déploiement de production. Modèle de service, configuration par variable d’environnement, point de terminaison de contrôle de santé, arrêt gracieux, packaging conteneur. Pas glamour. Nécessaire.
• Repli multi-fournisseur. Quand l’adaptateur principal est lent ou indisponible, le serveur route vers un secondaire. La forme est simple. Les tests seront le vrai travail.
• Programme de primes pour adaptateurs. Une fois qu’un adaptateur est livré, publier le contrat et inviter l’écosystème à en écrire davantage. Notre travail cesse d’être « intégrer chaque modèle » et devient « relire les implémentations ».
• Conversations de partenariat des deux côtés. Les partenaires matériels d’un côté, les laboratoires de modèles de l’autre. Le runtime est la chose entre les deux. C’est la position que les brevets ont établie il y a plus d’une décennie, et le moteur la mérite depuis 2025.

Conclusion

Le runtime qu’habite votre IA dans le monde réel. La catégorie que les brevets ont anticipée il y a plus d’une décennie, et vers laquelle le moteur construit depuis 2025. Samedi matin, nous avons un nom pour cela.

Si vous êtes dans un laboratoire de modèles, une boutique de matériel lunettes, ou un studio qui veut livrer des expériences spatiales en 2027, le contrat est prêt et les preuves sont publiques. Trois liens à lire ensuite :

• La surface MCP : /mcp
• Le runtime lunettes connectées : /smart-glasses
• L’histoire pour les fabricants de LLM : /llm-makers

Samedi. Café terminé. Retour au moteur.