Scannez-le. Puis parlez-lui. — RakuAI Capture pour les espaces du quotidien
Vous sortez votre téléphone, marchez dans votre salon pendant trente secondes, et appuyez sur envoyer. Quelques minutes plus tard, vous avez une reconstruction 3D de cette pièce — et une fois l’entraînement de splat GPU en ligne (arrivant sous quelques jours), cela devient un splat gaussien photoréaliste déplaçable, fait de millions de minuscules ellipsoïdes transparents — hébergé à une URL que vous pouvez partager. Vous ouvrez ensuite Claude, ou ChatGPT, ou Gemini, le pointez vers votre serveur MCP Raku, et demandez : « Est-ce que ce canapé tiendra le long du mur du fond ? » L’assistant lit la scène, mesure l’espace, et vous répond.
C’est l’idée de Raku Capture. Un téléphone. Sans rig, sans marqueurs, sans logiciel 3D de bureau, sans installation. Le résultat n’est pas une photo — c’est une scène à qui parler : un objet spatial vivant que votre assistant IA peut interroger, mesurer, et sur lequel il peut raisonner.
Ce billet est le compte-rendu honnête de ce à quoi cela ressemble aujourd’hui, de ce qui arrive encore, et de pourquoi la combinaison d’une capture honnête et d’un runtime IA à protocole ouvert est quelque chose de véritablement nouveau.
Ce qu’est réellement le Gaussian splatting
La plupart des outils de capture 3D produisent des maillages — une peau de triangles posée sur la forme estimée d’un espace. Les maillages ont l’air plausibles de loin et s’effondrent de près. Le Gaussian splatting est différent. Il remplit la scène de millions de minuscules ellipsoïdes 3D — chacun positionné, orienté, mis à l’échelle, et ajusté en couleur pour correspondre à ce qu’une vraie caméra a vu sous un vrai angle. Le résultat est dense, dépendant du point de vue, et photoréaliste d’une façon que les triangles ne peuvent égaler.
Le nom technique est 3D Gaussian Splatting (3DGS). Le format de fichier est `.spz` (compressé) ou `.ply` (échange). Vous ne pouvez pas le toucher ni le casser ; vous pouvez le faire pivoter, zoomer dessus, et y pointer une IA.
Raku utilise Brush v0.3.0 comme entraîneur de Gaussian splatting. Il tourne sur un GPU (Azure A10, AWS G5, ou Nebius H100 — plus de détails ci-dessous). L’étape de Structure-from-Motion COLMAP qui la précède — transformant vos images vidéo en un nuage de points 3D épars — tourne sur CPU et est en direct aujourd’hui.
Comment fonctionne le flux de capture
Étape un : ouvrez la PWA. Le point d’entrée est un code QR sur rakuai.com/capture.html. Scannez-le avec votre téléphone. L’application de capture s’ouvre dans votre navigateur mobile — pas d’App Store, pas d’APK, pas de compte requis pour essayer. Elle tourne comme une application web progressive.
Étape deux : enregistrez un scan. Marchez lentement autour de l’espace — ou autour de l’objet, ou le long du mur qui vous intéresse. Trente à soixante secondes d’images stables suffisent. L’application envoie les images au backend Raku via `POST /capture/upload`. Votre scan part vers Azure Blob Storage immédiatement.
Étape trois : reconstruction. Le backend envoie une tâche de reconstruction à `recon-worker` — un exécuteur de tâches Container Apps. Il fait tourner COLMAP sur vos images, calcule les positions de caméra, et produit un nuage de points 3D épars. Cette étape est liée au CPU et fonctionne aujourd’hui, pour chaque scan.
Étape quatre : entraînement du splat. La sortie COLMAP alimente Brush, qui ajuste des millions de gaussiennes à vos images. C’est l’étape liée au GPU. Honnêtement : le quota GPU sur Azure A10 est en cours d’examen ; les crédits AWS Activate sont en attente (demandés le 28 mai). Tant que l’un des deux n’est pas arrivé, les reconstructions retombent sur le nuage de points épars. C’est un accès anticipé, pas un produit terminé. Les vrais chemins GPU sont attendus sous quelques jours.
Étape cinq : le splat vit. Le fichier `.spz` entraîné se trouve à `api.rakuai.com/splats/
La partie qui la rend utile : MCP
La visionneuse interactive est satisfaisante. Le runtime MCP est ce qui rend le splat réellement utile.
MCP — Model Context Protocol — est le protocole ouvert qui permet à un assistant IA externe d’appeler des outils typés contre un service externe. Raku expose votre scène capturée via deux surfaces :
17 outils natifs — un contrat typé pour lire et muter une scène spatiale. Les outils en lecture seule (interroger les positions d’objets, mesurer des distances, obtenir les métadonnées de scène) fonctionnent sur tous les paliers y compris gratuit. Les outils de mutation (déplacer des objets, annoter, mettre à jour l’état de scène) nécessitent des octrois de permission explicites et sont refusés par défaut.
Environ 9 500 points de terminaison relayés — la surface FastAPI complète du backend Raku, exposée via le relais MCP. Historique de capture, statut des tâches, qualité de reconstruction, métadonnées de scène — tout accessible depuis n’importe quel client MCP.
Le serveur MCP tourne à `api.rakuai.com`. Il parle le transport stdio. Chaque appel est journalisé dans une piste d’audit immuable. Des limites de débit par session sont appliquées.
MCP est disponible sur tous les paliers, y compris gratuit. Connecter votre assistant IA à une scène capturée n’est pas une fonctionnalité Pro.
Poser des questions à votre assistant sur un espace
Une fois que vous avez connecté votre assistant IA à Raku via MCP, les questions que vous pouvez poser deviennent spatiales et ancrées plutôt qu’hypothétiques :
« Est-ce que ce canapé tiendra le long du mur du fond ? » — L’assistant appelle `measure_distance` entre les deux murs, compare avec les dimensions du canapé que vous fournissez, et vous donne un vrai chiffre, pas une estimation.
« Quelle est la distance entre la fenêtre et le bureau ? » — `query_scene_objects` localise les deux, `measure_distance` renvoie l’écart en centimètres.
« Qu’y a-t-il sur l’étagère dans le coin ? » — `query_scene_objects` renvoie les objets que le runtime a identifiés dans cette zone.
« À quoi ressemblerait cette pièce avec le bureau tourné de quatre-vingt-dix degrés ? » — Avec un octroi de mutation, l’assistant peut repositionner le bureau dans le modèle de scène et refaire le rendu de la vue.
Ce ne sont pas des résultats de recherche. Ce sont des mesures et des observations faites contre une représentation 3D de votre espace réel. L’assistant apporte le langage et le raisonnement. Raku apporte le substrat spatial.
Claude, ChatGPT, Gemini, et Copilot fonctionnent tous. Le contrat MCP est le même pour tous. Quand un nouvel assistant IA livre un support MCP, il fonctionne contre Raku sans aucun changement de code de notre côté.
Ce qui est en direct aujourd’hui par rapport à ce qui arrive
En direct aujourd’hui : - PWA de scan téléphone — pas d’installation, entrée par QR, envoi vers Azure Blob - Extraction de caractéristiques COLMAP et nuage de points épars - Infrastructure backend (FastAPI environ 9 500 points de terminaison, magasin de tâches Redis, limites de débit sensibles au palier) - Runtime MCP avec 17 outils natifs + environ 9 500 points de terminaison relayés - Relais MCP hébergé pour Claude, ChatGPT, Gemini, Copilot - Palier gratuit (10 captures/jour, 1 Go, rétention 7 jours, MCP inclus) - Pro Bêta — 0 \$ pendant la période bêta, sera 14,99 \$/mois à la disponibilité générale avec au moins 30 jours de préavis avant toute facturation
Bloqué (accès anticipé — attendu sous quelques jours) : - Entraînement de splat GPU réel sur Azure A10 (quota en cours d’examen) - Entraînement de splat GPU réel sur AWS G5 (crédits Activate en cours d’examen) - Visionneuse de splat 3D en direct dans l’application de capture (le moteur de rendu three.js est câblé ; a besoin d’un splat entraîné pour s’afficher)
Feuille de route : - Octrois de mutation en libre-service en production - File de reconstruction de meilleure qualité pour Pro - Écosystème d’adaptateurs tiers
Membre NVIDIA Inception depuis mai 2026. Cinq brevets américains délivrés (priorité juillet 2012).
Honnête sur ce que c’est
Raku Capture est une reconstruction de qualité téléphone et prosumer. Ce n’est pas un instrument de relevé topographique. Ce n’est pas un outil de photogrammétrie professionnel. Il ne vous donnera pas une précision millimétrique ou des modèles prêts pour la CAO.
Ce qu’il vous donnera est un splat gaussien 3D photoréaliste de votre espace, produit à partir d’un tour à pied avec un téléphone, accessible à tout LLM via MCP. Pour les questions que la plupart des gens veulent poser sur un espace réel — « est-ce que ça tient ? », « quelle est la distance ? », « qu’y a-t-il là-bas ? » — c’est assez précis pour être véritablement utile.
La visionneuse de splat n’est pas encore livrée sur capture.html. La démo de bout en bout en direct (scanner sur téléphone, voir le splat dans le navigateur, poser une question à l’assistant) nécessite un splat entraîné, et l’entraînement GPU est la seule porte encore ouverte. Cette porte devrait se fermer sous quelques jours.
Pour commencer
Si vous voulez essayer la capture dès aujourd’hui : rakuai.com/capture.html — scannez le QR avec votre téléphone.
Si vous voulez connecter votre assistant IA via MCP : /developers/claude-desktop.html — le guide Claude Desktop ; même schéma pour tous les assistants.
Si vous voulez comprendre la surface d’outils MCP complète : /mcp.html.
Scannez-le. Puis parlez-lui.