RakuAI verwandelt alles, was deine Kamera sieht, in eine sprechbare Szene — eine Gaussian-Splat-Aufnahme, einen Live-Viewer und eine MCP-Oberfläche, durch die dein KI-Assistent gehen, die er messen und verändern kann.
Mitglied vonCapture ist heute: ein Telefon-Scan rein, ein ziehbares Splat raus. Das MCP-Runtime, das deine KI antreibt, ist bereits live.
Capture ist eine Telefon-Erfahrung. Richte deine Kamera auf diesen QR-Code, um die Raku-Capture-Web-App zu öffnen, und scanne dann einen echten Raum.
Oder direkt öffnen: rakuai.com/capture-app/
Raku Capture wird von einem NVIDIA Inception-Mitglied gebaut. Wir bringen NVIDIA-beschleunigte 3D-Gaussian-Splat-Verfahren (den Brush-Trainer auf A10G / L40S) in den Rekonstruktionsschritt, sodass aus einem Telefon-Scan eines beliebigen Raums in wenigen Minuten ein erkundbares Splat wird — mit Hilfe von NGC-Katalog und Cloud-Credits des Programms. Ankündigung lesen →
Drei Aufgaben, eine Pipeline. Realität geht als Video rein. Eine räumliche Welt kommt raus. Dann lebt dein KI-Assistent über MCP darin — er liest die Szene und schreibt deinen Raum niemals stillschweigend um.
Richte eine Kamera auf einen Raum und bewege dich darin. Ein Telefon genügt. Kein Rig, keine Marker, keine Kabine. Hier führen wir, weil dieser Teil ehrlich sein muss, bevor irgendetwas anderes interessant ist.
Die Frames werden zu einem Gaussian Splat mit realer Geometrie und realem Maßstab — eine Szene, die du orbitieren, vermessen und verankern kannst. Das Runtime behält die Hoheit über Physik, Kollision und Transformationen.
Dein KI-Assistent verbindet sich über denselben MCP-Vertrag, den die Engine bereits bereitstellt — 17 native Tools (5 lesend + 12 mutierend) plus universeller api_call/api_search-Passthrough. Er kann die Szene sehen, Entfernungen messen, Änderungen simulieren und handeln — innerhalb der von dir gesetzten Berechtigungen, jeder Aufruf auditiert. MCP ist in jedem Tarif enthalten — kein Paywall.
Jedes Modell, das Model Context Protocol spricht, kann eine sprechbare Szene steuern. Funktioniert heute mit Claude, ChatGPT, Gemini und GitHub Copilot — in jedem Tarif, kein Paywall, keine zusätzliche Einrichtung außer dem Einfügen eines Konfigurationsblocks.
Der MCP-Server stellt 17 native Tools bereit (5 lesend + 12 mutierend) plus universellen api_call/api_search-Passthrough. Die zentralen Szenen-Tools sind: load_world_model, ingest_frame, get_scene_state, set_render_target, start_simulation und get_metrics. Dein Assistent ruft sie auf, um eine aufgenommene Szene zu laden, Live-Frames einzuspeisen, Geometrie und Zustand zu lesen und Simulationen zu starten — jeder Aufruf wird protokolliert und ist standardmäßig gesperrt. Du behältst die Kontrolle.
Ehrliche Einordnung: Der Haupt-Use-Case ist jetzt im Early Access. Die anderen zeigen, wohin das führt — gekennzeichnet, damit du weißt, was heute real ist und was auf der Roadmap steht. Pro Beta ist während des Early Access kostenlos (14,99 $/Monat ist die angestrebte GA-Preisgestaltung, keine aktuelle Abrechnung).
Scanne einen Raum. Stelle dann deinem Assistenten Fragen zum tatsächlichen Raum vor dir — „Passt diese Couch an diese Wand?“ „Wie weit ist das Fenster vom Schreibtisch?“ Er antwortet anhand der gemessenen Szene, nicht aus einer Schätzung.
Ein erfasster Raum kann ein Level, eine Kulisse oder ein spielbares Set-Piece innerhalb des RakuAI-Runtimes werden. Wir versprechen kein Prompt-zu-Spiel. Wir sagen: Ein echter Scan ist ein echtes, wiederverwendbares Teil davon.
Auf Brillen wird die Aufnahme zu einem persistenten räumlichen Zwilling, den dein Assistent mit dir teilt — verankert, submillimetergenau, gebaut für das thermische Profil, für das das Runtime entworfen wurde.
Der längere Bogen ist kontinuierliche Erfassung: Die Welt aktualisiert sich, während du dich bewegst, und der Assistent reasoniert live über sie via ingest_frame. Heute ist dieser Pfad mit Stubs erprobt. Wir werden das so sagen, bis er Ende-zu-Ende ausgeliefert wird.
Konzept-Medien unten. Das sind die Demos in der Warteschlange, schlicht beschrieben — Platzhalter, kein gestelltes Material als Produkt verkleidet.
Ein einziger ungeschnittener Clip: Jemand bewegt ein Telefon etwa zwanzig Sekunden um einen Raum, und ein ziehbares Gaussian Splat dieses Raums erscheint. Keine Schnitte, die die Arbeit verbergen. Capture ist die Behauptung, also zeigen wir Capture.
Derselbe Scan, jetzt per MCP mit einem Assistenten verbunden. Wir bitten ihn, einen Abstand zu messen, eine Passform zu prüfen und zu beschreiben, was auf einem Regal steht — und er antwortet aus der erfassten Szene. Es geht darum, dass der Assistent über deinen Raum reasoniert, nicht über einen Standard-Raum.
Capture ist im Early Access. Das Runtime, das deine KI antreibt, nicht — der MCP-Server ist heute live. Scanne einen Raum mit deinem Telefon, verbinde einen beliebigen MCP-fähigen Assistenten (Claude, ChatGPT, Gemini oder Copilot) und stelle echte Fragen zu einem echten Raum. Pro Beta ist während des Early Access kostenlos.