Wie RakuAI funktioniert — von Anfang bis Ende
Scannen Sie einen Raum mit Ihrem Telefon. Dreißig Sekunden später existiert ein 3D-Gaussian-Splat. Bitten Sie jetzt Claude — oder ChatGPT, oder Gemini — ihn abzufragen, zu kommentieren, Dinge darin zu verschieben. Das ist der ganze Pitch. Dieser Beitrag ist der ehrliche Bericht darüber, wie jeder Schritt tatsächlich funktioniert, was heute live ist und was noch auf GPU-Guthaben wartet.
Das ist eine andere Art von Beitrag für dieses Blog. Die üblichen Samstagsbeiträge handeln von einem konkreten gelösten Problem oder einer konkret überstandenen Woche. Dieser hier zoomt heraus auf das Gesamtbild — was RakuAI ist, wie seine Teile zusammenhängen und was der Burggraben tatsächlich ist, wenn man ihn von Anfang bis Ende verfolgt. Es ist der Beitrag, den ich mir gewünscht hätte, als ich das zum ersten Mal einem Entwicklungspartner erklären musste, der die echte Geschichte wollte, nicht die Pitch-Deck-Version.
Die Prämisse in einem Satz
Sie scannen einen realen Ort mit einem Telefon. Der Scan wird zu einem 3D-Gaussian-Splat — einer fotorealistischen Rekonstruktion aus Millionen winziger transparenter Ellipsoide. Der Splat wird über eine Runtime bereitgestellt, die ihn als Tools zugänglich macht, die jedes LLM aufrufen kann. Das LLM kann die Szene abfragen, über ihren Inhalt nachdenken und — unter den richtigen Berechtigungen — sie verändern. Keine Spiel-Engine-Lizenz. Keine Integration pro Anbieter. Kein Modell-Lock-in.
Das ist die Idee hinter „Scannen. Dann darüber sprechen.” Hier ist, wie jedes Glied dieser Kette funktioniert.
Schritt 1: Capture — vom Telefonvideo zu Rohbildern
Der Einstiegspunkt ist eine Progressive Web App unter rakuai.com/capture-app/. Sie läuft in einem mobilen Browser ohne Installation. Der Nutzer nimmt 30 bis 60 Sekunden Video auf und geht dabei langsam um das Objekt herum — einen Raum, ein Objekt, einen Ort, der es wert ist, festgehalten zu werden.
Die PWA bündelt die Videobilder und lädt sie auf POST /api/v1/capture im Backend hoch, das auf Azure Container Apps unter api.rakuai.com läuft. Das Backend ist ein FastAPI-Dienst — ~9.500 REST-Endpunkte —, der den Upload authentifiziert, Metadaten erfasst (ursprünglicher Dateiname, Content-Type, Aufnahmezeitstempel) und das Roheingabebündel in Azure Blob Storage ablegt.
Dieser Teil ist live. Der Upload-Pfad funktioniert heute, für jeden, der sich anmeldet.
Schritt 2: Rekonstruktion — COLMAP-Merkmalsextraktion zur Punktwolke
Das Backend gibt einen Rekonstruktionsjob an einen Container-Apps-Job-Runner namens recon-worker weiter. Als Erstes führt dieser COLMAP aus — die Structure-from-Motion-Bibliothek — über die hochgeladenen Bilder. COLMAP identifiziert übereinstimmende Merkmale zwischen Bildern und berechnet Kamerapositionen, wodurch eine spärliche 3D-Punktwolke entsteht.
Dieser Schritt ist CPU-gebunden und benötigt keine GPU. Er läuft heute.
Schritt 3: Splat-Training — Brush verwandelt eine Punktwolke in einen Gaussian-Splat
Das ist der rechenintensive Schritt. Der Rekonstruktions-Worker speist die COLMAP-Punktwolke und die Original-Bilder in Brush v0.3.0 ein, einen 3D-Gaussian-Splatting-Trainer. Brush passt Millionen kleiner 3D-Gaußfunktionen an die Szene an — jede Gaußfunktion ist ein Ellipsoid im 3D-Raum mit Position, Ausrichtung, Skalierung, Opazität und blickwinkelabhängiger Farbe. Die Ausgabe ist eine .ply- oder .spz-Datei, die zusammen mit der Eingabe in Azure Blob Storage abgelegt wird.
Ehrlich gesagt: Dieser Schritt benötigt eine GPU. GPU-Kontingent auf Azure A10 befindet sich in Prüfung. AWS-Activate-Guthaben wartet auf Genehmigung (beantragt am 28.05.2026). Bis eines davon vorliegt, fällt der Produktions-Rekonstruktions-Worker auf ein simuliertes Backend zurück — die Architektur ist verdrahtet, der GPU-Pfad ist noch nicht live. Das ist früher Zugang, kein fertiges Konsumprodukt.
Schritt 4: Die MCP-Runtime — 17 Tools + ~9.500 Durchgriffs-Endpunkte
Das ist der Teil, der aus dem Splat ein lebendiges räumliches Objekt macht statt eine statische Datei.
Die Runtime ist eine C++-Engine: 18 native DLLs, 30.738 exportierte Funktionen über Subsysteme für Physik, Rendering, Audio, Tracking, Multiplayer-Zustand und KI-Orchestrierung. Seit April 2026 CI-grün unter Windows, Linux und macOS.
Auf der Engine setzt der MCP-Server auf und stellt zwei Oberflächen bereit:
17 native Tools (5 nur lesend + 12 mutierend) — der typisierte Vertrag, mit dem jeder externe Agent mit einer Szene interagiert. Rein lesende Tools funktionieren in jeder Umgebung. Mutierende Tools benötigen explizite Berechtigungsfreigaben und werden in Produktion standardmäßig verweigert.
~9.500 Durchgriffs-Endpunkte — die vollständige FastAPI-Oberfläche von raku-api, bereitgestellt über das MCP-Relay. Jede der Routen des Backends kann über das Relay erreicht werden, was einem LLM Zugriff auf die Capture-Historie, den Job-Status, Szenen-Metadaten und die gesamte Abfrageoberfläche des Backends gibt.
Der MCP-Server läuft unter api.rakuai.com auf Azure Container Apps. Das Relay für Claude Desktop, ChatGPT und Gemini ist live. Der Server spricht stdio-Transport, protokolliert jeden Aufruf in einem Audit-Trail und setzt Rate-Limits pro Sitzung durch.
Schritt 5: Multi-Vendor-LLM-Zugriff — der eigentliche Burggraben
Jedes Modell, das Model Context Protocol spricht, kann sich mit der Runtime verbinden und Tools gegen eine erfasste Szene aufrufen, ohne eine kundenspezifische Integration. Claude, ChatGPT, Gemini, Copilot — der Vertrag ist für alle gleich.
Die Runtime schreibt den Vertrag einmal. Die Modelle passen sich dem Vertrag an. Wenn ein neues Modell-Labor einen MCP-Client ausliefert, funktioniert er gegen die Runtime ohne jede Codeänderung unsererseits.
Die Runtime hat keine Meinung dazu, welches Modell am anderen Ende sitzt. Sie behält die Autorität über Physik, Kollision, Punktestand, Rendering und Szenenzustand. Das Modell trägt Abfragen und Absicht bei. Keine Seite muss von der Existenz der anderen wissen, außer über die typisierte Tool-Oberfläche.
Das ist der Burggraben: die ehrliche Erfassung der physischen Welt, gespeichert als verlustfreie 3D-Repräsentation, abfragbar von jedem LLM, das ein offenes Protokoll spricht. Nicht an ein Modell gebunden. Nicht an einen Anwendungsfall gebunden. Nicht an einen Hardware-Anbieter gebunden.
Was heute live ist versus was auf der Roadmap steht
Heute live: - Telefon-Capture-PWA, Upload zu Azure Blob - COLMAP-Merkmalsextraktion und Punktwolke - Backend-Infrastruktur (FastAPI ~9.500 REST-Endpunkte, Redis-Job-Store, tier-bewusste Rate-Limits) - MCP-Runtime mit 17 nativen Tools + ~9.500 Durchgriffs-Endpunkten - Gehostetes MCP-Relay für Claude, ChatGPT, Gemini - Multi-Vendor-Tool-Vertrag (stdio, Deny-by-Default, vollständiges Audit-Log) - Free-Tier und Pro-Beta-Tier (Pro Beta ist während der Beta-Phase 0 $)
Gesperrt (früher Zugang — erwartet innerhalb weniger Tage): - Echtes GPU-Splat-Training auf Azure A10 (Kontingent in Prüfung) - Echtes GPU-Splat-Training auf AWS G5 (Activate-Guthaben in Prüfung)
Roadmap (noch nicht ausgeliefert): - Live-Splat-Viewer in der Capture-PWA (three.js-Gaussian-Splat-Renderer ist verdrahtet; die End-to-End-Demo benötigt einen trainierten Splat) - Self-Service-Freigaben für Produktions-Mutationen - Drittanbieter-Adapter-Ökosystem (Referenzadapter der ersten Partei existieren; ein breites Ökosystem steht auf der Roadmap)
NVIDIA-Inception-Mitglied seit Mai 2026.
Warum „nur Inferenz” keine Einschränkung ist
Die Runtime trainiert keine Modelle. Sie feintunt keine Modelle. Sie verlangt nicht, dass Sie ein Modell in ihr ausführen. Das Modell, das Sie bereits haben — was auch immer es ist, wo auch immer es läuft, wie auch immer es lizenziert ist — verbindet sich über MCP und steuert die Runtime von außen.
Das ist eine bewusste Architekturentscheidung. Training und Inferenz sind getrennte Belange. Die Runtime ist gut in räumlicher Physik, deterministischer Zustandsverwaltung, Multi-User-Synchronisation und latenzarmem Rendering. Das Modell-Labor ist gut in Schlussfolgern, Generierung und Sprache. Der MCP-Vertrag ist die Grenze zwischen ihnen. Keine Seite muss die Aufgabe der anderen übernehmen.
Nur-Inferenz bedeutet auch keine GPU-Residenz-Anforderung für das Serving. Der rechenintensive Schritt (Splat-Training) ist eine einmalige Kosten pro Capture. Alles danach ist Geometrie und MCP-Abfragen — läuft auf denselben Azure-Container-Apps-Instanzen, die auch die API bedienen.
Die ehrliche Zusammenfassung
Die Pipeline lautet: Telefonvideo → COLMAP → Brush-Gaussian-Splatting → Azure Blob → MCP-Runtime → jedes LLM. Vier der fünf Schritte sind live. Der fünfte (GPU-Splat-Training) ist verdrahtet und wartet auf Guthaben. Der Viewer, der die Schleife im Browser schließt, ist der nächste Meilenstein.
Wenn Sie das Capture-Ende heute ausprobieren möchten, ist die PWA unter rakuai.com/capture-app/ zu finden. Wenn Sie eine Szene über MCP von Claude Desktop aus steuern möchten, ist die Anleitung unter /developers/claude-desktop.html. Wenn Sie die gesamte Tool-Oberfläche verstehen möchten, finden Sie sie unter /mcp.html.
Scannen. Dann darüber sprechen.