Scannen. Dann darüber sprechen. — RakuAI Capture für Alltagsräume
Sie holen Ihr Telefon heraus, gehen dreißig Sekunden lang durch Ihr Wohnzimmer und tippen auf Hochladen. Wenige Minuten später haben Sie eine 3D-Rekonstruktion dieses Raums — und sobald GPU-Splat-Training online ist (kommt innerhalb weniger Tage), wird daraus ein ziehbarer fotorealistischer Gaussian-Splat aus Millionen winziger transparenter Ellipsoide — abrufbar unter einer URL, die Sie teilen können. Dann öffnen Sie Claude, oder ChatGPT, oder Gemini, richten es auf Ihren Raku-MCP-Server und fragen: „Passt dieses Sofa an die gegenüberliegende Wand?” Der Assistent liest die Szene, misst den Abstand und sagt es Ihnen.
Das ist die Idee hinter Raku Capture. Ein Telefon. Kein Rig, keine Marker, keine Desktop-3D-Software, keine Installation. Das Ergebnis ist kein Foto — es ist eine ansprechbare Szene: ein lebendiges räumliches Objekt, das Ihr KI-Assistent abfragen, vermessen und über das er nachdenken kann.
Dieser Beitrag ist der ehrliche Bericht darüber, wie das heute aussieht, was noch kommt, und warum die Kombination aus ehrlicher Erfassung und einer offenen-Protokoll-KI-Runtime etwas wirklich Neues ist.
Was Gaussian-Splatting tatsächlich ist
Die meisten 3D-Capture-Tools erzeugen Meshes — eine Haut aus Dreiecken über der geschätzten Form eines Raums. Meshes wirken von außen plausibel und fallen aus der Nähe auseinander. Gaussian-Splatting ist anders. Es füllt die Szene mit Millionen winziger 3D-Ellipsoide — jedes davon positioniert, ausgerichtet, skaliert und farblich so abgestimmt, dass es dem entspricht, was eine echte Kamera aus einem echten Blickwinkel gesehen hat. Das Ergebnis ist dicht, blickwinkelabhängig und fotorealistisch auf eine Weise, die Dreiecke nicht erreichen können.
Der Fachbegriff lautet 3D Gaussian Splatting (3DGS). Das Dateiformat ist .spz (komprimiert) oder .ply (Austauschformat). Man kann es nicht anfassen oder beschädigen; man kann es drehen, hineinzoomen und eine KI darauf ansetzen.
Raku verwendet Brush v0.3.0 als Gaussian-Splatting-Trainer. Er läuft auf einer GPU (Azure A10, AWS G5 oder Nebius H100 — dazu unten mehr). Der COLMAP-Structure-from-Motion-Schritt, der davor liegt — der Ihre Videobilder in eine spärliche 3D-Punktwolke verwandelt —, läuft auf der CPU und ist heute live.
Wie der Capture-Ablauf funktioniert
Schritt eins: Die PWA öffnen. Der Einstiegspunkt ist ein QR-Code auf rakuai.com/capture.html. Scannen Sie ihn mit Ihrem Telefon. Die Capture-App öffnet sich in Ihrem mobilen Browser — kein App Store, keine APK, kein Konto zum Ausprobieren nötig. Sie läuft als Progressive Web App.
Schritt zwei: Einen Scan aufnehmen. Gehen Sie langsam durch den Raum — oder um das Objekt herum, oder entlang der Wand, die Sie interessiert. Dreißig bis sechzig Sekunden ruhiges Filmmaterial reichen aus. Die App lädt die Bilder über POST /capture/upload zum Raku-Backend hoch. Ihr Scan geht sofort an Azure Blob Storage.
Schritt drei: Rekonstruktion. Das Backend gibt einen Rekonstruktionsjob an recon-worker weiter — einen Container-Apps-Job-Runner. Er führt COLMAP über Ihre Bilder aus, berechnet Kamerapositionen und erzeugt eine spärliche 3D-Punktwolke. Dieser Schritt ist CPU-gebunden und läuft heute, für jeden Scan.
Schritt vier: Splat-Training. Die COLMAP-Ausgabe fließt in Brush ein, das Millionen von Gaußfunktionen an Ihre Bilder anpasst. Das ist der GPU-gebundene Schritt. Ehrlich gesagt: Das GPU-Kontingent auf Azure A10 ist in Prüfung; AWS-Activate-Guthaben steht aus (beantragt am 28. Mai). Bis eines davon vorliegt, fallen Rekonstruktionen auf die spärliche Punktwolke zurück. Das ist früher Zugang, kein fertiges Produkt. Echte GPU-Pfade werden innerhalb weniger Tage erwartet.
Schritt fünf: Der Splat lebt. Die trainierte .spz-Datei liegt unter api.rakuai.com/splats/<id>.spz. Sie erhalten einen teilbaren Link und einen interaktiven Viewer. Ziehen zum Drehen. Zusammenziehen zum Zoomen. Es ist Ihr Raum, aufbewahrt als messbares 3D-Objekt.
Der Teil, der es nützlich macht: MCP
Der interaktive Viewer ist zufriedenstellend. Die MCP-Runtime ist das, was den Splat tatsächlich nützlich macht.
MCP — Model Context Protocol — ist das offene Protokoll, das einem externen KI-Assistenten erlaubt, typisierte Tools gegen einen externen Dienst aufzurufen. Raku stellt Ihre erfasste Szene über zwei Oberflächen bereit:
17 native Tools — ein typisierter Vertrag zum Lesen und Verändern einer räumlichen Szene. Die rein lesenden Tools (Objektpositionen abfragen, Abstände messen, Szenen-Metadaten abrufen) funktionieren auf jeder Stufe, auch der kostenlosen. Mutierende Tools (Objekte verschieben, kommentieren, Szenenzustand aktualisieren) benötigen explizite Berechtigungsfreigaben und werden standardmäßig verweigert.
~9.500 Durchgriffs-Endpunkte — die vollständige FastAPI-Oberfläche des Raku-Backends, bereitgestellt über das MCP-Relay. Capture-Historie, Job-Status, Rekonstruktionsqualität, Szenen-Metadaten — alles erreichbar von jedem MCP-Client aus.
Der MCP-Server läuft unter api.rakuai.com. Er spricht stdio-Transport. Jeder Aufruf wird in einem unveränderlichen Audit-Trail protokolliert. Rate-Limits pro Sitzung werden durchgesetzt.
MCP ist auf jeder Stufe verfügbar, auch der kostenlosen. Die Verbindung Ihres KI-Assistenten mit einer erfassten Szene ist keine Pro-Funktion.
Ihrem Assistenten Fragen zu einem Raum stellen
Sobald Sie Ihren KI-Assistenten über MCP mit Raku verbunden haben, werden die Fragen, die Sie stellen können, räumlich und faktisch fundiert statt hypothetisch:
„Passt dieses Sofa an die gegenüberliegende Wand?” — Der Assistent ruft measure_distance zwischen den beiden Wänden auf, vergleicht mit den von Ihnen angegebenen Sofa-Maßen und liefert eine echte Zahl, keine Schätzung.
„Wie weit ist das Fenster vom Schreibtisch entfernt?” — query_scene_objects lokalisiert beide, measure_distance liefert den Abstand in Zentimetern.
„Was steht auf dem Regal in der Ecke?” — query_scene_objects liefert die Objekte, die die Runtime in diesem Bereich identifiziert hat.
„Wie würde dieser Raum aussehen, wenn der Schreibtisch um neunzig Grad gedreht wäre?” — Mit einer Mutations-Freigabe kann der Assistent den Schreibtisch im Szenenmodell neu positionieren und die Ansicht neu rendern.
Das sind keine Suchergebnisse. Es sind Messungen und Beobachtungen, die gegen eine 3D-Repräsentation Ihres tatsächlichen Raums vorgenommen werden. Der Assistent bringt die Sprache und das Schlussfolgern mit. Raku bringt das räumliche Substrat mit.
Claude, ChatGPT, Gemini und Copilot funktionieren alle. Der MCP-Vertrag ist für alle gleich. Wenn ein neuer KI-Assistent MCP-Unterstützung ausliefert, funktioniert er gegen Raku ohne jede Codeänderung unsererseits.
Was heute live ist versus was noch kommt
Heute live: - Telefon-Scan-PWA — keine Installation, QR-Einstieg, Upload zu Azure Blob - COLMAP-Merkmalsextraktion und spärliche Punktwolke - Backend-Infrastruktur (FastAPI ~9.500 Endpunkte, Redis-Job-Store, tier-bewusste Rate-Limits) - MCP-Runtime mit 17 nativen Tools + ~9.500 Durchgriffs-Endpunkten - Gehostetes MCP-Relay für Claude, ChatGPT, Gemini, Copilot - Free-Tier (10 Captures/Tag, 1 GB, 7 Tage Aufbewahrung, MCP inklusive) - Pro Beta — 0 $ während der Beta-Phase, wird bei GA 14,99 $/Monat kosten, mit mindestens 30 Tagen Vorankündigung vor jeder Berechnung
Gesperrt (früher Zugang — erwartet innerhalb weniger Tage): - Echtes GPU-Splat-Training auf Azure A10 (Kontingent in Prüfung) - Echtes GPU-Splat-Training auf AWS G5 (Activate-Guthaben in Prüfung) - Live-3D-Splat-Viewer in der Capture-App (three.js-Renderer ist verdrahtet; benötigt einen trainierten Splat zur Anzeige)
Roadmap: - Self-Service-Freigaben für Produktions-Mutationen - Höherwertige Rekonstruktions-Warteschlange für Pro - Drittanbieter-Adapter-Ökosystem
NVIDIA-Inception-Mitglied seit Mai 2026. Fünf erteilte US-Patente (Priorität Juli 2012).
Ehrlich gesagt, was es ist
Raku Capture ist Rekonstruktion auf Telefon- und Prosumer-Niveau. Es ist kein Vermessungsinstrument. Es ist kein professionelles Photogrammetrie-Werkzeug. Es wird Ihnen keine Millimeter-Genauigkeit oder CAD-taugliche Modelle liefern.
Was es Ihnen liefern wird, ist ein fotorealistischer 3D-Gaussian-Splat Ihres Raums, erzeugt aus einem Telefon-Rundgang, zugänglich für jedes LLM über MCP. Für die Fragen, die die meisten Menschen zu einem echten Raum stellen wollen — „Passt das?”, „Wie weit ist das?”, „Was ist da drüben?” — ist es genau genug, um wirklich nützlich zu sein.
Der Splat-Viewer ist auf capture.html noch nicht ausgeliefert. Die live End-to-End-Demo (auf dem Telefon scannen, den Splat im Browser sehen, dem Assistenten eine Frage stellen) benötigt einen trainierten Splat, und das GPU-Training ist das eine noch offene Nadelöhr. Dieses Nadelöhr soll sich innerhalb weniger Tage schließen.
Erste Schritte
Wenn Sie das Capture-Ende heute ausprobieren möchten: rakuai.com/capture.html — scannen Sie den QR-Code mit Ihrem Telefon.
Wenn Sie Ihren KI-Assistenten über MCP verbinden möchten: /developers/claude-desktop.html — die Claude-Desktop-Anleitung; dasselbe Muster gilt für alle Assistenten.
Wenn Sie die gesamte MCP-Tool-Oberfläche verstehen möchten: /mcp.html.
Scannen. Dann darüber sprechen.