Sub-Millimeter-Anker und die Kalligraphie-Frage

Die meiste AR verzeiht ein paar Zentimeter Drift. Ein Kalligraphie-Tutor verzeiht nichts. RakuAI ist für die Präzision gebaut, bei der AR aufhört, eine Demo zu sein, und anfängt, ein Lehrer zu sein.

Ein Partnerschaftsgespräch war diesen Samstagmorgen noch frisch in meinem Kopf, und ein Präzisionsziel damit, das mir ein wenig Angst machte. NTT QONOQ betreibt ernsthafte kulturelle AR-Arbeit in Japan, und der Kalligraphie-Anwendungsfall, den sie von dieser Engine unterstützt haben wollen, hat eine unerbittliche Spec: Der virtuelle Tintenstrich-Führungsguide, der ein Blatt Übungspapier überlagert, muss an derselben exakten Stelle auf demselben exakten Papier landen, jeden Frame, jedes Blinzeln.

Die meisten AR-Erlebnisse sind bei Präzision nachsichtig. Wenn ein virtueller Roboter irgendwo auf deinem Boden steht und um drei Zentimeter driftet, während du wegschaust und zurückschaust, bemerkst du es vielleicht nicht. Der Roboter ist ein Roboter. Roboter wandern.

Ein Kalligraphie-Tutor ist nicht nachsichtig. Drei Zentimeter Drift sind ein nutzloses Produkt. Drei Millimeter Drift sind ein frustrierendes Produkt. Sub-Millimeter ist die Messlatte. Dieses Wochenende begann die Runtime, sie zu reißen.

Was gelandet ist

Fünf APIs und eine Partnerschaftsreferenz:

• Sub-Millimeter-Anker-Pose-API für hochpräzise AR-Inhaltsausrichtung
• Papier-CV-Erkennungs-API für markerbasierte Papierkalibrierung
• Strichpfad-CV-Analyse für Echtzeit-Stift- und Pinsel-Tracking
• Sprach-Latenz-Event-Zeitstempel und Echtzeit-Metriken
• Animations-Latenz-Tracking für Anime-orientierte Demos
• Eine Referenz in der README auf Forschung mit NTT QONOQ

Siebzig Commits übers Wochenende. Der Großteil der technischen Arbeit steckte in den ersten drei.

Warum „Sub-Millimeter” die richtige Zahl ist

Die Sub-Millimeter-Forderung kam nicht aus einer Marketing-Übung. Sie kam aus einem Anwendungsfall. Ein Nutzer hält einen Kalligraphie-Pinsel über ein Blatt Übungspapier. Die Runtime beobachtet den Pinsel, beobachtet das Papier, beobachtet den Raum. Sie überlagert den nächsten Strich, den der Nutzer machen soll, als schwaches Leuchten auf dem Papier. Der Nutzer folgt dem Leuchten.

Das ganze Erlebnis fällt auseinander, wenn das Leuchten auch nur leicht neben dem Papier liegt, weil die Augen des Nutzers sich auf das Leuchten fixieren statt auf die physische Pinselspitze, und der physische Strich dem fehlausgerichteten Leuchten folgt. Drift im Overlay erzeugt Drift im geübten Strich. Das Produkt verschwindet.

Die Messlatte ist also nicht „Sub-Millimeter ist beeindruckend”. Die Messlatte ist „Sub-Millimeter ist der einzig akzeptable Fehlerfall für diesen Anwendungsfall”. Darüber und das Produkt zerbricht.

Wie der Sub-Millimeter-Anker funktioniert

Der Mechanismus (vereinfacht): Das Papier selbst wird zum Anker. Ein gedruckter Registrierungsmarker auf dem Übungspapier wird in jedem Frame erkannt. Die Runtime berechnet die Pose des Papiers relativ zur Sicht des Nutzers in 6DoF. Das Overlay wird in papier-lokalen Koordinaten gerendert, nicht raum-lokalen. Während sich der Kopf des Nutzers bewegt, läuft die Mathematik in die andere Richtung: Papierpose aktualisiert sich, Overlay projiziert sich neu, Leuchten landet dort, wo der nächste Strich hingehört.

Das ist ein anderer Entwurf als das Standard-„einen virtuellen Gegenstand am Raum verankern und der Raumrekonstruktion vertrauen”. Raumrekonstruktion ist gut für Möbel-Maßstab-Präzision. Sie ist nicht gut für Papier-Maßstab-Präzision, weil sich der Fehler der Raumrekonstruktion mit dem Kopfpose-Fehler des Nutzers aufstapelt. Indem wir direkt an einem bekannten physischen Objekt (dem Papier) verankern und das Overlay gegen dieses Objekt registrieren, lassen wir die Fehlerkette kollabieren.

Die Kosten sind, dass das Papier ein bekanntes physisches Objekt sein muss. Das haben wir dieses Wochenende mit der markerbasierten Papier-CV-Erkennungs-API gelöst. Der Marker ist klein, unauffällig und auf jedem Übungsblatt gedruckt, mit dem die Demo ausgeliefert wird. Die Runtime erkennt den Marker in etwa zwei Millisekunden pro Frame und verfolgt ihn stabil unter typischer Beleuchtung.

Der Gewinn ist, dass wir das auf AR-Brillen mit ihrem Rechenbudget tun, in Echtzeit, jeden Frame, mit Overlay-Drift unter einem Millimeter bei normaler Nutzung.

Die NTT-QONOQ-Referenz

Ich habe diesen Samstag eine Referenz auf NTT QONOQ in der README hinzugefügt, weil wir in einem aktiven Forschungsgespräch stehen. NTT QONOQ in Japan leistet ernsthafte Arbeit an realweltlicher AR und an der Frage, wie AR-Erlebnisse an physischen Artefakten verankern. Der Kalligraphie-Anwendungsfall passt zu der Art kultureller-AR-Arbeit, die die japanische Spatial-Computing-Community vorantreibt.

Das ist keine Ankündigung einer Partnerschaft. Es ist eine Notiz, dass das Partnerschaftsgespräch stattfindet und die technische Arbeit dieses Wochenende widerspiegelt, was gebraucht würde, um es gut zu unterstützen. Die Produktfrage „kannst du das in einem Kalligraphie-Klassenzimmer in Tokio” ist konkreter als die Produktfrage „kannst du das irgendwo”. Konkrete Fragen erzeugen bessere Technik.

Strichpfad-CV: das schwierigere Stück

Der Sub-Millimeter-Anker ist die Schlagzeile dieses Wochenendes. Das eigentlich schwierigste Stück Technik war das Strichpfad-CV.

Einen Stift oder Pinsel in Echtzeit auf AR-Brillen zu verfolgen ist kein gelöstes Problem. Die Spitze ist klein, oft teilweise von der Hand des Nutzers verdeckt, und bewegt sich mit variabler Geschwindigkeit. Die dieses Wochenende geschriebene CV-Pipeline verfolgt die Position der Spitze relativ zum Papier, schließt darauf, wann die Spitze Kontakt hat (vs. schwebt), und gibt einen Strichpfad als Strom zeitgestempelter Punkte aus. Handverdeckungs-Wiederherstellung ist der Teil, der am meisten Zeit gefressen hat. Der Agent und ich haben drei Versionen der Wiederherstellungslogik durchlaufen, bevor die Testspuren aufhörten, Punkte zu verlieren.

Das ist die Art von Technik, bei der KI als Runtime-Grundeinheit anfängt, eine Rolle zu spielen. Die CV-Pipeline bekommt jeden Frame. Ein kleines Modell auf dem Gerät entscheidet, ob der aktuelle Frame ein Kontakt-Frame oder ein Schwebe-Frame ist. Die Entscheidung des Modells speist den Strichpfad-Emitter. Das Modell ist kein Chatbot. Es ist ein Runtime-Element, das im Simulationsschritt läuft.

Dieses architektonische Muster wird zu einem Refrain in dieser Engine. KI ist nicht das Feature, das man hinzufügt. KI ist das, was zwischen Sensoren und Renderer passiert, in jedem Frame, während der Nutzer tut, was auch immer er gerade tut.

Was ich Partnern und Bauenden mitgeben möchte

Wenn du NTT QONOQ oder ein anderer Partner bist, der über Präzisions-AR-Overlays in realen Umgebungen nachdenkt, ist die Kalligraphie-Tutor-Arbeit eine konkrete Demo der Art von Präzision, auf die die Engine abzielt. Das Framework ist allgemein. Es ist nicht speziell ein Kalligraphie-Werkzeug. Es ist ein Sub-Millimeter-Anker und eine Strichpfad-CV-Pipeline, die beide auf viele Dinge zutreffen, die nichts mit Kalligraphie zu tun haben.

Wenn du ein KI-Labor mit einem kleinen Modell bist, das gut in Hand- oder Stift-Segmentierung ist, ist das die Art von Modell, die im Simulationsschritt dieser Engine lebt. Das Latenzbudget ist eng. Die Qualitätsmesslatte ist hoch. Wenn dein Modell passt, hat diese Engine einen Platz dafür.

Siebzig Commits. Ein Demo-Ziel. Ein Partnerschaftsgespräch, das an Fahrt gewinnt. Die Art von Samstag, die ich gegen nichts eintauschen würde.