Anclajes submilimétricos y la cuestión de la caligrafía

La mayoría de la RA perdona unos centímetros de deriva. Un tutor de caligrafía no perdona nada. RakuAI está construido para la precisión en la que la RA deja de ser una demo y empieza a ser un maestro.

Una conversación de alianza estaba fresca en mi cabeza este sábado por la mañana, y con ella un objetivo de precisión que me asustó un poco. NTT QONOQ ha estado haciendo trabajo serio de RA cultural en Japón, y el caso de uso de caligrafía que quieren que este motor soporte tiene una especificación implacable: la guía virtual de trazo de tinta que se superpone sobre una hoja de papel de práctica tiene que caer en el mismo punto exacto del mismo papel exacto, en cada fotograma, en cada parpadeo.

La mayoría de las experiencias de RA son indulgentes respecto a la precisión. Si un robot virtual está parado en algún lugar de tu piso y se desvía tres centímetros cuando miras hacia otro lado y vuelves a mirar, quizás ni lo notes. El robot es un robot. Los robots deambulan.

Un tutor de caligrafía no es indulgente. Tres centímetros de deriva es un producto inútil. Tres milímetros de deriva es un producto frustrante. Submilimétrico es la barra. Este fin de semana el runtime empezó a superarla.

Lo que aterrizó

Cinco APIs y una referencia de alianza:

• API de pose de anclaje submilimétrica para alineación de contenido de RA de alta precisión
• API de detección de papel por visión por computadora para calibración de papel basada en marcadores
• Análisis de trayectoria de trazo por visión por computadora para seguimiento en tiempo real de pluma y pincel
• Marcas de tiempo de eventos de latencia de voz y métricas en tiempo real
• Seguimiento de latencia de animación para demos orientadas a anime
• Una referencia en el README a la investigación con NTT QONOQ

Setenta commits durante el fin de semana. La mayor parte del trabajo de ingeniería estuvo en las primeras tres.

Por qué “submilimétrico” es el número correcto

La petición de submilimétrico no vino de un ejercicio de marketing. Vino de un caso de uso. Un usuario sostiene un pincel de caligrafía sobre una hoja de papel de práctica. El runtime observa el pincel, observa el papel, observa la habitación. Superpone el siguiente trazo que el usuario debería hacer como un brillo tenue sobre el papel. El usuario sigue el brillo.

Toda la experiencia se derrumba si el brillo está aunque sea ligeramente fuera del papel, porque los ojos del usuario se fijarán en el brillo en lugar de en la punta física del pincel, y el trazo físico seguirá al brillo desalineado. La deriva en la superposición produce deriva en el trazo practicado. El producto desaparece.

Así que la barra no es “submilimétrico es impresionante.” La barra es “submilimétrico es el único caso de fallo aceptable para este caso de uso.” Por encima de eso el producto se rompe.

Cómo funciona el anclaje submilimétrico

El mecanismo (simplificado): el propio papel se convierte en el anclaje. Un marcador de registro impreso en el papel de práctica se detecta en cada fotograma. El runtime calcula la pose del papel relativa a la vista del usuario en 6DoF. La superposición se renderiza en coordenadas locales al papel, no locales a la habitación. Cuando la cabeza del usuario se mueve, la matemática corre en la dirección contraria: la pose del papel se actualiza, la superposición se reproyecta, el brillo cae donde va el siguiente trazo.

Este es un diseño distinto del estándar de “anclar un objeto virtual a la habitación y confiar en la reconstrucción de la habitación.” La reconstrucción de la habitación es buena para precisión a escala de mobiliario. No es buena para precisión a escala de papel, porque el error de reconstrucción de la habitación se apila con el error de pose de la cabeza del usuario. Al anclar directamente a un objeto físico conocido (el papel) y registrar la superposición contra ese objeto, colapsamos la cadena de errores.

El costo es que el papel tiene que ser un objeto físico conocido. Resolvimos eso este fin de semana con la API de detección de papel por visión por computadora basada en marcadores. El marcador es pequeño, discreto, e impreso en cada hoja de práctica con la que se lanza la demo. El runtime detecta el marcador en aproximadamente dos milisegundos por fotograma y lo sigue de forma estable bajo iluminación típica.

El logro es que estamos haciendo esto en gafas de RA con la envolvente de cómputo que tienen, en tiempo real, en cada fotograma, con una deriva de superposición acotada por debajo de un milímetro bajo uso normal.

La referencia a NTT QONOQ

Añadí una referencia a NTT QONOQ en el README este fin de semana porque estamos en una conversación de investigación activa. NTT QONOQ en Japón ha estado haciendo trabajo serio sobre RA en el mundo real y sobre la cuestión de cómo las experiencias de RA se anclan a artefactos físicos. El caso de uso de caligrafía se alinea con el tipo de trabajo de RA cultural que la comunidad japonesa de computación espacial ha estado impulsando.

Esto no es un anuncio de alianza. Es una nota de que la conversación de alianza está ocurriendo y de que la ingeniería de este fin de semana refleja lo que se necesitaría para soportarla bien. La pregunta de producto “¿puedes hacer esto en un aula de caligrafía en Tokio?” es más concreta que la pregunta de producto “¿puedes hacer esto en algún lugar?”. Las preguntas concretas producen mejor ingeniería.

Análisis de trayectoria de trazo por visión por computadora: la parte más difícil

El anclaje submilimétrico es el titular de este fin de semana. La pieza de ingeniería realmente más difícil fue el análisis de trayectoria de trazo por visión por computadora.

Seguir una pluma o un pincel en tiempo real en gafas de RA no es un problema resuelto. La punta es pequeña, a menudo parcialmente ocluida por la mano del usuario, y se mueve a velocidad variable. El pipeline de visión por computadora de este fin de semana sigue la posición de la punta relativa al papel, infiere cuándo la punta está en contacto (contra flotando), y emite una trayectoria de trazo como un flujo de puntos con marca de tiempo. La recuperación de oclusión de mano es la parte que consumió más tiempo. El agente y yo pasamos por tres versiones de la lógica de recuperación antes de que las trazas de prueba dejaran de perder puntos.

Este es el tipo de ingeniería donde la IA como primitiva de runtime empieza a importar. El pipeline de visión por computadora recibe cada fotograma. Un modelo pequeño en el dispositivo decide si el fotograma actual es un fotograma de contacto o un fotograma de flotación. La decisión del modelo alimenta al emisor de trayectoria de trazo. El modelo no es un chatbot. Es un elemento de runtime que corre en el paso de simulación.

Ese patrón arquitectónico se está convirtiendo en un estribillo en este motor. La IA no es la función que añades. La IA es lo que ocurre entre los sensores y el renderizador, en cada fotograma, mientras el usuario hace lo que sea que esté haciendo.

Lo que quiero que los socios y constructores se lleven de esto

Si eres NTT QONOQ o cualquier otro socio pensando en superposiciones de RA de precisión en entornos reales, el trabajo del tutor de caligrafía es una demo concreta del tipo de precisión al que apunta el motor. El marco es general. No es específicamente una herramienta de caligrafía. Es un anclaje submilimétrico y un pipeline de análisis de trayectoria de trazo, ambos aplicables a muchas cosas que no se parecen en nada a la caligrafía.

Si eres un laboratorio de IA con un modelo pequeño que es bueno en segmentación de mano o pluma, este es el tipo de modelo que vive dentro del paso de simulación en este motor. El presupuesto de latencia es estrecho. La barra de calidad es alta. Si tu modelo encaja, este motor tiene un lugar para él.

Setenta commits. Un objetivo de demo. Una conversación de alianza acelerando. El tipo de sábado que no cambiaría por nada.