楽AI — ワールドモデルのためのユニバーサルランタイム  |  スタジオ・開発者向け →    その他:コンシューマー向けデモを試す →
メンバー: NVIDIA Inception AWS で構築 Microsoft for Startups 詳しく見る ↓
空間エンジン

LLM が操作できる C++ 空間ランタイム

18 個のネイティブ DLL、30,738 個のエクスポート関数、そして Claude、GPT、または任意のモデルがライブの空間シーンを操作できる MCP サーバー。Unity/Unreal の代替ではありません — リンク可能な透過的な内部を備えた空間 AI ランタイムです。

10 分でシーンを操作 ↓ Unity / Unreal との正直な比較

RakuAI 空間エンジン:LLM 駆動のランタイムスタック 上部に LLM(Claude、GPT、Gemini、Copilot)を示す階層図。17 個の MCP ツールと約 9,500 個の REST エンドポイントを介して RakuAI 空間ランタイムに接続され、ランタイムは 30,738 個のエクスポートを公開する 18 個のネイティブ C++ DLL を基盤とし、XR ヘッドセット・スマートグラス・デスクトップを対象とします。 あなたの LLM Claude · ChatGPT · Gemini · Copilot · ローカル 17 個のネイティブ MCP ツール + api_call 経由で約 9,500 個の REST エンドポイント 空間ランタイム 物理 レンダラー / XR アニメーション 空間オーディオ SLM / AI / 音声 18 個のネイティブ C++ DLL · 30,738 エクスポート OpenXR 1.1 · DirectX 12 + Vulkan · CMake / MSVC · 米国特許 5 件取得済み XR ヘッドセット · スマートグラス · デスクトップ · ロボティクス
18
ネイティブ C++ DLL
30,738
エクスポート関数
17
ネイティブ MCP ツール
約 9,500
api_call 経由の REST エンドポイント

10 分でシーンを操作する

最も手間のかからない方法:Claude Desktop または Cursor に対して MCP サーバーを使う方法です。開始するのに C++ SDK のインストールは不要です。

1

MCP サーバーをクローンしてセットアップ

MCP サーバーは raku-runtime リポジトリの src/mcp/ にあります。Python サーバーなので — 実行中のインスタンスとの対話を始めるのに C++ ツールチェーンは不要です。

# 一度きりのセットアップ
git clone https://github.com/RakuXR/raku-runtime
cd raku-runtime/src/mcp
pip install -r requirements.txt
2

Claude Desktop をサーバーに向ける

MCP サーバーのエントリを claude_desktop_config.json に追加します。Claude Desktop は再起動時に自動的に検出します。

{
  "mcpServers": {
    "raku-runtime": {
      "command": "python",
      "args": ["path/to/raku-runtime/src/mcp/server.py"]
    }
  }
}
3

Claude にシーンの操作を依頼する

Claude は 17 個のネイティブ MCP ツールと、約 9,500 個の REST エンドポイントへのパススルーを備えています。オブジェクトのスポーン、シーングラフのクエリ、物理の実行 — すべて自然言語で行えます。

# Claude へのプロンプト例
"位置 (0, 2, 0) に剛体のキューブをスポーンし、
 上向きに 5 N のインパルスを加え、1 秒後の
 シーンノードを一覧表示してください。"
4

さらに深く:DLL を直接リンク

MCP では物足りなくなったら、RakuXR.dllRakuRenderer.dll を直接リンクします。30,738 個のエクスポートはすべて公開シンボルです — dumpbin /exports ですべて確認でき、ブラックボックスはありません。

Claude Desktop 統合ガイド全文 →

17 個のネイティブ MCP ツール — 好きなモデルを持ち込む

MCP サーバーは、シーンを認識する厳選されたツール群に加え、約 9,500 個のエンドポイントを持つ REST API 全体を公開するユニバーサルな api_call パススルーを提供します。Claude、GPT、Gemini、Copilot、またはローカルモデルを持ち込めます — モデルのロックインはありません。

scene_query
シーングラフを読み取る — ノード、トランスフォーム、プロパティ
scene_spawn
コンポーネント付きのエンティティをライブシーンにスポーン
scene_transform
任意のノードのワールド空間トランスフォームを取得・設定
physics_apply
実行時に力・インパルス・拘束を適用
animation_play
スケルタルリグでアニメーション状態をトリガー・ブレンド
asset_load
ディスクや URL からシーンへアセットをストリーミング
anchor_create
セッションをまたいでワールドロックされた空間アンカーを固定
audio_play
3D 位置で空間オーディオをトリガー
render_capture
レンダラーからフレームやストリームをキャプチャ
script_run
シーンコンテキストで Lua スクリプティングを実行
xr_session
OpenXR セッション、ヘッドポーズ、トラッキング状態を管理
input_inject
テスト自動化のため合成入力イベントを注入
debug_inspect
実行時診断、メモリ、フレーム統計を読み取る
ui_update
空間 UI パネルとオーバーレイ内容を変更
network_sync
マルチプレイヤーのシーンデルタ状態をプッシュ・クエリ
splat_load
3D ガウシアンスプラットをファーストクラスのシーンオブジェクトとしてロード
api_call
約 9,500 個すべての REST エンドポイントへのユニバーサルパススルー

エージェント駆動のシーンオーサリング(スポーン、アニメーション、スクリプト、アンカー — ループ全体)の完全対応は、フェーズ 2 のロードマップ目標です。現在の 17 個のツールは、クエリ・スポーン・トランスフォーム・物理・アセット操作をカバーしています。MCP サーバードキュメント →

スプラットネイティブ:キャプチャした現実をシーンオブジェクトに

このエンジンは Raku Capture の基盤です。スマートフォンのカメラでキャプチャした 3D ガウシアンスプラットは、ファーストクラスのシーンオブジェクトになります — 配置・アンカー付けされ、他のエンティティと同じ MCP ツールを介して任意の LLM からアドレス指定できます。同じランタイムパスが XR・デスクトップ・グラスで動作します。

キャプチャ → シーンを 1 つのパイプラインで

splat_load はキャプチャした .spz ファイルをライブシーンにストリーミングします。スプラットはシーングラフ・物理・アンカーの各サブシステムを即座に継承します。

初日から LLM でアドレス指定可能

Claude にキャプチャしたオブジェクトの移動、スプラット内に何があるかのクエリ、現実世界の位置へのアンカー付けを依頼できます — MCP サーフェスはスプラットを他のノードと同じように扱います。

OpenXR 表示パスを内蔵

RakuXR は、すべてのシーンコンテンツに使われるのと同じ、120 Hz 対応のフォービエイテッドパイプラインを通じてスプラットをレンダリングします — 別個のビューアーは不要です。

Raku Capture について詳しく →

サブミリメートル精度でワールドロック

センサーフュージョンがシーン理解を支え、それがセッションやデバイスをまたいで位置を保つアンカーを固定します。

空間アンカー:センサーフュージョンからシーン理解、アンカーへと至るパイプラインが、ワールドロックされたアンカーポイントがサブミリメートル精度で位置を保つ遠近法の部屋グリッドを支えます。 センサーフュージョン IMU · カメラ · 深度 シーン理解 平面 · メッシュ · セマンティクス 空間アンカー ワールドロック · 永続的 ドリフト < 1 mm

ランタイムの内部

パイプラインと、エンジンを構成する 18 個のネイティブ DLL をスワイプして見てみましょう — 機能ごとにグループ分けされています。

物理 — RakuPhysics

物理エンジン

剛体、拘束、レイキャスト、衝突検出を備えた本番品質の 3D 物理。モバイル XR ハードウェア上でもサブミリ秒のステップ時間を実現する決定論的シミュレーション。MCP ツール physics_apply から完全にアドレス指定可能 — LLM は自然言語プロンプトから力を加え、衝突状態をクエリし、拘束を変更できます。

  • 剛体、ジョイント、拘束、レイキャスト
  • 決定論的ステップ — 再現可能なリプレイとエージェント駆動シミュレーション
  • モバイル XR ハードウェアでのサブミリ秒ステップ
  • RakuPhysics.dll 内の 1,278 個のエクスポート関数
主なメリット: VR・デスクトップ・モバイルにわたる一貫した信頼性の高い物理 — プラットフォームごとの調整は不要。ヘッドセットで動くのと同じステップが、エージェント評価ではヘッドレスで動きます。
VFX — RakuRenderer

パーティクルシステム & VFX

ジャンル別の VFX プリセットを備えた GPU 高速化パーティクルシステム。エミッター、アトラクター、衝突、LOD スケーリングをサポート。自動バジェット管理が XR ハードウェアでフレームレートを 72–120 Hz に固定します。レンダラーは Vulkan バックエンド(RakuVulkan)を備えた DirectX 12 を使用 — どちらのパスも RakuRenderer.dll(3,677 エクスポート)からエクスポートします。

主なメリット: ハードウェアに合わせてスケールするシネマティック VFX — 手動最適化なし。パーティクルを管理する同じバジェットマネージャーが、エージェントが注入したシーン変更も管理します。
アニメーション — RakuAnimation

アニメーションシステム

ブレンドツリー、ステートマシン、IK、リターゲティングを備えたスケルタルアニメーション。スムーズな遷移と実行時ブレンドにより、同時にアニメーションするキャラクターをサポート。MCP ツール animation_play により、LLM はアニメーション状態を直接トリガーまたはブレンドできます — カスタム統合は不要です。

  • ブレンドツリー、ステートマシン、IK、リターゲティング
  • 実行時ブレンド — LLM 駆動の遷移
  • RakuAnimation.dll 内の 1,900 個のエクスポート関数
主なメリット: キャラクターごとのセットアップなしで、自然で反応の良いキャラクターアニメーション。エージェントは監督と同じようにキャラクターの振る舞いを指示できます — 自然言語で。
オーディオ — RakuAudio

空間オーディオ

バイノーラルレンダリング、オクルージョン、リバーブゾーン、適応型音楽レイヤーを備えた HRTF ベースの 3D 空間オーディオ。最小限の CPU オーバーヘッドで XR ヘッドセットのスピーカーとヘッドフォン向けに調整。MCP ツール audio_play により、LLM はシーン内の任意の 3D 位置に音を配置できます。

  • HRTF バイノーラルレンダリング — 自然な方向知覚
  • オクルージョン、リバーブゾーン、適応型音楽レイヤー
  • RakuAudio.dll 内の 1,654 個のエクスポート関数
主なメリット: プレイヤーは 3D 空間で自然に音を定位できます — 没入型 XR に不可欠。エージェントが配置したオーディオアンカーは、視覚オブジェクトと同様にシーングラフに従います。

正直な比較:RakuAI vs. Unity / Unreal

私たちは Unity や Unreal の代替ではありません。彼らが弱いところで勝ちます。この表を公開し続けるのは、開発者の信頼がマーケティングの誇張よりも重要だからです。

機能 RakuAI Unity Unreal Engine
LLM がライブシーンを操作(MCP) ネイティブ — 17 ツール + 約 9,500 エンドポイントのパススルー 組み込みなし。カスタムプラグインが必要 組み込みなし。カスタムプラグインが必要
透過的なネイティブエクスポート 30,738 個の公開シンボル — 任意の DLL に直接リンク可能 クローズドランタイム。IL2CPP / マネージドレイヤー クローズドランタイム。UObject / Blueprint レイヤー
グラスクラスの熱設計バジェット RakuSLM オンデバイス推論。5W 未満のエンベロープに調整 設計目標ではない 設計目標ではない
OpenXR 1.1(ハンド/アイトラッキング、アンカー) RakuXR — 2,704 エクスポート、完全な OpenXR サーフェス OpenXR プラグイン経由でサポート OpenXR プラグイン経由でサポート
スプラット / 3DGS をファーストクラスのシーンオブジェクトとして ネイティブ — MCP ツール splat_load、シーングラフに統合 サードパーティパッケージ。シーングラフネイティブではない サードパーティパッケージ。シーングラフネイティブではない
エディターツール & アセットストア 初期段階 — RakuEditor DLL。グラフィカルエディターはまだなし 業界標準のエディター。大規模なアセットストア 業界標準のエディター。Fab マーケットプレイス
AAA コンソールパイプライン 現在の対象ではない 完全なコンソール認証サポート 完全なコンソール認証サポート
ドキュメントの広さ 不十分 — フェーズ 0(DLL ごとのリファレンスは未提供) 充実 充実
好きな LLM を持ち込む(ロックインなし) MCP 対応の任意のモデル — Claude、GPT、ローカル ネイティブな同等機能なし ネイティブな同等機能なし
エクスポート数の検証可能性 dumpbin 出力をリポジトリにコミット — 監査可能 該当なし — クローズドランタイム 該当なし — クローズドランタイム

完全な正直比較(さらなるサブシステム、ライセンス、価格)→ compare.html

ランタイムの現状

マーケティングではなく実際の事実に基づいてランタイムを評価できるよう、正直な現状を公開しています。

フェーズ 0 — ランタイムを信頼でき、使えるものにする

出荷済みで信頼できるもの: 30,738 個のエクスポート関数を持つ 18 個の C++ DLL(dumpbin /exports で検証済み、CI アーティファクトとして raku-runtime/dll_exports/ で追跡)。17 個のネイティブツールを備えた src/mcp/ の MCP サーバーが稼働中。RakuXR での OpenXR 1.1 サポート。NVIDIA Inception メンバー(2026 年 5 月)。米国特許 5 件取得済み(優先日 2012 年 7 月)。

アクティブな不具合: RakuAssets には進行中の LNK2001 リンカー修正があります。他の 17 個の DLL は CI グリーンです。クリーンな 18/18 ビルドは間近ですが、まだ確認されていません。この通知は修正が反映され次第削除されます。

まだ未提供(フェーズ 0 の課題): DLL ごとのリファレンスドキュメント、公開された DLL 機能マトリクス、「10 分でシーンを操作する」クイックスタート動画。最初の組み込み OEM 出荷はフェーズ 1 です。

エクスポート数についての注記: 30,738 はドキュメント化された / main のベースラインです。未マージの WIP ブランチのローカル Release ビルドでは +46(30,784)と表示されますが — 公開用に正規なのは 30,738 の数値のみです。

XR 向けに最適化 — そしてグラスの熱設計エンベロープにも

各サブシステムは VR・AR ヘッドセットの厳しいフレームバジェット向けに最適化されています — そして Unity や Unreal が対象としない、スマートグラスハードウェアのより厳しい制約にも。

120 Hz XR レンダリング

自動 LOD を備えたフォービエイテッドレンダリングパイプラインが、あらゆるヘッドセットクラスでフレームバジェットを守ります。

オンデバイス SLM 推論

RakuSLM はスマートグラスハードウェアの 5W 未満の熱設計エンベロープを対象とします — テザリングされた GPU リグではありません。

透過的な内部

30,738 個すべてのエクスポートは公開シンボルです。C++ レベルでプロファイリングと最適化が可能 — ブラックボックスはありません。

MCP クイックスタートから始める XR 機能 AI システム

NVIDIA Inception メンバー

Raku Capture を支えるエンジンは、NVIDIA Inception メンバーによって開発されています。プログラムの NGC カタログ、パートナーのクラウドクレジット、DLI トレーニングを活用して空間パイプラインを加速しています。詳しく見る →