このシリーズに通底するのは、AI グラスは「自分が今どこにいるか」を正確に知ると、有用性が劇的に高まる ということです。MultiSet AI の Nikhil Sawlani 氏の言葉を借りれば、正確な位置コンテキストは、音声ターンバイターン案内、位置連動ゲーム、「Uber の乗車地点を見つける」といった体験を解き放ちます — 必要な情報を、必要なときに、必要な場所で。

MultiSet の Visual Positioning System(VPS) はその位置認識を Meta Ray-Ban スマートグラス にもたらします。学べる動作サンプル(iOS)も公開されています。

github.com/MultiSet-AI/wearable-vps-samples(iOS)

サンプルでできること

Meta Ray-Ban グラスとペアリングし、MultiSet VPS APIMeta Wearables Device Access ToolkitMeta Ray-Ban Display の記事 で触れた DAT SDK)を組み合わせます。

  • ローカライゼーション — グラスのカメラからフレームを取得し、カメラ内部パラメータと共に送信、マッピング済み空間内の 6-DOF 姿勢(位置+向き)と信頼度スコアを取得。
  • ターンバイターン案内 — ウェイポイントグラフ + A* 経路探索、グラスのスピーカーから流れる音声 で POI まで誘導。
  • マルチプレイヤー — 装着者のローカライズ済み姿勢を(Multipeer Connectivity で約 20 Hz)MultiSet iOS SDK のホストへ送信し、共有空間 AR を実現。
  • 低レイテンシ — セッション事前ウォームアップ、端末側ダウンスケール、再ローカライズ用の動画フレーム高速パス。

試してみる

前提条件: iOS 17+、Xcode 15+、Meta AI アプリで開発者モードを有効化 してペアリングした Meta Ray-Ban スマートグラス、Meta Wearables DAT SDK 0.6.0(Swift Package Manager で解決)、MultiSet 開発者ポータルVPS API 認証情報。さらに マッピング済み環境 が必要で、マップとナビデータは MultiSet Unity SDKNavMeshExport シーン → {mapCode}_navigation_data.json)で生成します。

git clone https://github.com/MultiSet-AI/wearable-vps-samples.git
cd wearable-vps-samples/iOS/MultisetWearable
open MultisetWearable.xcodeproj

Client ID/Secret を設定し(xcconfig + Info.plist が秘匿に安全な推奨方法)、アプリ内設定で Map Code を入力、グラスをペアリングして Navigation Demo を実行します。

注:本シリーズで先に紹介したオープンソースのツールキットと異なり、MultiSet SDK は 独自ライセンス で、API 認証情報が必要です。開発者ポータルから無料で試せますが、本番利用は規約を確認してください。

ハッカソンでの意義

ローカライゼーションは、真に空間的なグラスアプリに欠けていた基本要素です。VPS があれば、会場ナビゲーター位置固定型ゲーム共有空間マルチプレイヤー のデモを、実際に装着するハードウェア上で、独自トラッキングを発明せずに作れます。シリーズ前半の Meta Ray-Ban Web アプリのアプローチとも自然に組み合わせられます。

関連リンク

この話題を発信された Nikhil Sawlani 氏(MultiSet AI)に感謝します。ご質問は お問い合わせ ページからどうぞ。

// ニュース一覧へ戻る