手を伸ばしてつかむ:ハンド操作、物理、AREngineアプリ
読了時間:5分
これまで、AR Worksのプロジェクトは「見る」ものでした。惑星をタップして名前を聞いたり、アニメーションを始めたりはできましたが、手は画面の上にとどまったままでした。シーンは部屋の中に浮かび、あなたはその周りを歩いて見て回るだけでした。
今回のアップデートで、それが変わります。スマートフォンをかざし、シーンに手を伸ばして、何かをつかんでみてください。手を離すと、それは落ちて転がり、行く手にあるものに当たって止まります。手より奥にあるオブジェクトには手が重なって見え、手より手前にあるオブジェクトの後ろには手が隠れるので、シーンは上に貼られたシールではなく、部屋の一部のように感じられます。
実際にどうなるのか、短い映像でご覧ください。
手で物をつかむ
エディターでオブジェクトを選択し、インタラクティブをオンにします。これで、見る人がそのオブジェクトに触れたり、手でつかんだりできるようになります。さらに物理もオンにすると、オブジェクトに重さが加わります。手を離すと落ちて、床や別のオブジェクトの上に着地します。押して動かせるをオンにすると、開いた手でオブジェクトを押して動かせるので、ボールは転がっていき、箱は滑っていきます。
各オブジェクトには、手が触れ、物理演算にも使われる境界の形状があります。ほとんどのものは、ボックス、球、円柱のどれかで足ります。中が空洞のものや複雑な形のものにはメッシュ形状に変換を使うと、モデルそのものの形に沿うので、ボールが見えないふたに弾かれることなく、パイプの中を落ちていきます。
スマートフォンはカメラの映像から手を見つけて切り抜くので、手を伸ばした先にあるオブジェクトよりも手前に手が表示されます。手に関する情報がスマートフォンの外に出ることは一切ありません。ハンドトラッキングは端末上で動作します。
触れると反応するロジック
ロジックエディターには、これに合わせて新しいイベントとアクションが加わりました。手で触れた時、つかんだ時、放した時は、見る人がオブジェクトを手で扱ったときに発生し、衝突時は2つのオブジェクトがぶつかったときに発生します。物理を設定、インタラクティブを設定、オブジェクトを押す、オブジェクトをリセットを使うと、シーンの実行中に状態を変えられます。
これらを組み合わせれば、コードを書かずに小さなパズルを作れます。ボールをパイプに落とし、底にあるスイッチに当たったら、アニメーションと効果音とともに宝箱が開く、といった仕掛けです。
ひとつのシーンに複数の画像
これまで、画像トラッキングのシーンが追従できるのは、印刷した画像1枚だけでした。これからは追加ターゲット画像を追加できます。複数の印刷物を並べて置くことで、より安定したひとつの位置が得られます。また、トラッキング画像も追加できます。これはそれ自体が動く画像で、オブジェクトを一緒に運びます。トランプのカードにモデルを置けば、カードをテーブルの上で滑らせてもモデルはカードに乗ったままで、シーンのほかの部分はその場にとどまります。
トラッキング画像はワールドシーンでも使えるので、箱や缶に貼った印刷物が、より大きなワールドシーンの中で独自のコンテンツを運ぶこともできます。
AREngine:Android向けの独自ARアプリ
こうした機能の一部は、ウェブブラウザーにとってかなり負荷の大きいものです。そこで、ウェブビューアーとあわせて、独自のトラッキング、手の検出、物理演算を備えたAndroid向けARアプリAREngineを開発しました。プロジェクトを**.arengine**ファイルとして書き出し、スマートフォンで開けば、アプリで再生されます。
AREngineは現在Google Playの審査中で、まもなくGoogle Playで一般公開される予定です。それまでは、AREngineのページからインストールできます。iPhone版はテスト中です。
リンクやQRコードは、これまでとまったく同じようにブラウザーで開きます。プロジェクトを共有するときに、リンクで使うエンジンを選べます。AREngineのトラッキングか、既存のプロジェクトを作るときに使われていたクラシックエンジンのどちらかです。
グラスとヘッドセット
AREngineは、ARグラスとヘッドセットにも初期段階の対応をしています。スマートフォンに接続するディスプレイグラス、カメラを内蔵したAndroidグラス、OpenXRに対応したヘッドセットです。この対応は試験的なもので、現在テスターが自分のデバイスで試しています。デバイスの種類ごとに必要なアプリはグラスとヘッドセットのガイドで確認でき、セットアップガイドはダウンロードに同梱されています。
ARグラスをお持ちの方は、AREngineのデバイスレポートを送っていただけると、きちんと対応するための助けになります。レポートには個人的な情報は一切含まれず、送信を選んだときにだけ端末の外に送られます。
気づきやすい細かな変更
- 開始位置:ワールドシーンに、見る人が立つ場所を示す位置と床の高さが加わったので、シーンが設計どおりの状態で始まります。
- Blenderファイル:Proと教育版のプランでは、.blendファイルをアップロードできます。ファイルは私たちのサーバー上でモデルに変換され、取り込むコレクションを選ぶこともできます。
- マテリアル:新しいグローマテリアルが加わり、取り込んだモデルのマテリアルを編集したり、不要なマテリアルを削除したりできるようになりました。
- すっきり整理されたプロジェクト:オブジェクトをほかのオブジェクトの中に入れたり、アセットを入れ子のフォルダーに置いたりできるほか、エディターのパネルを好きな場所にドッキングできます。
試してみましょう
プロジェクトを開き、オブジェクトを選択して、インタラクティブと物理をオンにします。次にプレビューを開いてウェブカメラを使うをクリックするか、プロジェクトをスマートフォンに共有して、手を伸ばしてみてください。各設定についてはハンドインタラクションのガイドで説明しています。皆さんがこの機能で何を作るのか、楽しみにしています。