ドキュメント
ハンドインタラクションと物理
見る人がシーンの中に手を伸ばせるようになります。自分の手でオブジェクトに触れたり、つかんだり、投げたりできます。物理を有効にしたオブジェクトは落下し、少し弾んでから着地します。
見る人ができること
スマートフォンでは、AR Worksがカメラ映像の中で見る人の手を追跡します。指でオブジェクトを指すと触れることができ、親指と人差し指でつまむか手で握るとつかめ、手を開くと放せます。放すときに手がまだ動いていれば、物理を有効にしたオブジェクトは投げられます。
画面に触れた指も手として使えます。どのスマートフォンでも、手が追跡されているかどうかに関係なく使えます。オブジェクトを押すと触れ、ドラッグすると運べ、指を離すときにはじくと投げられます。すばやいタップでは、これまでどおりタップ時が発生します。
手を手前に表示をオンにしたトラッキング画像も、インタラクティブなオブジェクトがなくても、そのシーンのハンドトラッキングをオンにします。コンテンツより手前に出した手はコンテンツの手前に、印刷物を持っているだけの手はその後ろに表示されます。トラッキング画像をご覧ください。
手がコンテンツの手前にあるかどうかを判断するには、スマートフォンが画像の実際の大きさを知る必要があります。そのためにトラッキング画像には印刷した幅があります。シーン自体のターゲット画像は幅 20 cm とみなされます。別のサイズで印刷している場合は、その画像をトラッキング画像として使い、印刷した幅を設定してください。
オブジェクトを操作できるようにする
オブジェクトを選択し、インスペクターで衝突判定をオンにします。これがメインのスイッチで、オンの間だけ、手と物理の設定が表示されます。
- インタラクティブにすると、見る人がオブジェクトに手で触れたり、つかんだりできます。1つの手で持てるのは1つのオブジェクトだけで、持っているオブジェクトは衝突判定のある他のオブジェクトに当たると止まります。
- 物理はオブジェクトに重力を与えます。オブジェクトは床か、衝突判定のある別のオブジェクトに着地するまで落下し、少し弾み、丸いものは転がってから止まります。物理がない場合、オブジェクトは放した場所にとどまります。
- 押して動かせるにすると、カメラの前で開いた手がオブジェクトを押して動かします。手が止まるまで、ボールは転がり、箱は滑ります。物理が必要です。押して動かせるオブジェクトはつかみにくくなるので、押すことが目的の場合にだけオンにしてください。
- アニメーションを一時停止は、インタラクティブの下に表示されます。インタラクティブにしたアニメーション付きのオブジェクトは、つかんで持ち上げられます。アニメーションは手の中でも再生され続け、持っている点を中心に回転し、離すとアニメーションの軌道までなめらかに戻ります。「アニメーションを一時停止」をオンにすると、手が触れている間はそのオブジェクトのアニメーションがすべて止まり、離すと元の位置までなめらかに戻ってから、そこから続きを再生します。中にあるオブジェクトも一緒に止まり、このオブジェクトが再開すると一緒に再開します。
落ちてくるオブジェクトの着地先を用意するには、平面の図形を追加して床をオンにします。床はARでは見えず、その下にあるものをすべて隠すので、コンテンツが本物の机の上に置かれているように、または机から出てくるように見せられます。床は1つのシーンに1つだけ使われます。
補足
補足
手が触れる形を選ぶ
衝突判定をオンにすると、インスペクターにオブジェクトの境界が表示されます。これは、手が触れ、物理が使う見えない形です。選択中のオブジェクトの境界は、ビューポートに細い緑のワイヤーフレームで表示されます。
- メニューには直方体、球、円柱、カプセル、メッシュがあります。境界メニューは、最初は図形自体の種類になっています。球なら球、円柱なら円柱、円錐やトーラスならメッシュ、それ以外はモデルも含めてすべて直方体です。
- 境界を編集をオンにすると、ビューポートのハンドルで境界のサイズを変えられます。半径などの正確な値を入力することもできます。オブジェクトに合わせるを使うと変更が取り消され、境界がまたオブジェクトに合わせて変わるようになります。
- メッシュはオブジェクト自体の形を使います。インタラクティブまたは物理が有効なオブジェクトでは、代わりに形を簡略化した外殻が使われます。そのため、いくつかの立方体で組んだ木箱のほうが、メッシュ境界の木箱モデル1つよりもうまく動きます。
パイプやボウルにはメッシュ境界
ボールがパイプの中を転がったり、ボウルの中に落ちたりするには、境界も同じ中空の形でなければなりません。そこでメッシュを選びます。動かないオブジェクトは、三角形がオブジェクトごとに2万個、シーン全体で6万個までの正確な形をそのまま使います。それより細かいものは、代わりに外側の直方体を使います。下の「点を編集」で、使える単純な形を作れます。インタラクティブまたは物理が有効なオブジェクトは動くので、簡略化した外殻を使います。これは中まで詰まった形です。トラッキング画像の中のオブジェクトは物理に加わらないので、動くことはありません。
ヒント
衝突判定の境界を表示をオンにすると、実際に衝突する形が、オブジェクトを選択していないときもビューポートに薄い緑で表示されます。見えるのはエディター内のあなただけで、プレビューやスマートフォンには表示されません。オンの間は、インスペクターに次のボタンも表示されます。
- メッシュ形状に変換:直方体、球、円柱、カプセルの境界を、同じ大きさと位置のまま、点を動かせるメッシュに変えます。
- 点を編集:メッシュの形を簡略化したコピーを作り、最大256個の点を動かせるようにします。三角形が100万個までのモデルで使えます。
- オブジェクトの形状を使う:あなたの点を捨てて、メッシュがまたオブジェクトの形に沿うようにします。
点を動かすには、そのオブジェクトだけを選択します。点は小さな丸で表示されます。丸をクリックすると選択でき、Shift+クリックで追加したり外したりできます。あとはオブジェクトと同じように、トランスフォームツールで動かします。1回動かすごとに、1回ずつ元に戻せます。Escキーを押すか、何もないところをクリックすると、点の選択が外れます。点はプロジェクトと一緒に保存されます。
ロジックノードで反応させる
手と物理に対応したノードは9つあります。追加や接続の方法は他のノードと同じです。詳しくはインタラクション(ロジックノード)をご覧ください。
- 手で触れた時と手が離れた時は、手や指がインタラクティブなオブジェクトに触れ始めたときと、触れなくなったときに発生します。
- つかんだ時と放した時は、インタラクティブなオブジェクトがつかまれたときと、放されたときに発生します。
- 物理を設定とインタラクティブを設定は、衝突判定のあるオブジェクトの重力とつかむ操作をオンまたはオフにします。
- 「押して動かせる」を設定は、開いた手でオブジェクトを押して動かせるようにするか、できないようにします。オブジェクトには衝突判定と物理が必要です。
- オブジェクトを押すは物理を有効にしたオブジェクトを押し出し、オブジェクトをリセットはオブジェクトを、シーン開始時に置かれていた場所へ静止した状態で戻します。
ヒント
プレビューで試す
プレビューでは、マウスが手になります。インタラクティブなオブジェクトを押すと触れ、ドラッグするとつかんで運べ、放すときにはじくと投げられます。何もない場所からのドラッグでは、これまでどおりビューが回転します。物理と床はスマートフォンと同じように動きます。
手を使うプロジェクトでは、ウェブカメラを使うをクリックすると、パソコンのカメラで自分の手を追跡できます。左右反転した小さなカメラ映像と、半透明の手が表示されます。オブジェクトをつまむか手で握るとつかめます。カメラはクリックしたときにだけオンになり、映像がパソコンの外に出ることはありません。もう一度クリックするか、プレビューを閉じるとオフになります。
スマートフォンでは
- ハンドトラッキングには、新しめのスマートフォン用ブラウザーが必要です。古いiPhoneやAndroidスマートフォンでは動作しません。その場合はビューアーが一度だけ知らせ、画面に触れた指はこれまでどおり手として使えます。
- トラッキングが動くのは、手を使うシーンだけです。最初のシーンでハンドトラッキングのツールをダウンロードし、その後はスマートフォンに保存されるので、次回からは早く始まります。
- スマートフォンが映像をなめらかに保てない場合、ハンドトラッキングはその訪問の間オフになり、一度だけ知らせます。指はそのまま使えます。
カメラ越しに表示するワールドトラッキングのシーンでは、サーフェスロックがカメラ映像とモーションセンサーを使い、コンテンツを置いた場所に固定しようとします。白いリングは、タップで使われる面を示します。必要なのは、物が置かれた机、床、プリントなど、模様がはっきり見える水平な面です。無地の面ではその旨を知らせ、コンテンツはスマートフォンに合わせて回転しますが、固定はされません。部屋のマッピングはせず、壁では使えません。
補足
カメラ映像は端末の中で処理されます
カメラ映像は、スマートフォン上で、プレビューではパソコン上で処理されます。録画、保存、送信は一切行われません。ハンドトラッキングと物理エンジンは、他のサービスではなくAR Works自体から読み込まれます。