Dokumentation
Handinteraktion und Physik
Lass dein Publikum in die Szene hineingreifen: Es kann ein Objekt mit der eigenen Hand berühren, aufheben und werfen. Objekte mit Physik fallen, prallen leicht ab und landen.
Was dein Publikum tun kann
Auf dem Smartphone folgt AR Works der Hand deines Publikums im Kamerabild. Wer mit dem Zeigefinger auf ein Objekt zeigt, berührt es. Wer es mit Daumen und Zeigefinger greift oder die Hand darum schließt, hebt es auf, und mit geöffneter Hand lässt man es wieder los. Ist die Hand beim Loslassen noch in Bewegung, wird ein Objekt mit Physik geworfen.
Ein Finger auf dem Bildschirm funktioniert ebenfalls als Hand, auf jedem Smartphone und egal, ob eine Hand erkannt wird: Drücke auf ein Objekt, um es zu berühren, ziehe es, um es zu tragen, und gib ihm beim Anheben des Fingers Schwung, um es zu werfen. Ein kurzes Antippen löst weiterhin Beim Antippen aus.
Ein Tracking-Bild mit eingeschaltetem Hände im Vordergrund schaltet das Hand-Tracking für seine Szene ebenfalls ein, auch ohne interaktives Objekt: Eine Hand, die vor deine Inhalte greift, wird vor ihnen gezeichnet, und eine Hand, die nur den Druck hält, bleibt dahinter. Siehe Tracking-Bilder.
Damit das Handy erkennt, ob eine Hand vor deinem Inhalt ist, muss es wissen, wie groß das Bild wirklich ist. Ein Tracking-Bild hat dafür eine Druckbreite. Das eigene Zielbild einer Szene gilt als 20 cm breit: Ist deines in einer anderen Größe gedruckt, nimm für dieses Bild ein Tracking-Bild und stelle seine Druckbreite ein.
Ein Objekt interaktiv machen
Wähle das Objekt aus und schalte im Inspector Kollisionen ein. Das ist der Hauptschalter: Die Einstellungen für Hände und Physik erscheinen nur, solange er eingeschaltet ist.
- Mit Interaktiv kann dein Publikum das Objekt mit der Hand berühren und greifen. Eine Hand hält ein Objekt, und ein gehaltenes Objekt wird von anderen Objekten mit Kollisionen aufgehalten.
- Physik gibt dem Objekt Schwerkraft. Es fällt, bis es auf dem Boden oder auf einem anderen Objekt mit Kollisionen landet, prallt leicht ab, und runde Objekte rollen aus. Ohne Physik bleibt ein Objekt dort, wo es losgelassen wird.
- Mit Schiebbar schiebt eine offene Hand vor der Kamera das Objekt vor sich her: Ein Ball rollt, eine Kiste rutscht, bis die Hand anhält. Dafür braucht das Objekt Physik. Ein Objekt, das sich schieben lässt, ist schwerer aufzuheben. Schalte es also nur dort ein, wo es ums Schieben geht.
- Animation pausieren erscheint unter Interaktiv. Ein animiertes Objekt, das Interaktiv ist, lässt sich aufheben: Seine Animation läuft in der Hand weiter und dreht es um den Punkt, an dem du es hältst, und wenn du loslässt, gleitet es zurück auf seine Bahn. Ist „Animation pausieren“ eingeschaltet, steht die gesamte Animation still, solange eine Hand am Objekt ist, und wenn du loslässt, gleitet es dorthin zurück, wo es war, und läuft von dort weiter. Objekte in ihm stehen dann ebenfalls still und laufen weiter, wenn es weiterläuft.
Damit fallende Objekte etwas zum Landen haben, füge eine Ebene hinzu und schalte Boden ein. Der Boden ist in AR unsichtbar und verdeckt alles, was darunter liegt. So kann der Inhalt auf einem echten Tisch stehen oder scheinbar aus ihm herauskommen. Jede Szene verwendet einen Boden.
Hinweis
Hinweis
Die Form wählen, die eine Hand berührt
Ist Kollisionen eingeschaltet, zeigt der Inspector die Begrenzung des Objekts: die unsichtbare Form, die eine Hand berührt und die die Physik verwendet. Die Begrenzung des ausgewählten Objekts wird im Viewport als dünnes grünes Drahtgitter angezeigt.
- Das Menü bietet Quader, Kugel, Zylinder, Kapsel und Mesh. Das Menü Begrenzung startet beim eigenen Typ der Form: Kugel für eine Kugel, Zylinder für einen Zylinder, Mesh für einen Kegel oder einen Torus und Quader für alles andere, auch für Modelle.
- Aktiviere Begrenzung bearbeiten, um die Begrenzung mit Griffen im Viewport zu verändern, oder gib genaue Werte ein, etwa den Radius. An Objekt anpassen verwirft deine Änderungen, sodass die Begrenzung wieder dem Objekt folgt.
- Mesh verwendet die eigene Form des Objekts. Bei einem Objekt mit Interaktiv oder Physik wird stattdessen eine vereinfachte Hülle der Form verwendet. Eine Kiste aus ein paar Würfeln verhält sich daher besser als ein einzelnes Kistenmodell mit Mesh-Begrenzung.
Mesh-Begrenzung für ein Rohr oder eine Schüssel
Damit eine Kugel durch ein Rohr rollt oder in einer Schüssel landet, braucht die Begrenzung dieselbe hohle Form. Wähle also Mesh. Ein Objekt, das sich nie bewegt, verwendet dann seine genaue Form, bis zu 20.000 Dreiecke pro Objekt und 60.000 in einer Szene. Ein detaillierteres verwendet stattdessen seinen Quader: Punkte bearbeiten (siehe unten) erstellt eine einfachere Form, die es verwenden kann. Ein Objekt mit Interaktiv oder Physik kann sich bewegen und verwendet daher eine vereinfachte Hülle, die ganz massiv ist. Objekte in einem Tracking-Bild nehmen nicht an der Physik teil und bewegen sich daher nie.
Tipp
Schalte Kollisionsbegrenzung anzeigen ein, um die Form zu sehen, die wirklich kollidiert. Sie wird im Viewport hellgrün gezeichnet, auch wenn das Objekt nicht ausgewählt ist. Nur du siehst sie, im Editor: In der Vorschau und auf dem Smartphone erscheint sie nie. Solange sie eingeschaltet ist, bietet der Inspector außerdem diese Schaltflächen:
- In Mesh-Form umwandeln macht aus einer Begrenzung Quader, Kugel, Zylinder oder Kapsel ein Mesh mit Punkten, die du verschieben kannst, in derselben Größe und an derselben Stelle.
- Punkte bearbeiten erstellt eine einfachere Kopie der Form eines Mesh mit bis zu 256 Punkten, die du verschieben kannst. Das funktioniert bei Modellen mit bis zu einer Million Dreiecken.
- Form des Objekts verwenden verwirft deine Punkte, sodass das Mesh wieder dem Objekt folgt.
Um Punkte zu verschieben, wähle nur dieses eine Objekt aus. Seine Punkte erscheinen als kleine Tupfen: Klicke auf einen Tupfen, um ihn auszuwählen, oder nutze Umschalt+Klick, um weitere auszuwählen oder einen abzuwählen. Verschiebe sie dann mit den Transformationswerkzeugen, so wie du ein Objekt verschiebst. Jede Bewegung ist ein Schritt, den du rückgängig machen kannst. Drücke Esc oder klicke auf eine leere Stelle, um die Auswahl der Punkte aufzuheben. Deine Punkte werden mit dem Projekt gespeichert.
Mit Logikknoten reagieren
Neun Knoten arbeiten mit Händen und Physik. Du fügst sie hinzu und verbindest sie wie jeden anderen Knoten, wie in Interaktivität (Logikknoten) beschrieben.
- Bei Handberührung und Bei Berührungsende werden ausgelöst, wenn eine Hand oder ein Finger ein Objekt mit Interaktiv zu berühren beginnt und damit aufhört.
- Beim Greifen und Beim Loslassen werden ausgelöst, wenn ein Objekt mit Interaktiv aufgehoben und losgelassen wird.
- Physik setzen und Interaktiv setzen schalten Schwerkraft und Greifen für ein Objekt mit Kollisionen ein oder aus.
- Schiebbar setzen lässt eine offene Hand ein Objekt schieben oder verhindert das. Das Objekt braucht Kollisionen und Physik.
- Objekt anstoßen gibt einem Objekt mit Physik einen Stoß, und Objekt zurücksetzen bringt ein Objekt in Ruhe an die Stelle zurück, an der es zu Beginn der Szene war.
Tipp
In der Vorschau ausprobieren
In der Vorschau ist die Maus die Hand: Drücke auf ein Objekt mit Interaktiv, um es zu berühren, ziehe es, um es aufzuheben und zu tragen, und gib ihm beim Loslassen Schwung, um es zu werfen. Ziehen auf einer leeren Stelle dreht weiterhin die Ansicht, und Physik und Boden funktionieren wie auf dem Smartphone.
Klicke in einem Projekt mit Händen auf Webcam verwenden, um deine eigene Hand mit der Kamera des Computers zu verfolgen. Ein kleines gespiegeltes Kamerabild und eine Geisterhand erscheinen. Greife ein Objekt mit Daumen und Zeigefinger oder schließe die Hand darum, um es aufzuheben. Die Kamera geht nur nach deinem Klick an, und ihre Bilder verlassen nie deinen Computer. Klicke erneut oder schließe die Vorschau, um sie auszuschalten.
Auf dem Smartphone
- Handtracking braucht einen aktuellen Smartphone-Browser. Ältere iPhone- und Android-Smartphones können es nicht ausführen: Der Viewer weist einmal darauf hin, und ein Finger auf dem Bildschirm funktioniert weiterhin als Hand.
- Das Tracking läuft nur in Szenen, die Hände verwenden. Die erste solche Szene lädt das Handtracking herunter, das das Smartphone danach behält, sodass es beim nächsten Mal schneller startet.
- Wenn das Smartphone das Bild nicht flüssig halten kann, schaltet sich das Handtracking für den Rest des Besuchs aus und weist einmal darauf hin. Der Finger funktioniert weiterhin.
In einer Szene mit Raum-Tracking, die durch die Kamera gezeigt wird, versucht die Flächenfixierung, deinen Inhalt dort festzuhalten, wo er platziert wurde. Dazu nutzt sie das Kamerabild und den Bewegungssensor. Ein weißer Ring zeigt die Fläche, die ein Tippen nutzt. Sie braucht eine waagerechte Fläche mit sichtbaren Details, etwa einen Schreibtisch mit Dingen darauf, einen Fußboden oder ein Arbeitsblatt. Auf einer gleichmäßigen Fläche weist sie darauf hin, und der Inhalt dreht sich mit dem Smartphone, bleibt aber nicht fixiert. Sie kartiert den Raum nicht und funktioniert nicht an Wänden.
Hinweis
Die Kamera bleibt auf dem Gerät
Kamerabilder werden auf dem Smartphone verarbeitet, in der Vorschau auf dem Computer. Nichts wird aufgezeichnet, gespeichert oder gesendet. Handtracking und Physik-Engine werden von AR Works selbst geladen, nicht von einem anderen Dienst.