En 3D-skanner i mobilen är på väg till AR Works: skanna riktiga föremål till din AR-scen
5 min läsning
Just nu finns det två vägar till en 3D-modell i din scen i AR Works. Antingen bygger du modellen själv i ett 3D-program, eller så letar du upp en i ett resursbibliotek och hoppas att den ligger tillräckligt nära det du hade tänkt dig. Båda sätten fungerar, men inget av dem hjälper särskilt mycket när det du vill ha i scenen är ett verkligt, specifikt föremål som står på skrivbordet framför dig.
Vi har arbetat på ett tredje alternativ som förvandlar mobilen i fickan till en 3D-skanner: rikta den mot föremålet och skanna det. En version av detta finns redan i skrivbordsappen, och mobilskannern för redigeraren i webbläsaren kommer härnäst.
Mobilen blir en 3D-skanner
Idén är enkel. Du går runt ett föremål med mobilkameran och tar en serie bilder från olika vinklar, uppifrån och ned och hela vägen runt. Bilderna skickas iväg för att bearbetas, och tillbaka kommer en texturerad 3D-modell av just det föremålet, redo att läggas in i en scen som vilken annan resurs som helst. Så ser hela 3D-skannern i mobilen ut: ingen rigg, ingen specialutrustning, bara kameran du redan har med dig.
Du behöver ingen separat app. Fotograferingen sker via mobilen, och den färdiga modellen hamnar i ditt projekt bredvid dina importerade filer. Därifrån beter den sig som vilken annan modell du importerar. Du kan flytta den, skala den, animera den, koppla ihop den med logiknoder och placera den i en scen med antingen bildspårning eller rumsspårning.
Redan här i skrivbordsappen: ett inbyggt fotogrammetriverktyg
Vill du inte vänta på mobilskannern finns det en version som du kan använda redan i dag. Skrivbordsappen för AR Works har ett inbyggt fotogrammetriverktyg för användare med abonnemanget Pro eller Utbildning. Du ger det en uppsättning bilder av ett föremål, tagna från alla sidor, och det rekonstruerar dem till en texturerad 3D-modell som du kan lägga rakt in i en scen.
Det bästa är var jobbet utförs. Skannern i skrivbordsappen körs helt på din egen dator, så dina bilder lämnar aldrig maskinen och du behöver inte vänta på att en server blir klar. För en skola med ett låst nätverk, eller för alla som helst håller sina bilder lokalt, är det värt mycket. Mobilskannern som kommer till redigeraren i webbläsaren bygger på samma fotogrammetri men gör själva fotograferingen lika enkel som att gå runt föremålet med mobilen.
Därför tror vi att designers vill ha det här
Mycket AR-arbete handlar om ett enda särskilt föremål. En produkt som en butik verkligen säljer. Ett rekvisitaföremål från en skolpjäs. Ett museiföremål i en monter. En maträtt på menyn. Att modellera sådant från grunden tar tid, och en generisk färdig modell är sällan det riktiga föremålet. Med skanning slipper du båda problemen. Du fotograferar det verkliga föremålet, och inom kort placerar du just det i din scen.
Det sänker också tröskeln. Du behöver inte kunna 3D-modellera för att få en hyfsad resurs. Kan du ta en noggrann serie bilder kan du få något användbart, och det är hela poängen med AR Works: att bygga riktig AR utan att först behöva vara 3D-programmerare.
Vi provar det på restauranger först
Innan vi låter fler använda mobilskannern ville vi testa den någonstans där kraven är höga, så vi kör en tidig provperiod med en handfull restauranger.
Mat visade sig vara ett bra och svårt test. Tallrikar har krångliga former, vissa ytor är blanka eller blöta och en portion ser olika ut i olika ljus. Restauranger har dessutom en tydlig anledning att bry sig: en gäst kan rikta mobilen mot en meny och se den verkliga rätten dyka upp på bordet innan man beställer, i stället för att gissa utifrån en rad beskrivning. Att få det att se rätt ut på en mobil, utifrån en skanning som gjorts i en livlig matsal, säger oss mycket om vad funktionen behöver innan en bredare lansering.
Vi lär oss praktiska saker av det. Hur många bilder som räcker. Hur mycket ljus som hjälper. Vilka föremål som skannas rent och vilka som krånglar. Den sista delen är värd att vara ärlig om.
Vad som skannas bra, och vad som inte gör det
Skanning fungerar bäst på föremål med lite ytstruktur och en matt yta, som står stilla i jämnt ljus. Tänk keramik, mat, verktyg, leksaker och de flesta vardagsting.
Det är svårt med ytor som förvirrar även det mänskliga ögat: klart glas, speglar, krom och allt som är tunt eller blankt. Sådant är svårt för alla 3D-skannrar, inte bara vår, så om ditt föremål är ett vinglas eller en polerad pokal bör du räkna med en del efterarbete eller ta till en färdigmodellerad version i stället. Vi berättar hellre det på förhand än låter dig kämpa med en misslyckad skanning.
En del av ett verktyg som ska vara lätt att arbeta med
AR Works är ett AR-utvecklingsverktyg som körs i webbläsaren, och skanningen drar åt samma håll som resten. Vi vill att det ska vara ett av de enklaste AR-utvecklingsverktygen att faktiskt bygga med, och det mesta av vårt arbete går ut på att få det svåra att kännas helt vanligt. Redigeraren körs i webbläsaren, så du behöver varken installera eller ställa in något för att komma igång, och de delar som vanligtvis kräver en utvecklare – spårning, animation, material och interaktivitet – hanteras med en visuell redigerare och logik som du drar och släpper i stället för kod.
Den andra halvan handlar om räckvidd. Det du bygger öppnas på nyare iPhone- och Android-telefoner direkt från en länk eller en QR-kod, utan att någon behöver installera en app, och samma projekt går att öppna i skrivbordsredigeraren också. Du gör något en gång, och nästan vem som helst kan titta på det i telefonen som redan ligger i fickan. När en fotogrammetriskanner läggs till kan modellerna i dina scener komma från den verkliga världen lika enkelt som den färdiga upplevelsen når riktiga människor.
Vem som får den, och när
Skanning är en funktion för Pro och Utbildning. Fotogrammetriverktyget finns i skrivbordsappen för dessa abonnemang redan i dag, och 3D-skannern i mobilen är i en tidig provperiod nu och rullas snart ut till konton med Pro och Utbildning, i samma webbläsarbaserade redigerare som du redan använder.
Du behöver ändå inte vänta med att prova AR Works. Redigeraren är gratis att börja med, så du kan skapa ett konto och bygga en riktig scen i dag, och sedan gå över till Pro när du vill ha skannern. Skolor kan kontakta oss om tillgång till abonnemanget Utbildning.
En titt längre fram
Mobiler är där AR finns i dag, men de är inte hela historien. AR-glasögon är på väg, och att bygga appar för dem finns på vår färdplan. Vi är inte redo att visa det än, så se det som en förhandstitt snarare än ett datum, men målet är detsamma som på mobiler: att göra det möjligt för en designer att bygga för AR utan ett specialistteam i ryggen. Mobilskannern är helt enkelt nästa del som är redo att släppas.
Tills vidare kan du redan importera dina egna 3D-modeller med vilket abonnemang som helst, så dina scener behöver inte vänta på att skannern ska komma.
Prova AR Works gratis
Bygg din första upplevelse i förstärkt verklighet i webbläsaren – utan kod och utan att installera några appar.