Fem spørsmål om Microsofts "Project HoloLens"

Annonse

Onsdag morgen viste Microsoft frem et prosjekt de har jobbet med i syv år, et augmented reality headset som heter Prosjekt HoloLens.

Visjonen er ambisiøs: de ønsker å endre måten folk kommuniserer med datamaskiner på, fundamentalt bygge et par briller som flytende kan blande virtuelt og ekte innhold sammen i det fysiske rommet brukeren. Dette er som virtual reality-teknologi Hvorfor Virtual Reality Technology vil blåse tankene dine om 5 årFremtiden til virtual reality inkluderer hode-, øye- og uttrykkssporing, simulert berøring og mye mer. Disse fantastiske teknologiene vil være tilgjengelige for deg om 5 år eller mindre. Les mer , men grunnleggende kraftigere. Videre ønsker de å gjøre all prosessering lokalt på glassene - ingen datamaskin, ingen telefon, ingen kabler. De lanserer til og med en spesiell versjon av Windows bare for den nye maskinvaren. Dette er neste trinn i teknologisk utvikling for alle dem AR-spill Augmented Reality Apps: Nyttige, eller bare Hype? MakeUseOf-tester

I 2011 spådde analytikere økningen av Augmented Reality-apper. Den begynnende teknologien vil revolusjonere måten vi samhandler med våre mobile enheter. Flash to år fremover og dusinvis av AR-apper fyller alle ... Les mer installerte du på telefonen din en gang og ikke har rørt siden.

Tidsrammen deres er enda mer ambisiøs enn målene deres: De ønsker å sende utviklersett i vår, og forbrukerproduktet “i løpet av Windows 10-tidsrammen”. Her er banen.

Alt dette høres bra ut, men jeg innrømmer en ganske høy grad av skepsis.

Teknologiene Microsoft bruker har alvorlige, grunnleggende utfordringer, og så langt har Microsoft vært veldig tette om hvordan (eller om) de har løst dem. Hvis de ikke har løst dem, er målet deres å sende innen et år veldig bekymringsfullt. Det siste VR og AR trenger er et stort selskap som sender ytterligere et halvt bakt produkt som Kinect. Husk Prosjekt Natal-demo fra 2009?

Uten videre, her er de fem viktigste tingene jeg vil vite om HoloLens.

Er dette et lysfeltskjerm?

For å forstå denne, må vi se litt dypere på 3D, og ​​hvordan det fungerer. For å få følelsen av en ekte, håndgripelig 3D-verden, integrerer hjernen vår mye forskjellig informasjon. Vi får dybdekoder om verden på tre primære måter:

• Stereodybde - forskjellen mellom hva begge øynene våre ser. Faking dette er hvordan 3D-filmer fungerer
• Bevegelsesparallaks - subtile bevegelser av hodet og overkroppen gir oss ekstra dybdepunkter for gjenstander som er lenger borte
• Optisk fokus - når vi fokuserer på noe, deformeres øynene i øynene fysisk til det kommer i fokus; objekter i nærheten av felt krever mer linseforvrengning, noe som gir dybdeinformasjon om hva vi ser på

Optisk fokus er enkelt å sjekke ut selv: lukk det ene øyet og hold tommelen opp foran en vegg på tvers av rommet. Flytt deretter fokuset fra miniatyrbildet til overflaten bak det. Når du ser forbi tommelen, vil tommelen skifte ut av fokus fordi linsen i øyet ditt nå er mindre deformert og ikke kan samle lyset som kommer riktig fra det.

VR-headset som Oculus Rift gir de to første ledningene ekstremt nøyaktig, men ikke de siste, noe som fungerer overraskende Vel: øynene våre standard å slappe helt av, siden optikken fokuserer bildene som gjennom lyset kom fra uendelig langt borte. Mangelen på optisk fokus er ikke realistisk, men den distraherer vanligvis ikke. Du kan fortsatt ha det veldig kule spillopplevelser 5 Oculus Rift-spillopplevelser som vil blåse deg bortNå som den andre generasjonen av Oculus Rift-utviklingssettet er ute og i hendene på utviklere over hele verden, la oss se på noen av de beste tingene som har rammet Rift så langt. Les mer uten det.

I augmented reality er problemet annerledes, fordi du må blande lys fra virkelige og virtuelle objekter. Lyset fra den virkelige verden vil naturlig nok være fokusert på forskjellige dybder. Det virtuelle innholdet vil imidlertid være fokusert på en fast, kunstig avstand diktert av optikken - sannsynligvis på uendelig. Virtuelle objekter ser ikke ut som de virkelig er en del av scenen. De vil være i fokus når du ser på virkelige ting i samme dybde og omvendt. Det vil ikke være mulig å bevege øyet flytende over scenen mens du holder det i fokus, slik du gjør normalt. De motstridende dybdepunktene vil i beste fall være forvirrende og kvalmende i verste fall.

For å fikse dette trenger du noe som kalles et lysfeltdisplay. Lysfeltdisplay er skjermer som bruker en rekke bittesmå linser for å vise lys fokusert på mange dybder samtidig. Dette gjør at brukeren kan fokusere naturlig på skjermen, og (for augmented reality) løser problemet beskrevet ovenfor.

Det er imidlertid et problem: lysfelt viser i hovedsak kart over en enkelt 2D-skjerm på et tredimensjonalt lysfelt, noe som betyr at hver "dybde piksel ”som brukeren oppfatter (og eksisterer med en spesiell brenndybde i scenen) består faktisk av lys fra mange piksler på originalen vise. Jo finkornet dybde du vil skildre, jo mer oppløsning må du gi opp.

Generelt har lysfelt omtrent en åtte-fold oppløsningsnedgang for å gi tilstrekkelig dybdepresisjon. De beste tilgjengelige mikrodisplayene har en oppløsning på omtrent 1080p. Hvis man antar at et avansert mikrodisplay som driver hvert øye, vil det gjøre den faktiske oppløsningen til Microsofts headset bare rundt 500 x 500 piksler per øye, mindre jevn enn Oculus Rift DK1. Hvis skjermen har et høyt synsfelt, vil virtuelle objekter være uforståelige klumper med piksler. Hvis den ikke gjør det, vil fordypningen lide relativt. Vi får faktisk aldri se gjennom linsen (bare dataregistreringer av hva brukeren ser), så vi har ingen anelse om hvordan brukeropplevelsen virkelig er.

Det er mulig at Microsoft har kommet med en ny løsning på dette problemet, for å tillate bruk av et lysfeltdisplay uten oppløsning. Imidlertid har Microsoft vært ekstremt koselig med skjermteknologien sin, noe som får meg til å mistenke at de ikke har gjort det. Her er den beste forklaringen vi har fått så langt (fra WIRED demo).

For å lage Project HoloLens-bilder, spretter lyspartikler rundt millioner av ganger i den såkalte lysmotoren på enheten. Deretter går fotonene inn i brillenes to linser, der de ricochet mellom lag med blått, grønt og rødt glass før de når baksiden av øyet ditt.

Denne typen beskrivelse av teknologien kan bety praktisk talt hva som helst (skjønt, i rettferdighet for Microsoft, imponerte maskinvaren WIRED, selv om artikkelen var lett på detaljer).

Vi vet ikke mer med sikkerhet før Microsoft begynner å gi ut tekniske spesifikasjoner, sannsynligvis måneder fra nå. Er det virkelig nødvendig å drukne prosjektet i denne mye markedsføringsprat på en ytterligere merknad av nitplukking? Den dedikerte prosessoren de bruker til hodesporing kalles en "holografisk prosessor", og bildene kalles "hologrammer", uten noen spesiell grunn. Produktet er grunnleggende kult nok til at det egentlig ikke er nødvendig å forgylte det slik.

Er sporing god nok?

Project HoloLens-headsettet har et høyt FOV-dybdekamera montert på det (som Kinect), som det bruker for å finne ut hvor headsettet er i verdensrommet (ved å prøve å samle dybdebildet det ser med sin verdensmodell, sammensatt fra fortidens dybde Bilder). Her er live demonstrasjonen av headsettet i aksjon.

Sporingen er imponerende med tanke på at den ikke bruker markører eller andre juks, men selv i den videoen (under sterkt kontrollerte forhold), kan du se en viss slingring: sporingen er ikke helt stabil. Det er å forvente: denne typen tracking out-out er ekstremt vanskelig.

Imidlertid er den store leksjonen fra forskjellige Oculus Rift-prototyper Se oss prøve Oculus Rift Crescent Bay på CES 2015Oculus Rift Crescent Bay er en helt ny prototype som viser frem noen spennende forbedringer innen virtual reality-teknologi. Vi prøver det på CES 2015. Les mer er at nøyaktigheten av sporing betyr mye. Jittery-sporing er bare irriterende når det er noen få objekter i en stort sett stabil ekte verden, men i scener som Mars-demoen de viste i konseptet sitt video, der nesten alt du ser er virtuelt, upresis sporing kan føre til mangel på "tilstedeværelse" i den virtuelle scenen, eller til og med simulator sykdom. Kan Microsoft få sporingen opp til standarden som er satt av Oculus (sporingsnøyaktighet på under millimeter og mindre enn 20 ms total forsinkelse) innen leveringsdato på slutten av dette året?

Her er Michael Abrash, en VR-forsker som har jobbet for både Valve og Oculus, snakker om problemet

[Fordi det alltid er en forsinkelse i å generere virtuelle bilder, [...] er det veldig vanskelig å få virtuelle og ekte bilder til å registrere seg tett nok slik at øyet ikke legger merke til det. Anta for eksempel at du har en ekte cola-boks som du vil gjøre om til en AR Pepsi-boks ved å tegne en Pepsi-logo over Coke-logoen. Hvis det tar flere titalls millisekunder å tegne Pepsi-logoen, vil hver gang du roterer hodet være effekten Pepsi-logoen ser ut til å skifte noen grader i forhold til boksen, og en del av Coke-logoen vil bli synlig; så klikker Pepsi-logoen tilbake til rett sted når du slutter å flytte. Dette er tydeligvis ikke bra nok for hard AR

Kan skjermen tegne svart?

En annen sak ved siden av fokaldybde og sporing har å gjøre med å tegne mørke farger. Det er relativt enkelt å legge til mer lys til en scene ved hjelp av stråledeler. Det er mye vanskeligere å ta lys ut. Hvordan mørkgjør du selektivt deler av den virkelige verden? Å sette opp en selektiv gjennomsiktig LCD-skjerm vil ikke kutte den, siden den ikke alltid kan være i riktig fokus for å blokkere det du ser på. De optiske verktøyene for å løse dette problemet, med mindre Microsoft har oppfunnet dem i det skjulte, eksisterer ganske enkelt ikke.

Dette betyr noe, fordi for mange applikasjoner Microsoft viser frem (som å se Netflix på veggen), trenger headsettet virkelig muligheten til å fjerne lyset som kommer fra veggen, ellers vil filmen alltid ha et synlig stukkemønster lagt på seg: det vil være umulig for bilder å blokkere virkelige objekter i scenen, noe som gjør bruk av headsettet sterkt avhengig av omgivelsesbelysningen forhold. Tilbake til Michael Abrash:

[S] o langt fra den typen har dukket opp i AR-bransjen eller litteraturen, og med mindre og inntil det, hard AR, i SF-forstand som vi alle kjenner og elsker, ikke kan skje, bortsett fra i mørket.

Det betyr ikke at AR er utenfor bordet, bare det en stund, men det vil være mykt AR, basert på additiv blanding [...] Igjen, tenk gjennomskinnelig som "Ghostbusters." Virtuelle bilder med høy intensitet uten mørke områder vil også fungere, spesielt ved hjelp av regional eller global mørkfarging - de ser bare ikke ut som en del av det virkelige verden.

Hva med okklusjon?

"Okklusjon" er betegnelsen på hva som skjer når en gjenstand passerer foran en annen og hindrer deg i å se hva som ligger bak det. For at virtuell natur skal føles som en håndgripelig del av verden, er det viktig at ekte objekter okkluderer virtuell objekter: hvis du holder hånden opp foran et stykke virtuelt bilder, skal du ikke kunne se den gjennom hånd. På grunn av bruk av et dybdekamera på headsettet, er dette faktisk mulig. Men se live-demoen igjen:

I det store og hele kontrollerer de kameravinklene nøye for å unngå at reelle gjenstander passerer foran virtuelle. Når demonstranten interagerer med Windows-menyen, kan du imidlertid se at hånden hennes slett ikke lukker den. Hvis dette er utenfor teknologiens rekkevidde, er det et veldig dårlig tegn på levedyktigheten til deres forbrukerprodukt.

Og snakker om det brukergrensesnittet ...

Er dette virkelig det endelige brukergrensesnittet?

Brukergrensesnittet som ble vist av Microsoft i sine demovideoer ser ut til å fungere ved å bruke en kombinasjon av blikk og hånd sporing for å kontrollere en markør i den virtuelle scenen, mens du bruker stemmekontroller for å velge mellom forskjellige alternativer. Dette har to store ulemper: det får deg til å se ut som den lille gutten i Shining som snakker med fingeren, men enda viktigere er det også et grunnleggende mangelfullt designparadigme.

Historisk sett har de beste brukergrensesnittene vært de som bringer fysiske intuisjoner om verden inn i den virtuelle verdenen. Musen brakte klikking, dra og vinduer. Berøringsgrensesnitt brakt sveip for å bla og klype for å zoome. Begge disse var avgjørende for å gjøre datamaskiner mer tilgjengelige og nyttige for befolkningen - fordi de grunnleggende var mer intuitive enn det som kom før.

VR og AR gir deg mye mer frihet som designer: du kan plassere UI-elementer hvor som helst på et 3D-rom, og få brukerne til å samhandle med dem naturlig, som om de var fysiske objekter. Et stort antall åpenbare metaforer antyder seg selv. Trykk på et virtuelt brukergrensesnittelement for å velge det. Klyp til den, plukk den opp og flytt den. Skyv den ut av veien for å lagre den midlertidig. Knus den for å slette den. Du kan tenke deg å bygge et brukergrensesnitt som er så fullstendig intuitivt at det ikke krever noen forklaring. Noe som bestemoren din umiddelbart kan plukke opp, fordi den er bygd på et fundament av grunnleggende fysiske intuisjoner som alle bygger opp i løpet av en levetid med samhandling med verden. Ta et øyeblikk, og lytt til denne smarte personen beskrive hva oppslukende grensesnitt kan være.

Med andre ord virker det åpenbart (for meg) at et oppslukende brukergrensesnitt skal være i det minste like intuitive som berøringsgrensesnittene som ble pioner for iPhone for 2D multitouch-skjermer. Å bygge et grensesnitt rundt manipulering av en VR-mus er et skritt bakover, og utsetter enten dyp teknologisk mangler i deres håndsporingsteknologi eller en grunnleggende misforståelse av det som er interessant med dette nye medium. Uansett er det et veldig dårlig tegn for at dette produktet er mer enn en kolossal, Kinect-skala.

Forhåpentligvis har Microsoft tid til å få tilbakemeldinger på dette og gjøre en bedre jobb. Som et eksempel, her er et grensesnitt designet av en hobbysnekker for Oculus Rift DK2 og Leap Motion. Et oppslukende brukergrensesnitt designet av et stort selskap bør i det minste være så bra.

Et tegn på ting som kommer

I det hele tatt er jeg ekstremt skeptisk til HoloLens-prosjektet som helhet. Jeg er veldig glad for at et selskap med Microsofts ressurser undersøker dette problemet, men jeg er opptatt av at de er det prøver å skynde seg et produkt uten å løse noen kritiske underliggende tekniske problemer, eller spikre et godt brukergrensesnitt paradigme. HoloLens er et tegn på ting som kommer, men det betyr ikke at selve produktet kommer til å gi en god opplevelse for forbrukerne.

Image Credit: med tillatelse fra Microsoft