Kan virtuell virkelighet kutte ledningen?

Annonse

La oss ikke hakke ord: Jeg blir synlig opphisset av Valves nye Virtual Reality-headset Valve & HTC kunngjør nytt VR-headset som skal sendes innen jul 2015Valves nye VR-headset er det beste verden noensinne har sett. Står Oculus en sjanse? Les mer .

Vive, opprettet i samarbeid med HTC, kan skryte av perfekt sporing av hodet og to kontrollere, en komfortabel 2160 x 1200-oppløsning og et ultraskart OLED-skjerm på 90 hz. Det er kommer ut i år, og den tilbyr interaktive VR-opplevelser som gir en vedvarende følelse av fysisk tilstedeværelse i den virtuelle scenen.

For å få en forståelse av hvor god sporingen er, kan du sjekke ut denne videoen av “The Gallery”, et VR-spill som spilles på Vive.

Utfordringen med fri-roaming virtuell virkelighet

Vive er fantastisk. Men hvis du leser vurderingene av prototypehodesettene som sildrer inn, begynner du å legge merke til det en spesifikk klage fortsetter å dukke opp.

Venture Beat:

"Under prøveversjonen min med prototypen, hadde jeg et belte for å holde et bunt ledninger utenfor veien - og nå som jeg tenker på det, Valve må ha hatt noen som gikk rundt meg for å forsikre meg om at jeg ikke gikk over noe slapt som jeg skapte da jeg beveget meg rundt rom."

instagram viewer

PC MAG:

"Fordi det er en helt interaktiv, vandreopplevelse, må du rydde møblene fra midten av et rom og prøve å ikke snuble kabelen bakover til PC-en."

Gizmodo:

"Og det er sannsynligvis det viktigste svake punktet med HTC Vive. Det er som Matrisen i det føles virkelig, men også ved at du er kablet til en PC med en kabel som kommer ut fra baksiden av hodet. Det vil noen ganger begrense din frie bevegelse og er noen ganger (men ikke ofte, etter min erfaring) en snublefare. Det er ikke et veldig stort problem, men merkes uansett. "

Noe av dette skyldes at headsettet er en prototype med fem kabler (forbrukerversjonen skal bare ha en, en kombinert USB- og HDMI-kabel som kobler headsettet til PC-en). Imidlertid ser problemet ut til å være grunnleggende for kablede hodesett som lar deg gå fritt Se oss prøve Oculus Rift Crescent Bay på CES 2015Oculus Rift Crescent Bay er en helt ny prototype som viser frem noen spennende forbedringer innen virtual reality-teknologi. Vi prøver det på CES 2015. Les mer . Ledninger er en fare for tripping, og også bare en slags bummer. De forhindrer deg i å ta VR-enheten din ut av rommet, mye mindre huset.

Dette vil bli mer et problem når vi begynner å bruke VR som et grunnleggende grensesnitt for operativsystemene våre.

Vi hadde ikke PC-er på veldig lenge før vi ønsket en mobilversjon av opplevelsen (bærbare datamaskiner, smarttelefoner og nettbrett). VR vil være på samme måte, spesielt når vi begynner å integrere augmented reality-funksjoner på linje med Microsoft HoloLens 8 Real-World bruk for Microsoft HoloLensMicrosofts HoloLens er kult, men hva vil du faktisk bruke det til? Vi løper ned de mest spennende mulighetene. Les mer .

Dessverre viser det seg at å koble VR-headset fra PC-er er en stor teknologisk utfordring, og et som vi fremdeles ikke vet hvordan vi skal løse. Det er imidlertid to lovende teknologier i horisonten som kan bidra til å løse problemet.

Løsning 1: PC-streaming

En åpenbar tilnærming til programmet er å bruke PC-en til å gjengi den virtuelle verdenen, og deretter strømme de gjengitte bildene til headsettet over WiFi (som Steamlink, som streamer spill fra PC-en til TV-en din). Problemet med denne tilnærmingen er latenstid. I virtual reality vil du minimere forsinkelsen mellom å bevege deg og se den bevegelsen som reflekteres på skjermen. Det søte stedet er generelt enighet om å være under 20 millisekunder.

Moderne videostreaming kan komme ned til under ett millisekund med forsinkelse, noe som er en flott start. Dessverre er en ukomprimert 1440p 90hz videostrøm nesten 8 gigabits per sekund med data. Forbruker-WiFi-rutere kan håndtere rundt 100 megabit. Selv de ypperste industrielle rutere maks ut kl rundt 800 megabit, åtte ganger mindre enn det som trengs. For å fikse dette må du komprimere bildene før du sender dem. Komprimerings- og dekompresjonsprosessen legger til 80 ms for latens, som vil gjør deg syk.

Det er noen få mulige løsninger på dette problemet:

Forbedringer av båndbredde

En tilnærming er å prøve å øke hvor mye båndbredde som er tilgjengelig. 5G-nettverk, som er tilgjengelig om fem år, kan muliggjøre hastigheter på rundt en terabit per sekund, noe som kan håndtere futuristiske 8K HMD-er uten komprimering. På nærmere sikt Li-Fi (en internetteknologi basert på raskt pulserende LEDS) kan tillate overføringshastigheter på 10 GB / s ved svært lave latencyer, noe som ville gi mulighet for trådløse versjoner av dagens generasjon VR-headset i løpet av de neste årene, selv om teknologien ikke er tilgjengelig for forbrukere ennå.

Dette er sannsynligvis den beste løsningen på problemet, men det vil ikke være tilgjengelig for forbrukerne i minst et år eller to, kan være dyrt, og oppløsningen vil sannsynligvis henge bak de høyeste kablede hodesettene inntil riktige 5G-nettverk ankomme.

Lokal krangel

Et mer komplekst alternativ ville være å akseptere 80ms latenstid, og prøve å korrigere for det etter faktum, ved å vri det gamle bildet til den nye hodeposisjonen. Dette gir fremdeles noe forsinkelse, men ikke den kvalmende hodebevegelsestypen.

Standard tilnærming til denne typen problemer er asynkron tidssprang, som samler inn data fra PC-en og snor seg ved å bruke en liten GPU på headsettet for å vise det gamle bildet fra et nytt perspektiv, slik at headsettet kan oppdateres flytende til tross for høy latenstid.

Ved første rødme høres dette ut som en magisk kule. Dessverre er det noen store fangster. For å sitere Michael Antonov, en Oculus-forsker,

“Posisjonsdommer er en av de mest åpenbare gjenstandene med tidsorientering som bare er orientering. Når du beveger hodet, gjenspeiles bare den ekstra rotasjonskomponenten i ATW-genererte bilder, mens enhver translasjonshodebevegelse siden rammen ble gjengitt blir ignorert. Dette betyr at når du beveger hodet fra side til side, eller til og med bare roterer hodet som oversetter øynene dine, vil du se dommer med flere bilder på objekter som er nær deg.

[…]

En mulig måte å adressere posisjonsdommer på er å implementere full posisjonsvridning, som bruker både oversettelses- og orienteringsoppsett på den originale gjengitte rammen. Positiv vridning må ta hensyn til dybden på den opprinnelige gjengitte rammen, og forskyve deler av bildet med forskjellige mengder. En slik forskyvning genererer imidlertid okklusjonsartifakter ved objektkanter, der det avdekkes områder med plass som ikke har data i den opprinnelige rammen. "

Det er flere teknikker for å lage data for å fylle hullene som er opprettet av posisjonell tidsavbrudd, men alle etterlater artefakter, og de som etterlater færrest gjenstander er de mest beregningsdyktige. Problemet ligner på det de står overfor prøver å vise VR-dybdevideo VR er i ferd med å endre filmskaping for alltid: Slik gjør du detVirtual reality er en ny måte å kommunisere med seeren på, og mange mennesker med bakgrunn i tradisjonell filmskaping synes mulighetene er spennende. Les mer .

For å løse dette problemet perfekt, må utviklerne finne en måte å overføre ekstra data for å fylle ut hullene. Noen få mulige tilnærminger:

• Gjør fjernfelt- og nærfeltobjekter hver for seg, og strøm begge bildene
• Gjengi a lysfelt, som kan prosjekteres på nytt av store hodeforskyvninger uten diskriminering
• Utvikle ekstremt sofistikerte hodebevegelsesmodeller, og bruk prediksjon for å minimere feil ved diskriminering

Det er ikke klart hva den beste løsningen er her. Ingen av tilnærmingene vi kjenner til er perfekte, og noen av dem krever mer forskning. Å finne ut om re-projeksjon er en god idé koker ned til hvor mye vi kan minimere gjenstandene. Det er en lovende mulighet, men det er mange ubesvarte spørsmål.

Løsning 2: Lokal gjengivelse

En helt annen strategi er å glemme PC-en, og gjøre gjengivelsen lokalt på headsettet. Slik fungerer Microsofts HoloLens og Samsungs Gear VR. Ikke mye er kjent om HoloLens Fem spørsmål om Microsofts "Project HoloLens"Microsofts nye Augmented Reality-headset er veldig spennende - men kan de løse de grunnleggende problemene med AR? Les mer , men Gear VR har en rekke alvorlige begrensninger. Den mobile GPU-en kan håndtere noen beskjedne VR-opplevelser (med intensiv optimalisering), men knapt. Varmehåndtering er et problem, oppløsningen og oppdateringsfrekvensen stiger ikke til nivået som trengs for tilstedeværelse i scenen, og headsettet har ingen posisjonssporing. Noe av dette skyldes begrensningene i mobilteknologi, og vil bli bedre snart, buet av tidevannet til Moore's Law.

Noen av disse problemene er imidlertid resultatet av at vi må konstruere en smarttelefon som ikke var designet for VR. Hvis du bygde et mobilt VR-headset fra bunnen av, kunne du gjort mange ting annerledes. Designere kan ha to high-end mobile GPU-er, en veldig oppfriskende skjerm og et stort batteri. De kan også spre komponenter ut for bedre vektfordeling og varmestyring. Den resulterende formfaktoren kan se mye ut som Sony Morpheus.

Eller, hvis ingeniører ønsket å bli ambisiøse, kunne de bygge noe mer som mini-PC: en liten bærbar datamaskinblokk som inneholder en eller flere bærbare GPUer, en vifte og et stort batteri. Denne enheten ville ha en formfaktor som ligner en Walkman, og ville drive en HMD via en enkelt kabel.

Det nåværende NVIDIA-flaggskipet GPU, GTX 980, som er det Oculus bruker internt, er bare rundt 40% raskere enn den mobile motparten, 980M, og den er liten. Det er sannsynligvis mulig å plassere to av dem i en fanny-pakke, med plass til overs for resten av tarmen på en liten mobil PC.

Merk til maskinvareutviklere: la pressen under ingen omstendigheter beskrive produktet ditt som en "fanny pack."

Denne formfaktoren vil være tykkere enn et selvstendig hodesett, for ikke å nevne dyrt. Baksiden av konvoluttematten antyder et prispoeng på omtrent 2500 dollar. Det er mulig at moderne forbrukere ikke vil være interessert i produkter som er uhåndterlige. Imidlertid er det den eneste måten for et mobilt VR-headset å levere ytelse konkurransedyktig med PC VR, og jeg mistenker at hardcore-spillere og andre irredeemables vil gå for det. Det er en lang historie med nerder som er i forkant av teknologi ved å være villige til å bruke produkter som får dem til å se latterlige ut.

Akkurat nå lider mobile headset av manglende evne til å gi posisjonssporing, noe som forårsaker en kvalmende følelse av at verden er festet til overkroppen når du prøver å bevege deg. Imidlertid kan dette problemet snart løses. På kort sikt, Valve's “Fyrtårn” posisjonell sporingsteknologi er en flott løsning: laserprojektorene er stumme, noe som betyr at de kan flislegges for å dekke store områder, og kan betjene mange enheter samtidig. Som et resultat kan sporing av fyrtårn i løpet av de neste årene bli en billig tjeneste som hjemmet og bedrifter tilbyr, omtrent som WiFi er i dag, slik at du kan bruke mobil VR-maskinvare i det meste innendørs mellomrom.

Når dybdekameraene forbedres i oppløsning og støynivå på lengre sikt, bør det begynne å være mulig å bruke dem til posisjonssporing, med nok presisjon til å gi en følelse av VR-tilstedeværelse. Dette vil gi mulighet for selvforsynte VR-produkter som er egnet for utendørs og utvidet virkelighetsbruk.

Fremtiden til mobil VR

På lang sikt er mobile hodetelefoner der VR-teknologien skal.

Vi kan gjøre matematikken til Moore lov ved å finne ut hvor mange doblinger vi er borte fra å kunne gjengi fotorealistiske virtuelle verdener på mobile enheter. High-end PC-er er kanskje fem doblinger (en annen konsollgenerasjon) borte fra å kunne levere fotorealistiske spillopplevelser på 1080p. For VR trenger vi en dobling for 3D, og ​​tre til å gjengis på 8K-per-øye som trengs for å eliminere uskarphet og skjermdør-effekten. For å redegjøre for den mobile plattformen trenger vi omtrent fire doblinger til for å få tak på avanserte PC-er.

Hvis du legger opp alle doblingen og multipliserer med de atten måneder som er diktert av Moores lov, får du omtrent tjue år (2035), som er punkt der ingen vil være i stand til å fortelle forskjellen mellom en VR-scene gjengitt på en smarttelefon og en gjengitt på en high-end spill-PC. På det tidspunktet er det ingen grunn til å bruke et PC-drevet headset igjen.

Inntil den dagen kommer, mistenker jeg at vi får se både kablede og trådløse VR PC-drevne VR-headset på en stund. Trådløse hodesett vil være mer praktisk, men kablede hodesett vil gi bedre oppløsning - minst til 5G-nettverk er fullt modne.

På den andre siden av skillet vil mobile headset fortsette å forbedre seg, og eek bort markedsandeler fra PC-en når vi glir langt nok opp kurven for avtagende avkastning, med flere og flere mennesker som er villige til å ofre en beskjeden mengde troskap for fleksibilitet. Konkurransen vil være hard og forhåpentligvis god for forbrukeren. Personlig kan jeg ikke vente.

Spent på trådløse hodesett? Vet du om en teknologi vi savnet? Gi oss beskjed i kommentarene!

Bildetillegg: Barone Firenze Via Shutterstock, "Recording Isan's ...", av Edvvc, "Phubby, "Av Kevin Lin," HTC VR, "av HTC,"Steam Link, "Av Valve,"Mores lov, ”Av Wikimedia