Lume Pad 2: AI-drevet 3D-nettbrett er fantastisk og rart

Lume Pad 2-beskrivelsen høres ut som om noen har kastet en haug med buzzwords sammen: det er et AI-drevet 3D-nettbrett!

Men hva betyr det egentlig? Når det gjelder AI, har den både AI på enheten for å analysere bilder og videoer og deretter konvertere dem til 3D, samt generativ sky-AI for å lage 3D-scener fra tekstmeldinger. Og 3D-delen? Det er også sant: det er en 3D-skjerm uten briller. Faktisk, ekte 3D, med et unikt bilde som stråler til hvert øye.

Dette er Lume Pad 2 fra et selskap som heter Leia (ja, som Star Wars-prinsessen). Det er det mest unike og fascinerende jeg har sett på lenge, men jeg er ikke overbevist om at det har et marked utover en håndfull spesialiserte bransjer.

3D-skjerm uten briller

I hjertet av enheten er en unik proprietær skjermteknologi ("Light Field") som muliggjør en enkeltviser for å se støttede applikasjoner i en ekte 3D-visning uten ekstra briller eller en headset. Nøyaktig hvordan det fungerer er ikke avslørt, men det er sannsynligvis en variant av linseformede linser - den typen du ville fått i frokostblandingspakker som barn. Når du flyttet scenen rundt, vil det gjennomskinnelige prismet på forsiden rette en annen del av bakgrunnsbildet til øynene dine, noe som gir inntrykk av at scenen endret seg. Lume Pad 2 vil vise to bilder når som helst, men det spesielle skjermlaget kombinert med doble frontvendte kameraer for hode- og øyesporing vil sikre at hvert øye bare ser ett. Når hjernen din kombinerer dem, kan du se en 3D-scene.

Det kan være ganske magisk å se personlig ("Whhhaaaaaaat", utbrøt sønnen min, "pappa det kommer ut av skjermen. Hva? Hvordan? Hva?!")

På toppen av det er Lume Pad 2 et Android-nettbrett, fullpakket med tilpasset programvare som lar deg ta 3D-bilder og videoer, eller bruke AI til å transformere eksisterende videoer til 3D.

Maskinvaren

Lume Pad 2 har en 12,4-tommers IPS-skjerm som kjører på 120Hz oppdatering og 2560 x 1600 piksler, med en pikseltetthet på 244 PPI og et 16:10-forhold. Når du er i 3D-modus, er det imidlertid trygt å anta at oppløsningen er halvert.

Hvis vi glemmer alle de fancy 3D-tingene et øyeblikk, og jeg bare skulle vurdere dette som et Android-nettbrett, ville jeg blitt mest imponert. Det er et fint solid metallchassis, føles godt å ta på, og det er en behagelig haptisk tilbakemelding når du skriver. Det valgfrie etuiet smekker magnetisk på og muliggjør noen lesevinkler.

Android 12-grensesnittet er raskt, og bortsett fra den forhåndsinstallerte programvaren, er det et standard Google Android-nettbrett med ikke for mye tilpasset arbeid gjort med det.

Kort sagt: det er et fint nettbrett – absolutt et av de beste Android-nettbrettene jeg har spilt med ennå. Du kan imidlertid glemme å bruke den utendørs; med en maksimal lysstyrke på 450 nits i 2D-modus og 300 nits i 3D, er dette kun for innendørs bruk.

Du finner også doble 16 MP bakkameraer, som du kan ta 3D-bilder og videoer med direkte på enheten. I motsetning til de fleste 3D-kameraer, er de ikke adskilt slik menneskelige øyne ville vært. De fleste kameraer beregnet på å ta opp en 3D-effekt for menneskelige øyne har linser med en avstand på omtrent 63 mm fra hverandre – det samme som gjennomsnittsmennesket – for å sikre at en nøyaktig 3D-effekt oppfattes til det tiltenkte seer. Men med Lume Pad 2 er det noe trolldom på enheten som ekstrapolerer dybden i sanntid.

Nettbrettet drives av Qualcomm Snapdragon 888-brikkesett, med 8 GB RAM og 128 GB UFS 3.1-lagring. Du kan utvide via et microSD-spor med kort på opptil 2 TB, noe du vil gjøre raskt hvis du planlegger å gjøre god bruk av det kameraet eller spille av dine egne medier offline.

Programvaren

Utover den magiske brillefrie 3D-skjermen, kommer den virkelige verdien av Lume Pad 2 fra den innebygde tilpassede programvaren.

LeiaPlayer er en alt-i-ett medieviser, for din egen 3D-kamerarulle, og en fin samling av eksempelbilder. I tillegg, trykk over til Leia Link-fanen, og du vil kunne få tilgang til innhold du har lastet opp fra en vanlig smarttelefon med Leia Link-appen, som programvaren deres deretter på magisk vis kan forvandles til 3D. Det fungerer stort sett, men bare på scener var dybden tydelig. Jeg prøvde med et familiebilde av å sitte i noen gokarter, og dybden var helt feil. Leia Player kan spille av VR180 og side-by-side (SBS) formaterte videoer, selv om du ofte må spesifisere. Jeg prøvde å se en SBS-formatert video, og for å være ærlig var dybden veldig svak og det var ingen lyd. Jeg antar at det var kodekproblemer. LeiaPlayer er absolutt ikke på samme nivå som VLC når det kommer til tilfeldige kodeker, så det var litt feil. Selv om det hadde lyd, ville jeg ikke ha brydd meg. Jeg tror et VR-headset som er halve prisen ville gjøre en langt bedre jobb.

LeiaPix er en sosial nettverksapp for deling og visning av andres 3D-bilder. Gå inn i en spesifikk hashtag eller emne, og du vil finne at innholdet er sparsomt, men det er en enkel måte å bare se tilfeldige 3D-bilder. Kvaliteten varierer, så det er mulig at disse blir tatt med den eldre versjonen av Lume Pad.

LeiaChat lar deg chatte i 3D med andre Lume Pad 2-brukere, i 3D, for når standard Zoom-samtaler bare ikke kutter det lenger. Selvfølgelig trenger begge ender en Lume Pad.

LeiaDream er en generativ 3D-kunstapp. Jeg antar at det er en tilpasset versjon av StableDiffusion, men den kan være fullstendig proprietær. Uansett lar det deg skrive inn en tekstmelding og få et tilpasset 3D-bilde. Det er ikke i nærheten av Midjourney-nivå av realisme, og som en skytjeneste kommer kontoen din med nok til at rundt 250 bilder kan genereres – etter det må du kjøpe flere kreditter.

LeiaViewer er en 3D-modellviser med en håndfull inkluderte modeller, og integrasjon med Sketchfab hvis du vil ha flere eller se dine egne kreasjoner (selv om bare en standard Sketchfab e-postpålogging støttes, ikke hvis du registrerte deg via en sosial forsørger). Dette er sannsynligvis den mest overbevisende brukssaken for Lume Pad 2, med 3D-modeller som åpenbart passer godt til den brilleløse skjermteknologien. Du kan vippe, rotere, zoome osv., samt kontrollere dybden på 3D-effekten.

LeiaTube er en YouTube- og Vimeo-seer. Åpne den og du vil se et utvalg innhold, selv om til og med det opprinnelige SBS 3D-formaterte innholdet må kjøres gjennom AI-konverteringsalgoritmen. Du kan også dele en video fra standard YouTube-appen direkte hit, og den vil automatisk konvertere den for visning i 3D. Jeg prøvde det med en av mine egne anmeldelser, og for å være ærlig var det ikke så bra. Effekten var ikke på langt nær så uttalt og var heller ikke så nøyaktig som jeg håpet; det var sikkert noen feil her og der, med uklare kanter rundt gjenstander der det kunne fortelle hva dybden skulle være.

Det er mange innebygde apper, og det er også en Leia App Store. Det er imidlertid litt sparsomt, med kanskje fire kamper totalt. Realistisk sett, med mindre det er en førstepartstittel fra Leia Inc, er det usannsynlig at du får mange utviklere med på et så lite marked. Du kan ikke bare ta eksisterende spill og gjøre dem 3D. De to gratis spilldemoene som var forhåndsinstallert på enheten vår var fascinerende demoer, men kunne til slutt ikke holde oppmerksomheten min i mer enn fem minutter hver.

Selv om det er mange innebygde apper, bør du ikke forvente at noe annet støtter 3D-funksjonaliteten. Du kan for eksempel ikke åpne VLC og spille av en SBS-kodet film, og Call of Duty vil heller ikke plutselig få en tredje dimensjon. For å bruke den unike 3D-teknologien, må en app støtte Leia SDK. Den kjører gjerne andre Android-apper, men de vises bare i vanlig 2D.

Hvordan er dybdeeffekten?

Jeg var skeptisk til skjermteknologi uten briller som kommer inn i denne anmeldelsen, men den kan være ganske fantastisk under de rette forholdene. Selv om det er umulig å vise på video, er det jeg kan snakke om den subjektive kvaliteten på 3D-effekten og skjermen generelt.

For det første varierer graden av dybdeeffekt betydelig etter app og typen innhold du ser på.

Den beste effekten vil få fra 3D-gjengitte objekter. For eksempel, hvis du åpner LeiaViewer 3D-appen og sjekker ut den inkluderte cyberpunk-byen (inkludert animerte biler ved å zoome rundt), vil du oppdage at det høyeste spiret ser ut til å sprette ut nesten 6 tommer fra overflaten av tablett. Det utrolige.

Dette gjelder også for spilldemoene, og det er i Dungeon-spillet at head-tracking-funksjonene også kan sees tydelig. Ikke bare kommer fangehullsveggene til live i strålende 3D, men hvis du vipper nettbrettet eller beveger deg rundt, vil du se tidligere skjulte vinkler. Det er en unik opplevelse som jeg bare noen gang har hatt i VR.

Når det kommer til bilder eller video, er effekten imidlertid ikke på langt nær like uttalt – i den grad at jeg ikke ville bry meg med å se 3D-filmer om dette; det er bare ikke overbevisende sammenlignet med å gjøre det samme i virtuell VR-kino. Dette kan bare være en "realismefaktor". Gjengitt 3D-innhold vil alltid se mer imponerende ut enn en ekte scene, fordi sistnevnte er noe vi er så vant til i det virkelige liv.

Sporing og visuell kvalitet

Generelt sett, så lenge jeg ikke var i en for stor stump vinkel, virket ansikts- og øyesporingen bra. Jeg opplevde ikke mange feil der den gikk tilbake til bare 2D-modus, bortsett fra når sønnen min bestemte seg for å stikke ansiktet inn og se hva alt oppstyret handlet om. Den kan ikke spore mer enn én person samtidig, og det tar noen ganger et sekund eller to å innse at det er en ny seer. Så knipses alt på magisk vis inn i 3D-visning.

Skjermen er imidlertid langt fra perfekt; to poeng forringer totalopplevelsen.

For det første er det en liten skjermdør type prikket netting over skjermen. Antagelig er det en del av det linseformede laget som skiller bildet for hvert øye. Dette er mest åpenbart når den settes inn i 3D-modus. Mens nettbrettets maskinvare ellers er veldig fin og responsiv som et generisk Android-nettbrett, kan skjermkvaliteten frustrere.

For det andre er det også et ganske åpenbart spøkelsesproblem. Dette betyr at hvert øye kan se bildet som er bestemt for det andre øyet, om enn veldig svakt. I eksemplet ovenfor er etterbildet på baksiden av vingene også til stede når det vises i 3D, ikke bare et resultat av filming.

Dette er ikke så mye en kritikk av dette nettbrettet som en feil i den underliggende teknologien, og det er heller ikke unikt for skjermer uten briller. Hvis du noen gang har sett passive 3D-filmer (de som involverer et spinkelt par briller), har de også en tendens til å ha en god del spøkelser. Det er fordi det er nesten umulig å perfekt kulminere lyset i en bestemt retning. Du kan få det godt nok til å få 3D-effekten, men hvis du tar pause og kritisk undersøker bildet vil du se spøkelser. Dette er mer åpenbart for lysere objekter på en mørk bakgrunn. Bare aktive 3D-skjermer (de som krever tyngre LCD-briller med et batteri i) kan fullstendig eliminer spøkelse, siden de er vekslende bilder og fullstendig blokkerer visningen for ett øye hver tid.

Er dette den ultimate 3D-skjermen? Nei.

Lume Pad 2 er virkelig ganske magisk å se. Det er et teknologisk vidunder, og jeg skulle ønske jeg hadde en bedre måte å vise deg dette på, men akkurat som VR, er det noe du må oppleve selv.

Men jeg vet hva du tenker: dette er en kjepphest. Jeg var en stor talsmann for 3D-TVer og projektorer inntil for et tiår siden. Jeg brukte til og med mye av universitetstiden min på å spille Unreal Tournament 2K med de originale Nvidia 3D-brillene og en enorm Silicon Graphic CRT-skjerm. Men utgivelsene av 3D-filmer har stort sett tørket ut (fire så langt i år, ser det ut til), og folk har innså at det å måtte bruke spesielle briller for å se en film var et problem for ofte dårligere resultater enn uten.

Selvfølgelig er det fine med Lume Pad 2 at den fungerer uten briller - og den fungerer bare (om enn for en enkelt seer).

Det faktum at den har et innebygd AI-system for å konvertere ikke-3D-innhold, og en måte å produsere 3D-bilder og filmer på selv på selve enheten, tror jeg gir det bein. Selv om verden sluttet å lage 3D-innhold i morgen og internett kollapset, kan du fortsatt produsere og vise dine egne kreasjoner fra denne ene enheten. Leia har virkelig prøvd å produsere overbevisende innhold med et tilpasset sosialt nettverk kun for Lume Pad brukere, og de forstår at du ikke bare kan ha utrolig teknologi – du trenger appene og innholdet for å gå med det. Det er veldig oppmuntrende.

Men å forstå et problem og å kunne løse det er to forskjellige ting.

Den største begrensningen til Lume Pad 2 er at det ikke er mulig å bruke den som generisk 3D-skjerm for noen inngangskilde. Hvis den hadde en HDMI i port eller dongle, og kunne spille av hvilken som helst SBS-formatert inngang i 3D-modus, ville det gjort det til et øyeblikkelig kjøp for et mye større marked. For eksempel Goovis G3 Max persona kinoheadset, som vi anmeldte forrige uke, kan gjøre akkurat det. Den tar hvilken som helst USB-C- eller HDMI-inngang – enten det er en 3D Blu-ray-spiller eller en generisk mediespiller som kjører VLC med noen SBS formaterte filer, eller YouTube, eller til og med en PC-spilling med noe programvare som sender ut 3D-spill i et side-ved-side-format – og det bare virker.

Med Lume Pad 2 må alt du vil bruke i 3D være spesifikt programmert med Leia SDK. Det vil ikke engang fungere med Android-apper som er designet for Google VR.

Hvis det ikke er noen app for det, så er det det. Og ærlig talt, det er ikke så lett å få ditt eget innhold på denne enheten heller. Android File Transfer-appen på Mac er skissere på de beste tidspunktene, så jeg måtte installere en tilfeldig Android-app med et fryktelig grensesnitt bare for å surfe over nettverket. Det var en elendig opplevelse å kopiere en fil.

Jeg tror den virkelige nisjen for dette produktet vil være med 3D-modellering; eller rettere sagt, se 3D-modellene du har produsert andre steder og lastet opp til Sketchfab. Det kan imidlertid være et veldig nisjepublikum. Det er utrolig overbevisende å se 3D-objektdesignet ditt komme til live, og med gjengitte 3D-objekter er dybden du kan få utrolig god. Og for den håndfullen som fortsatt elsker stereofotografering: du kommer til å elske dette.

For alle andre er jeg ikke så sikker. Jeg kan se hvordan Leia prøver å gjøre det overbevisende med 3D-ifier AI til enhver YouTube-video, og kameraet på baksiden for å lage dine egne 3D-bilder. Men for disse funksjonene fungerer det ikke så bra. Akkurat som jeg ikke tror noen vil ta opp familieøyeblikk ved å bruke Apple Vision Pros frontvendte 3D-kamera, kan jeg ikke se at du drar rundt på et nettbrett på $1000 for å ta bilder eller videoer. Så min største bekymring er ganske enkelt at det ikke er et marked for denne enheten; i hvert fall ikke en stor nok til å overbevise utviklere om at det er verdt å legge til Leia SDK-støtte til appene deres.

Selv om det knapt er et definitivt datapunkt, har subredditen for Lume Pad – som kanskje er det første stedet jeg ville hoppet over for å finne nye apper, tips og innholdsforslag – totalt 105 medlemmer.

Maskinvaren er utrolig, og programvaren prøver så hardt å finne en reell hensikt, og jeg tror bare ikke den treffer målet. Likevel, kanskje det blir det med tiden. Men hvis du har den forrige Lume Pad og allerede liker det du kan gjøre med den, er Lume Pad 2 uansett en utrolig oppgradering. Få det – du kommer til å elske det.