Kada rankos virsta magišku lazdelėmis
Prisimenu pirmą kartą užsidėjęs virtualios realybės šalmą – stovėjau savo kambaryje, bet ekrane mačiau save kosminiame laive. Instinktyviai pakėliau ranką, norėdamas paliesti mygtuką prieš save, ir staiga pamačiau virtualią ranką, kuri tiksliai pakartojo mano judesį. Tai buvo keista, bet kartu ir neįtikėtinai natūralu. Būtent šis momentas verčia susimąstyti – kaip, po galais, kompiuteris žino, kur yra mano rankos, kaip jos juda ir ką aš noriu padaryti?
Virtualios realybės valdymas yra daug sudėtingesnis nei daugelis įsivaizduoja. Tai ne tik keletas jutiklių ir paprastas koordinačių skaičiavimas. Tai sudėtinga sistema, kuri turi sekti jūsų kūno padėtį erdvėje, suprasti jūsų ketinimus ir visa tai atvaizduoti virtualiame pasaulyje be jokio vėlavimo. Kitaip patirtis tampa ne magiška, o tiesiog nemaloni – jei virtualus pasaulis nespėja už jūsų judesiais, pradeda sukti galvą ir norisi nusiimti šalmą.
Nuo pelės iki rankų sekimo evoliucija
Pirmosios VR sistemos buvo gana primityvios. 90-ųjų pradžioje, kai virtualios realybės technologija tik pradėjo rastis, žmonės naudojo paprastus valdiklius su mygtukais – panašius į žaidimų pultelius. Jie turėjo akcelerometrus, kurie matavo pagreitį, bet tikslumas buvo siaubingas. Dažnai tekdavo sustoti ir “perkalibruoti” sistemą, nes ji prarasdavo orientaciją erdvėje.
Tikrasis proveržis įvyko, kai pradėta naudoti optinį sekimą. Oculus Rift DK2, išleistas 2014 metais, turėjo infraraudonųjų spindulių diodus ant šalmo, o išorinė kamera juos sekė. Tai buvo kaip žvaigždžių navigacija – sistema žinojo, kur yra kiekvienas “švyturys” ant jūsų galvos, ir galėjo apskaičiuoti tikslią padėtį erdvėje. Valdikliai gavo tokius pačius diodus, ir staiga žmonės galėjo matyti savo rankas virtualiame pasaulyje.
Bet tikroji revoliucija prasidėjo su “inside-out” sekimu. Vietoj išorinių kamerų, kurios stebi jus, dabar kameros yra pačiame šalme ir stebi aplinką. HTC Vive, Oculus Quest ir kiti modernūs įrenginiai naudoja keturias ar daugiau kamerų, kurios nuolat skenoja aplinką ir kuria erdvinį žemėlapį. Tai kaip robotas-dulkių siurblys, kuris mokosi jūsų buto plano, tik daug, daug greičiau.
Kaip šalmas žino, kur jūs esate
Modernus VR šalmas yra tikras jutiklių arsenolas. Viduje yra giroskopai, akcelerometrai ir magnetometrai – tie patys jutikliai, kuriuos turite savo telefone, tik daug tikslesni. Giroskopas matuoja sukimosi greitį – jis žino, kaip greitai sukate galvą. Akcelerometras jaučia pagreitį bet kuria kryptimi. Magnetometras veikia kaip kompasas, rodantis, kur yra magnetinis šiaurė.
Bet štai problema – šie jutikliai turi savybę “dreifuoti”. Jei bandytumėte apskaičiuoti savo padėtį tik iš jų duomenų, po kelių minučių sistema manytų, kad jūs esate visai kitoje vietoje. Tai kaip bandymas rasti kelią tamsoje tik skaičiuojant žingsnius – kiekviena maža klaida kaupiasi.
Čia ir įsijungia kameros. Modernūs VR šalmai naudoja techniką, vadinamą SLAM (Simultaneous Localization and Mapping). Kameros nuolat fotografuoja aplinką, sistema atpažįsta charakteringus taškus – kambario kampus, baldų kraštus, šviesos šaltinius. Tuomet ji stebi, kaip šie taškai juda vaizde. Jei matote, kad stalas “pajudėjo” į kairę, sistema supranta, kad tai jūs pajudėjote į dešinę.
Šis procesas vyksta 60-90 kartų per sekundę. Kiekvieną akimirką sistema lygina duomenis iš jutiklių su tuo, ką mato kameros, ir koreaguoja savo skaičiavimus. Tai kaip nuolatinis dialogas tarp dviejų šaltinių: “Jutikliai sako, kad sukau galvą 5 laipsniais” – “Kameros mato, kad aplinka pasuko 4.8 laipsnio” – “Gerai, tiksliausias atsakymas turbūt yra 4.9 laipsnio”.
Valdikliai – jūsų rankos virtualiame pasaulyje
Valdikliai yra dar įdomesni. Jie turi tuos pačius jutiklius kaip ir šalmas, bet dar prideda mygtukus, trigerius ir svarbiausia – jutiklius, kurie jaučia jūsų pirštų padėtį. Oculus Touch valdikliai, pavyzdžiui, turi talpuminius jutiklius po kiekvienu mygtuku. Kai jūsų pirštas artėja prie mygtuko, keičiasi elektrinė talpa, ir sistema gali nustatyti, ar pirštas liečia mygtuką, ar tik yra šalia.
Tai leidžia sistemai atspėti paprastus gestus. Jei visi pirštai yra ant valdiklio, sistema rodo kumštį. Jei nykštys ir smiliaus pirštas yra pakeltį, rodoma “OK” ženklas. Jei tik rodomasis pirštas ištiestas – rodote į kažką. Tai ne tikras pirštų sekimas, bet iliuzija veikia stebėtinai gerai.
Naujesni valdikliai, tokie kaip Valve Index, eina dar toliau. Jie turi dirželius, kurie leidžia visiškai atleisti ranką, ir jutiklius, kurie gali nustatyti kiekvieno piršto padėtį atskirai. Galite rodyti vidurinį pirštą virtualiame pasaulyje (jei jums to reikia), skaičiuoti ant pirštų ar daryti sudėtingus gestus. Tai jau artėja prie tikro rankų sekimo.
Kai kompiuteris mato jūsų rankas be valdiklių
Naujausia tendencija – visiškai atsisakyti valdiklių. Oculus Quest 2 ir Quest Pro turi funkciją, kuri tiesiog stebi jūsų rankas kameromis. Nereikia nieko laikyti rankose – tiesiog naudojate savo pirštus kaip įprastai.
Tai veikia naudojant mašininio mokymosi algoritmus. Sistema buvo “treniruota” su tūkstančiais rankų vaizdų įvairiose padėtyse ir apšvietimo sąlygose. Dabar, kai kamera mato jūsų ranką, algoritmas atpažįsta jos formą ir gali nustatyti, kur yra kiekvienas pirštas, net jei kai kurie pirštai yra už kitų.
Bet ši technologija dar nėra tobula. Ji puikiai veikia gerame apšvietime, kai rankos yra kameros matomumo zonoje. Bet jei bandote ką nors padaryti už nugaros arba labai tamsoje, sistema praranda sekimą. Taip pat ji negali pajusti, kaip stipriai jūs spaudžiate ar laikote – nėra jokio fizinio grįžtamojo ryšio. Todėl daugelis žaidimų vis dar geriau veikia su valdikliais.
Haptinis grįžtamasis ryšys arba kaip pajusti virtualų pasaulį
Vienas didžiausių VR iššūkių – kaip leisti jums pajusti virtualų pasaulį. Matote virtualų kamuolį, siekiate jo, bet jūsų ranka tiesiog praeina pro jį. Smegenys gauna prieštaringus signalus: akys sako “lieti kamuolį”, bet liečiamoji sistema sako “nieko nėra”. Tai gali sukelti keistą pojūtį.
Paprasčiausias sprendimas – vibracija. Visi VR valdikliai turi vibracinius varikliukus, panašius kaip telefonuose. Kai virtualiai paliečiate objektą, valdiklis vibruoja. Tai primityvu, bet veikia stebėtinai gerai. Jūsų smegenys greitai prisitaiko ir pradeda interpretuoti vibracijas kaip lietimą.
Pažangesni valdikliai naudoja linearinius aktuatorius, kurie gali sukurti įvairesnes vibracijų formas. Valve Index valdikliai gali imituoti skirtingus paviršius – šiurkštų akmenį, lygų metalą, minkštą audiną. Tai veikia keičiant vibracijos dažnį ir intensyvumą. Jūsų smegenys užpildo trūkstamą informaciją.
Ateityje tikimasi dar pažangesnių sprendimų. Kai kurios kompanijos eksperimentuoja su ultragarsinio grįžtamojo ryšio sistemomis, kurios gali sukurti “lietimo” pojūtį ore, be jokio fizinio kontakto. Kitos kuria pirštines su mažytėmis oro pagalvėlėmis, kurios gali spausti jūsų pirštus skirtingose vietose. Bet kol kas visa tai yra labai brangu ir eksperimentalu.
Akių sekimas – kai VR žino, kur žiūrite
Naujausių kartų VR šalmai pradeda įtraukti akių sekimo technologiją. Meta Quest Pro, PlayStation VR2 ir kiti aukščiausios klasės įrenginiai turi infraraudonųjų spindulių kameras, nukreiptas į jūsų akis. Jos stebi vyzdžių padėtį ir gali nustatyti, į kurį tašką virtualiame pasaulyje žiūrite.
Tai atveria daug galimybių. Pirma, sistema gali naudoti techniką, vadinamą “foveated rendering”. Jūsų akys mato aštriai tik mažą sritį centre – periferinė rega yra miglota. Todėl sistema gali renderinti aukšta raiška tik tą vietą, kur žiūrite, o likusią dalį – žemesne raiška. Tai labai sumažina kompiuterio apkrovą ir leidžia pasiekti geresnę grafiką.
Antra, akių sekimas leidžia natūralesnę sąveiką. Vietoj rodymų pirštu, galite tiesiog pažvelgti į mygtuką ir mirktelėti ar pasakyti komandą. Socialinėje VR jūsų avataro akys gali judėti kaip tikros, kas daro bendravimą daug natūralesnį. Žmonės gali matyti, ar jūs žiūrite į juos, ar į ką nors kitą.
Trečia, akių sekimas gali būti naudojamas saugumo tikslais. Sistema gali atpažinti jus pagal akių judėjimo šabloną – kiekvienas žmogus juda akimis šiek tiek skirtingai. Tai kaip biometrinis slaptažodis.
Kada virtualus pasaulis tampa tikresnis už tikrą
Visų šių technologijų derinys kuria vis įtikinamesnes patirtis. Modernūs VR žaidimai gali sekti jūsų galvos padėtį su miliметro tikslumu, valdiklius – su kelių milimetrų tikslumu, ir visa tai su mažiau nei 20 milisekundžių vėlavimu. Tai greičiau nei jūsų nervų sistema gali perduoti signalus iš rankų į smegenis.
Praktiškai tai reiškia, kad virtualios realybės patirtis gali būti neįtikėtinai įtraukianti. Kai žaidžiate VR žaidimą, kur reikia lipti kopėčiomis, jūsų smegenys tiki, kad tikrai lipate – net jei fiziškai stovite ant grindų. Kai virtualus objektas skrenda į jūsų veidą, instinktyviai šaunate į šalį. Kai stovite ant virtualaus dangoraižio krašto, jaučiate tikrą galvos svaigimą.
Bet svarbu suprasti, kad visa tai yra kruopščiai sukurta iliuzija. Sistema nuolat “apgaudinėja” jūsų smegenis, pateikdama tik tuos signalus, kurie reikalingi įtikimumui. Ji naudoja jūsų smegenų polinkį užpildyti trūkstamą informaciją. Kai valdiklis vibruoja, jūsų smegenys interpretuoja tai kaip lietimą. Kai matote savo virtualias rankas judant sinchroniškai su tikromis, smegenys priima jas kaip savo kūno dalis.
Ateityje VR valdymas taps dar natūralesnis. Jau dabar kuriamos sistemos, kurios gali skaityti elektrinius signalus iš jūsų raumenų – net prieš jiems pajudėjus. Meta dirba su apyranke, kuri skaito nervų signalus jūsų riešo srityje ir gali nustatyti, kokius pirštų judesius ketinate atlikti. Tai leistų valdyti virtualų pasaulį vien mintimis – na, beveik.
Kitos kompanijos eksperimentuoja su viso kūno sekimu, naudojant specialius kostiumus ar net tik kameras. Įsivaizduokite galėjimą spardyti kamuolį virtualiame pasaulyje ir sistema tiksliai sekti jūsų kojos judėjimą. Arba šokti, ir jūsų avatarą pakartoti kiekvieną judesį. Tai jau egzistuoja laboratorijose, bet dar nėra prieinamu kaip masinis produktas.
Kai technologija tampa nematoma
Geriausias VR valdymas yra tas, apie kurį negalvojate. Kai užsidedate šalmą ir tiesiog… veikiate. Nebeatsimenu, kaip veikia valdikliai – tiesiog žinau, kad noriu paimti objektą, ir mano ranka jį paima. Nebeatsimenu, kaip sistema seka mano galvos padėtį – tiesiog žiūriu į skirtingas puses, ir pasaulis yra ten.
Būtent čia slypi tikrasis VR valdymo technologijos sėkmės matas. Ne kiek jutiklių yra naudojama, ne koks tikslus sekimas, o kaip natūraliai visa tai jaučiasi. Gera VR sistema išnyksta – lieka tik patirtis.
Žinoma, vis dar yra apribojimų. Negalite vaikščioti be galo – anksčiau ar vėliau atsiremsite į sieną. Negalite liesti virtualių objektų – jie neturi masės ar tekstūros. Negalite pajusti virtualaus vėjo ar kvapo. Bet kiekviena nauja VR valdymo technologijos karta šiek tiek sumažina atotrūkį tarp virtualaus ir tikro.
Ir kas žino – gal po dešimties metų VR valdymas bus toks natūralus ir tikslus, kad virtualus pasaulis taps nauja realybe. Ne pakeisdamas tikrąjį, bet papildydamas jį. Gal dirbs žmonės, kurie niekada nėra fiziškai susitikę, bet jaučiasi tarsi dirbtų viename kabinete. Gal mokiniai mokysis anatomijos “liesdami” virtualų širdį savo rankomis. Gal architektai vaikščios po pastatus, kurie dar nepastatyti, ir keis juos realiu laiku.
Visa tai prasideda nuo paprastos idėjos – leisti kompiuteriui suprasti, kur esame ir ką norime daryti. Ir nors technologija gali atrodyti sudėtinga, jos tikslas yra paprastas: padaryti virtualų pasaulį tokį pat natūralų kaip tikrąjį. Kol kas dar ne visai pavyko, bet esame daug arčiau nei bet kada anksčiau.