Kai technologijos pradeda klausytis
Prisimenu, kaip prieš kokį dešimtmetį draugai juokėsi, kai bandžiau per telefoną diktuoti žinutę. Sistema suprato maždaug pusę žodžių, o rezultatas atrodė tarsi būčiau rašęs atsitiktinai spaudinėdamas klaviatūrą. Šiandien tiesiog pasakau “Ei, Siri” ar “Ok Google” ir gaunu tikslų atsakymą. Balso kontrolės sistemos per pastarąjį dešimtmetį padarė tokį šuolį, kad tai atrodo beveik stebuklingai.
Bet jokių stebuklų čia nėra – tik sudėtinga technologijų kombinacija, kuri veikia tokiu greičiu ir tikslumu, jog mūsų smegenys net nespėja suvokti, kiek daug procesų vyksta per tas kelias sekundes, kol išgirstame atsakymą. Balso kontrolės sistema – tai ne vienas įrenginys ar programa, o visa ekosistema, kurioje dirba kartu mikrofonai, procesoriai, dirbtinis intelektas ir debesų kompiuterija.
Nuo garso bangų iki skaitmeninių signalų
Viskas prasideda nuo paprasto fizikinio reiškinio – jūsų balso sukuriamos oro virpesių. Kai kalbate, jūsų balso stygos virpa ir sukuria garso bangas, kurios keliauja oru. Šios bangos pasiekia jūsų išmaniojo telefono, planšetės ar protingo garsiakalbio mikrofoną.
Modernūs įrenginiai dažniausiai turi ne vieną, o kelis mikrofonus. Tai ne atsitiktinumas – keli mikrofonai leidžia sistemai tiksliau nustatyti, iš kur ateina garsas, ir atskirti jūsų balsą nuo fono triukšmo. Pavyzdžiui, Amazon Echo turi net septynis mikrofonus, išdėstytus ratu aplink įrenginį. Taip sistema gali “išgirsti” jus net tada, kai patys grojate garsią muziką.
Mikrofonas veikia kaip atvirkštinis garsiakalbis – jis paverčia mechanines garso bangas į elektrinius signalus. Šie analoginiai signalai dar nieko nereiškia kompiuteriui, todėl juos reikia paversti skaitmeniniais duomenimis. Čia į žaidimą įsijungia analoginis-skaitmeninis keitiklis (ADC), kuris matuoja elektrinį signalą tūkstančius kartų per sekundę ir kiekvieną matavimą paverčia skaičiumi.
Kaip sistema supranta, kad kreipiatės būtent į ją
Įdomiausia, kad jūsų išmanusis įrenginys iš tikrųjų nuolat klausosi. Skamba šiek tiek bauginančiai, tiesa? Bet ramybei – jis neanalizuoja visko, ką girdite. Vietoj to įrenginyje veikia speciali mažos galios sistema, kuri atpažįsta tik vieną dalyką – pažadinimo žodį arba frazę.
Šis “budėjimo režimas” veikia tiesiogiai įrenginio lustе ir naudoja labai mažai energijos. Sistema yra išmokyta atpažinti specifinį garso šabloną – “Alexa”, “Ok Google”, “Hey Siri” ar ką nors panašaus. Kai išgirsta šį šabloną, įrenginys “pabunda” ir pradeda tikrąjį darbą.
Čia slypi įdomus techninis sprendimas. Pažadinimo žodžio atpažinimas vyksta vietoje, jūsų įrenginyje, nenaudojant interneto ryšio. Tai svarbu dėl dviejų priežasčių: pirma, taip užtikrinamas privatumas (jūsų pokalbiai nekeliauja į serverius, kol neaktyvuojate sistemos), antra, reakcija būna akimirksninė, nes nereikia laukti duomenų perdavimo.
Kai prasideda tikrasis darbas – kalbos atpažinimas
Kai sistema aktyvuojama, prasideda sudėtingiausias etapas – jūsų kalbos pavertimas tekstu. Šis procesas vadinamas ASR (Automatic Speech Recognition) arba tiesiog kalbos atpažinimu. Ir nors tai skamba paprastai, realybėje tai vienas sudėtingiausių dirbtinio intelekto uždavinių.
Pirmiausia sistema turi išskaidyti jūsų kalbą į mažesnius gabalėlius – fonemas. Fonema – tai mažiausias garso vienetas kalboje. Lietuvių kalboje jų yra apie 50, anglų – maždaug 44. Sistema analizuoja garso bangą ir bando nustatyti, kokios fonemos buvo ištartos ir kokia tvarka.
Bet čia iškyla problema – žmonės kalba labai skirtingai. Turime skirtingus akcentus, intonacijas, kalbėjimo greitį. Kas daugiau, dažnai prarijame garsus, sujungiame žodžius ar darome pauzes keistose vietose. Todėl sistema negali tiesiog lyginti jūsų kalbos su iš anksto įrašytais šablonais – ji turi “suprasti” kalbą giliau.
Čia į pagalbą ateina dirbtiniai neuroniniai tinklai. Šios sistemos yra “treniruojamos” naudojant milijonus valandų įrašytos žmogaus kalbos. Jos mokosi atpažinti šablonus, kurie sieja garso bangas su konkrečiomis fonemomis, žodžiais ir frazėmis. Kuo daugiau duomenų sistema apdoroja, tuo geriau ji veikia.
Kontekstas – raktas į tikslumą
Įsivaizduokite, kad sakote: “Noriu užsisakyti picos”. Sistema girdi garsus, bet kaip ji žino, ar sakėte “picos”, “pykos” ar “pykčio”? Čia svarbus kontekstas ir tikimybės.
Modernios balso atpažinimo sistemos naudoja kalbos modelius – tai iš esmės didžiulės duomenų bazės, kuriose saugoma informacija apie tai, kokie žodžiai dažniausiai eina kartu. Sistema žino, kad po žodžių “užsisakyti” dažniau seka “picos” nei “pykos”. Ji taip pat atsižvelgia į tai, ką sakėte anksčiau per tą patį pokalbį.
Be to, sistema analizuoja ne tik žodžius, bet ir jų gramatiką. Ji supranta, kad po veiksmažodžio “užsisakyti” turėtų eiti daiktavardis, o ne būdvardis. Visi šie sluoksniai – fonetinis, leksinis ir gramatinis – veikia kartu, kad sistema kuo tiksliau suprastų, ką sakėte.
Įdomu tai, kad šiuolaikinės sistemos mokosi ir iš jūsų asmeninių duomenų. Jos žino, kokius kontaktus turite telefone, kokias programas naudojate, kokias vietas lankote. Jei sakote “paskambink Jonui”, sistema žino, kad jūsų kontaktuose yra Jonas, o ne Džonas ar Juozas.
Nuo teksto iki supratimo – NLP magija
Kai jūsų kalba jau paversta tekstu, prasideda kitas etapas – sistemos turi suprasti, ko iš tikrųjų norite. Čia dirba natūralios kalbos apdorojimo (NLP – Natural Language Processing) technologijos.
Žmonės kalba labai netiesiogiai ir dviprasmiškai. Jei pasakote “Koks oras bus rytoj?”, tai atrodo paprasta. Bet jei sakote “Ar man reikės skėčio rytoj?”, sistema turi suprasti, kad iš tikrųjų klausiate apie orą, konkrečiai – ar lis. Tai reikalauja ne tik žodžių supratimo, bet ir konteksto, loginės išvados.
NLP sistemos naudoja įvairius metodus tekstui analizuoti. Jos identifikuoja raktinius žodžius, nustato sakinio struktūrą, atpažįsta veiksmažodžius (ką norite padaryti) ir objektus (su kuo norite tai padaryti). Pavyzdžiui, frazėje “Paleisk Spotify ir groj roko muziką” sistema nustato: veiksmas – paleisti/groti, programa – Spotify, parametras – roko muzika.
Šiuolaikinės sistemos taip pat supranta kontekstą per kelis klausimus. Jei pirmiausia paklausiate “Kas yra Einšteinas?”, o paskui – “Kada jis gimė?”, sistema supranta, kad “jis” reiškia Einšteiną. Tai vadinama anaforinių nuorodų sprendimu ir tai gana sudėtinga problema kompiuterinei lingvistikai.
Debesys, kurie galvoja už mus
Didžioji dalis sunkaus darbo vyksta ne jūsų įrenginyje, o galingose serverių fermose – debesų kompiuterijoje. Kai aktyvuojate balso asistentą, jūsų įrenginys užšifruoja garso įrašą ir išsiunčia jį į gamintojo serverius. Ten vyksta visa anksčiau aprašyta magija – kalbos atpažinimas, NLP analizė, užklausos apdorojimas.
Kodėl ne vietoje? Nes šie procesai reikalauja milžiniškos skaičiavimo galios ir atminties. Jūsų telefone ar protingame garsiakalblyje tiesiog nėra pakankamai resursų, kad galėtų laikyti visus kalbos modelius ir greitai juos apdoroti. Be to, debesyse esantys modeliai nuolat atnaujinami ir tobulinami, o tai reikštų nuolatinius atnaujinimus kiekvienam įrenginiui.
Tiesa, situacija keičiasi. Naujausi išmanieji telefonai turi specialius dirbtinio intelekto lustus, kurie gali atlikti vis daugiau užduočių vietoje. Apple, pavyzdžiui, didžiąją dalį Siri funkcijų jau apdoroja tiesiogiai įrenginyje. Tai greičiau, saugiau ir veikia net be interneto ryšio, nors funkcionalumas būna ribotas.
Atsakymas – paskutinis grandies žingsnis
Kai sistema supranta, ko norite, ji turi sugeneruoti atsakymą ir jį pateikti. Jei klausiate faktinės informacijos, sistema ieško atsakymo savo duomenų bazėse arba internete. Jei prašote atlikti veiksmą (pvz., nustatyti žadintuvą), ji siunčia komandą atitinkamai programai jūsų įrenginyje.
Įdomiausia dalis – kaip sistema “kalba” atgal. Anksčiau balso asistentai naudojo iš anksto įrašytus garso failus, sujungtus į frazes. Tai skambėdavo robotiškai ir nenatūraliai. Šiuolaikiniai asistentai naudoja kalbos sintezės technologijas (TTS – Text-to-Speech), kurios realiu laiku generuoja žmogišką kalbą.
Geriausios TTS sistemos naudoja giliojo mokymosi modelius, kurie išmoko ne tik tarti žodžius, bet ir natūraliai intonuoti, daryti tinkamas pauzes, net pridėti emocijų atspalvių. Kai kurios sistemos jau gali keisti balso stilių priklausomai nuo situacijos – skambėti formaliau ar draugiškai, greitai ar lėtai.
Kodėl kartais viskas eina ne taip
Nors technologija nuostabi, ji toli gražu ne tobula. Tikriausiai patys esate patyrę situacijų, kai balso asistentas jus visiškai nesuprato arba padarė kažką keista. Tam yra kelios priežastys.
Pirma, fonas triukšmas. Nors sistemos turi triukšmo slopinimo funkcijas, stiprus fonas garsas vis tiek gali sutrikdyti mikrofonus. Ypač problemiški aukšto dažnio garsai – šuniuko lojimas, vaikų riksmas, statybų triukšmas.
Antra, akcentai ir tarties ypatumai. Balso atpažinimo sistemos treniruojamos naudojant tam tikrų kalbėtojų įrašus. Jei jūsų tarimas labai skiriasi nuo to, ką sistema “girdėjo” mokydamasi, tikslumas krenta. Tai ypač aktualu mažesnėms kalboms – lietuvių kalbos atpažinimas paprastai prastesnis nei anglų, nes yra mažiau mokomųjų duomenų.
Trečia, dviprasmiškos ar sudėtingos užklausos. Sistema gali nesusigaudyti, jei sakote per daug informacijos vienu metu arba naudojate metaforas, sarkazmą, humoro. “Išjunk šviesą, bet ne tą virtuvėje, o tą kitą, kuri šalia sofos” – tokia komanda gali sukelti sunkumų.
Ketvirta, techniniai apribojimai. Jei interneto ryšys lėtas, atsakymas užtruks. Jei serveriai apkrauti, gali būti klaidų. Jei įrenginio mikrofonas prastos kokybės, garso įrašas bus prastas.
Privatumas – klausimas, kuris neišnyksta
Kai namuose turite įrenginį, kuris nuolat klausosi, natūralu jausti nerimą dėl privatumo. Ir šis nerimas nėra visiškai nepagrįstas – yra buvę atvejų, kai balso asistentai atsitiktinai aktyvuodavosi ir įrašydavo privačius pokalbius.
Gamintojų teigimu, įrenginiai tikrai įrašinėja tik tai, kas pasakoma po pažadinimo žodžio. Bet kaip jie gali atpažinti pažadinimo žodį, jei nuolat neklausosi? Atsakymas – klausosi, bet ne įrašinėja. Budėjimo režimas analizuoja garsus realiu laiku, bet jų nesaugo. Tik išgirdęs pažadinimo žodį, įrenginys pradeda įrašinėti ir siųsti duomenis į serverius.
Vis dėlto yra keletas dalykų, kuriuos verta žinoti. Pirma, kai kurie gamintojų darbuotojai gali klausytis jūsų įrašų – tai daroma sistemos tobulinimui. Tiesa, turėtumėte turėti galimybę atsisakyti šios “paslaugos” nustatymuose. Antra, įrašai paprastai saugomi jūsų paskyroje ir galite juos peržiūrėti bei ištrinti. Trečia, galite fiziškai išjungti mikrofonus daugelyje įrenginių – dažnai tam yra specialus mygtukas.
Jei privatumas jums svarbus, verta:
– Reguliariai tikrinti ir trinti balso įrašų istoriją
– Išjungti mikrofono leidimą programoms, kurioms jo nereikia
– Fiziškai išjungti mikrofoną, kai nenorite būti girdimi
– Perskaityti privatumo politiką ir išjungti duomenų dalijimąsi trečiosioms šalims
Ateitis, kuri jau čia pat
Balso kontrolės technologija vystosi neįtikėtinu greičiu. Kas bus toliau? Keletas krypčių atrodo ypač įdomios.
Pirma, emocinis intelektas. Būsimos sistemos galės atpažinti ne tik žodžius, bet ir emocijas jūsų balse. Jos supras, ar esate piktas, liūdnas, susijaudinęs, ir atitinkamai reaguos. Jau dabar yra eksperimentinių sistemų, kurios analizuoja balso toną, tempą, pauzių ilgį ir gali spėti kalbėtojo emocinę būseną.
Antra, daugiakalbystė. Šiandien turite pasirinkti vieną kalbą savo asistentui. Ateityje sistemos galės sklandžiai perjunginėti tarp kalbų net per tą patį pokalbį. Tai ypač aktualu daugiakalbėms šeimoms ar žmonėms, kurie dirba tarptautinėje aplinkoje.
Trečia, kontekstinis supratimas. Sistemos taps daug geresnės suprasdamos situaciją. Jos žinos, kur esate, ką darote, kokia dienos dalis, ir atitinkamai pritaikys atsakymus. Jei rytą paklausite “Kaip atrodo?”, sistema supras, kad klausiate apie orą ir dienos planą. Vakare ta pati frazė gali būti suprantama kaip klausimas apie rytojaus tvarkaraštį.
Ketvirta, personalizacija. Sistemos geriau mokysis iš jūsų įpročių ir pageidavimų. Jos žinos, kad jums patinka konkrečių žanrų muzika, kad dažniausiai užsisakote maisto penktadienio vakarais, kad nemėgstate per daug išsamių atsakymų.
Penkta, proaktyvumas. Vietoj to, kad tik atsakytų į klausimus, asistentai pradės patys siūlyti pagalbą. “Pastebėjau, kad tuoj prasidės susitikimas, bet eisi vėluoti dėl spūsčių. Ar pranešti dalyviams?” Tai jau ne tik balso kontrolė, bet tikras asistento darbas.
Kai technologija tampa natūralia
Grįžtant prie to, nuo ko pradėjome – balso kontrolės sistemos per trumpą laiką nužengė ilgą kelią. Nuo juokingų klaidų ir robotiškai skambančių atsakymų iki sistemų, kurios beveik natūraliai supranta ir reaguoja į mūsų kalbą.
Šiandien balso kontrolė nėra tik patogumas – daugeliui žmonių tai tampa pagrindiniu būdu bendrauti su technologijomis. Žmonėms su regėjimo negalia, vyresnio amžiaus žmonėms, kuriems sunku naudotis jutikliniais ekranais, ar tiesiog tiems, kurie vairuoja ar gamina maistą – balso kontrolė atveria naujas galimybes.
Technologija veikia sudėtingai, bet patirtis vartotojui yra paprasta – tiesiog kalbate ir gaunate tai, ko reikia. Tai ir yra geriausių technologijų požymis – jos tampa nematomos, natūralios, integruotos į kasdienį gyvenimą.
Žinoma, dar yra daug ką tobulinti. Privatumo klausimai neišspręsti, tikslumas ne visada idealus, o kai kurios kalbos ir akcentai vis dar prastai palaikomi. Bet kryptis aiški – balso kontrolė taps vis natūralesniu ir galingesniu būdu bendrauti su skaitmeninėmis sistemomis. Ir kas žino, galbūt po dešimties metų klaviatūros ir pelės atrodys tokios pat archajiškos, kaip mums dabar atrodo perfokortos.