Kas iš tikrųjų yra duomenų analitika
Duomenų analitika – tai ne tik sausas skaičių mėtymas ir sudėtingos formulės. Tai greičiau panašu į detektyvo darbą, tik vietoj nusikaltimų tyrimo, ieškome įžvalgų dideliuose duomenų kiekiuose. Įsivaizduokite, kad turite milžinišką dėlionę, kurios dalys išmėtytos po visą kambarį – duomenų analitika padeda surasti tas dalis, kurios kartu sudaro prasmingą vaizdą.
Paprasčiausiai tariant, duomenų analitika yra procesas, kurio metu surenkame, valome, transformuojame ir tiriame duomenis, siekdami atrasti naudingą informaciją, padaryti išvadas ir priimti geresnius sprendimus. Tai gali būti bet kas – nuo parduotuvės pardavimų analizės iki oro prognozių kūrimo ar net jūsų mėgstamiausių filmų rekomendacijų Netflix platformoje.
Šiandien duomenų analitika tapo neatsiejama daugelio sričių dalimi. Verslai naudoja ją klientų elgesiui suprasti, medicinos įstaigos – ligoms diagnozuoti, o sporto komandos – žaidėjų rezultatams optimizuoti. Net jūsų išmanusis telefonas nuolat analizuoja duomenis – kaip jūs jį naudojate, kokiose vietose lankotės, kokias programėles dažniausiai atidarote.
Kaip tai iš tikrųjų veikia praktikoje
Duomenų analitikos procesas nėra vienas veiksmas – tai kelių etapų kelionė. Pirmiausia reikia surinkti duomenis. Tai gali būti daroma įvairiais būdais: automatiškai per jutiklius, rankiniu būdu įvedant informaciją, importuojant iš duomenų bazių ar net parsiunčiant iš interneto. Pavyzdžiui, internetinė parduotuvė renka duomenis apie kiekvieną jūsų paspaudimą, peržiūrėtą produktą, krepšelio turinį ir galutinį pirkimą.
Tada prasideda duomenų valymas – ir tai tikrai ne pats įdomiausias, bet vienas svarbiausių etapų. Duomenys dažnai būna netvarkingai – trūksta reikšmių, yra dublikatų, klaidų ar neatitikimų. Įsivaizduokite, kad analizuojate klientų amžių, o duomenyse radote žmogų, kuriam 150 metų – akivaizdu, kad tai klaida. Arba kai tas pats klientas sistemoje užregistruotas du kartus su skirtingais el. pašto adresais. Visa tai reikia sutvarkyti.
Po valymo ateina transformacija – duomenų paruošimas analizei. Čia duomenis galima sujungti iš skirtingų šaltinių, perskaičiuoti į reikiamus formatus, sukurti naujas reikšmes iš esamų. Pavyzdžiui, jei turite gimimo datą, galite apskaičiuoti tikslų amžių. Arba jei žinote pirkimo sumą ir nuolaidą, galite apskaičiuoti pelną.
Pati analizė – čia ir prasideda tikrasis darbas. Naudojami įvairūs statistiniai metodai, algoritmai, vizualizacijos įrankiai. Ieškoma tendencijų, anomalijų, ryšių tarp skirtingų kintamųjų. Galbūt pastebėsite, kad penktadieniais pardavimai išauga 30%, arba kad tam tikros amžiaus grupės klientai pirmenybę teikia konkretiems produktams.
Įrankiai ir technologijos už kulisų
Duomenų analitikai naudoja įvairiausias priemones – nuo paprastų Excel skaičiuoklių iki sudėtingų programavimo kalbų ir specializuotų platformų. Excel vis dar yra vienas populiariausių įrankių pradedantiesiems ir nesudėtingoms užduotims. Jame galite kurti lenteles, skaičiuoti sumas, vidurkius, kurti diagramas ir net naudoti sudėtingesnes funkcijas kaip VLOOKUP ar pivot lenteles.
Tačiau kai duomenų kiekis išauga, Excel pasiekia savo ribas. Čia į sceną įžengia tokios programavimo kalbos kaip Python ir R. Python tapo de facto standartu duomenų analizėje dėl savo paprastumo ir galių bibliotekų kaip Pandas (duomenų manipuliavimui), NumPy (matematiniams skaičiavimams) ir Matplotlib (vizualizacijai). R kalba ypač populiari akademinėje aplinkoje ir statistikoje.
SQL – tai kalba, skirta darbui su duomenų bazėmis. Jei jūsų duomenys saugomi duomenų bazėje (o dažniausiai taip ir yra), SQL žinojimas yra būtinas. Tai leidžia efektyviai ištraukti reikiamus duomenis, juos filtruoti, sujungti ir apdoroti dar prieš perkeliant į analizės įrankius.
Vizualizacijos įrankiai kaip Tableau, Power BI ar Google Data Studio leidžia kurti interaktyvias ataskaitas ir informacines skydų lenteles (dashboards). Vietoj sausų skaičių lentelių, galite sukurti spalvingus grafikus, žemėlapius, diagramas, kurios iš karto parodo svarbias tendencijas ir anomalijas. Geras vizualizavimas gali būti skirtumas tarp to, ar jūsų išvados bus suprastos ir panaudotos, ar tiesiog ignoruojamos.
Skirtingi analitikos tipai skirtingoms užduotims
Ne visa duomenų analitika yra vienoda – egzistuoja keletas skirtingų tipų, priklausomai nuo to, ką bandome pasiekti. Aprašomoji analitika (descriptive analytics) atsako į klausimą “kas nutiko?”. Tai paprasčiausia forma – tiesiog pažiūrime į praėjusius duomenis ir apibendriname. Pavyzdžiui, “praėjusį mėnesį pardavėme 1000 vienetų” ar “vidutinis klientų amžius yra 35 metai”.
Diagnostinė analitika (diagnostic analytics) eina žingsnį toliau ir klausia “kodėl tai nutiko?”. Čia ieškome priežasčių ir ryšių. Kodėl pardavimai sumažėjo? Galbūt tai susiję su nauju konkurentu rinkoje? Ar su sezoniškumu? Ar su tam tikra reklamos kampanija, kuri nesuveikė?
Prognozuojamoji analitika (predictive analytics) bando atsakyti į klausimą “kas nutiks ateityje?”. Naudojant istorinius duomenis ir statistinius modelius, bandoma numatyti būsimus įvykius. Pavyzdžiui, bankai naudoja prognozuojamąją analitiką vertindami, ar klientas grąžins paskolą. Arba mažmeninės prekybos įmonės prognozuoja, kiek produktų reikės užsakyti kitam sezonui.
Paskutinis ir sudėtingiausias tipas – preskriptinė analitika (prescriptive analytics), kuri atsako į klausimą “ką turėtume daryti?”. Tai ne tik numato ateitį, bet ir siūlo veiksmus. Pavyzdžiui, ne tik pasako, kad pardavimai gali sumažėti, bet ir rekomenduoja konkrečias strategijas tam išvengti – galbūt sumažinti kainas, pakeisti reklamą ar išplėsti produktų asortimentą.
Dirbtinis intelektas ir mašininis mokymasis
Šiuolaikinė duomenų analitika neįsivaizduojama be dirbtinio intelekto ir mašininio mokymosi. Nors tai skamba futuristiškai, iš tikrųjų tai tik labiau pažangūs būdai analizuoti duomenis. Tradicinėje analitikoje žmogus nustato taisykles – pavyzdžiui, “jei klientas pirko daugiau nei 5 kartus, jis yra lojalus”. Mašininiame mokymesi algoritmas pats mokosi iš duomenų ir atranda šias taisykles.
Pavyzdžiui, jei norite nustatyti, ar el. laiškas yra šlamštas, galite sukurti taisyklių sąrašą – jei laiške yra žodis “nemokamas”, “laimėjote” ar “skubiai” – tai greičiausiai šlamštas. Bet šlamšto siuntėjai greitai išmoktų apeiti šias taisykles. Mašininio mokymosi algoritmas analizuoja tūkstančius šlamšto ir normalių laiškų pavyzdžių ir pats išmoksta atpažinti subtilius skirtumus, kuriuos žmogui būtų sunku apibrėžti.
Yra įvairių mašininio mokymosi tipų. Prižiūrimas mokymasis (supervised learning) naudojamas, kai turime pavyzdžių su žinomais atsakymais – pavyzdžiui, turime nuotraukų, kuriose žinome, ar yra katė, ar šuo, ir algoritmas mokosi jas atskirti. Neprižiūrimas mokymasis (unsupervised learning) naudojamas, kai iš anksto nežinome, ko ieškome – algoritmas pats grupuoja panašius duomenis ir atranda struktūras.
Giluminis mokymasis (deep learning) – tai mašininio mokymosi poaibis, naudojantis dirbtinių neuronų tinklus, kurie imituoja žmogaus smegenų veikimą. Tai ypač efektyvu apdorojant vaizdus, garsą ir tekstą. Būtent giluminis mokymasis leidžia jūsų telefonui atpažinti jūsų veidą, Google Translate versti tekstus ar Siri suprasti jūsų balso komandas.
Realūs panaudojimo atvejai kasdienybėje
Duomenų analitika jau seniai išėjo už laboratorijų ribų ir tapo kasdienybės dalimi. Kai atidarote Netflix ir matote rekomenduojamus filmus – tai duomenų analitika. Sistema analizuoja, ką žiūrėjote anksčiau, kiek laiko žiūrėjote, ką žiūri panašūs vartotojai, ir sukuria personalizuotą rekomendacijų sąrašą. Spotify daro tą patį su muzika, o YouTube – su vaizdo įrašais.
Elektroninėje prekyboje duomenų analitika naudojama kainų optimizavimui. Pastebėjote, kad skrydžių kainos keičiasi priklausomai nuo to, kada ieškote? Tai dinaminio kainų nustatymo algoritmai, kurie analizuoja paklausą, laisvų vietų skaičių, konkurentų kainas ir net jūsų naršymo istoriją. Amazon naudoja panašius metodus – produktų kainos gali keistis kelis kartus per dieną.
Sveikatos priežiūroje duomenų analitika gelbsti gyvybes. Ligoninės naudoja prognozuojamąją analitiką nustatyti, kurie pacientai turi didžiausią riziką susirgti komplikacijomis. Medicininiai vaizdai (rentgeno nuotraukos, MRT skenavimas) analizuojami naudojant mašininį mokymąsi, dažnai aptinkant ligas ankstesnėse stadijose nei žmogus gydytojas. Epidemiologai analizuoja duomenis, kad suprastų ligų plitimą ir efektyviau planuotų prevencijos priemones.
Transporto srityje duomenų analitika optimizuoja maršrutus ir mažina spūstis. Google Maps analizuoja milijonų vartotojų duomenis realiu laiku, kad nustatytų, kurie keliai yra užsikimšę ir pasiūlytų greitesnius alternatyvius maršrutus. Viešojo transporto įmonės analizuoja keleivių srautus, kad optimizuotų tvarkaraščius ir maršrutus. Uber ir Bolt naudoja duomenų analitiką kainoms nustatyti ir vairuotojams efektyviai paskirstyti.
Iššūkiai ir problemos, su kuriomis susiduriama
Nors duomenų analitika skamba kaip stebuklas, realybėje ji susiduria su nemažai iššūkių. Pirmiausia – duomenų kokybė. Yra tokia patarlė duomenų analitikų tarpe: “garbage in, garbage out” – jei įvedate šiukšles, gausite šiukšles. Netinkami, neišsamūs ar klaidingi duomenys gali vesti prie visiškai klaidingų išvadų. Kartais įmonės investuoja milijonus į analitikos sistemas, bet pamiršta pasirūpinti duomenų kokybe.
Privatumas ir etika – dar viena didelė problema. Kuo daugiau duomenų renkame ir analizuojame, tuo daugiau keliame klausimų apie privatumą. Ar įmonės turėtų sekti kiekvieną jūsų veiksmą internete? Ar draudimo kompanijos turėtų naudoti jūsų sveikatos duomenis nustatant įmokas? Ar darbdaviai turėtų analizuoti darbuotojų el. laiškus ir produktyvumą? Tai sudėtingi klausimai be paprastų atsakymų.
Šališkumas algoritmuose (bias) yra rimta problema. Mašininio mokymosi modeliai mokosi iš istorinių duomenų, o jei tie duomenys atspindi tam tikrus šališkumus, algoritmas juos perims. Pavyzdžiui, jei įdarbinimo algoritmas mokomas iš duomenų, kur istoriškai dauguma vadovų buvo vyrai, jis gali pradėti diskriminuoti moteris kandidates. Arba jei nusikaltimų prognozavimo sistema mokoma duomenimis iš rajonų, kur policija labiau sutelkė dėmesį, ji gali neteisingai numatyti daugiau nusikaltimų būtent tuose rajonuose.
Dar viena problema – rezultatų interpretacija. Duomenys gali parodyti koreliaciją (ryšį), bet tai nereiškia priežastingumo. Klasikinis pavyzdys: ledų pardavimai ir skendimų skaičius vasarą auga kartu. Ar tai reiškia, kad ledai sukelia skendimus? Žinoma, ne – abu reiškiniai susiję su trečiu veiksniu – karštu oru. Tačiau neteisingai interpretuojant duomenis, galima padaryti absurdiškų išvadų.
Ką verta žinoti pradedantiesiems ir įdomaujantiems
Jei domitės duomenų analitika ir norite pradėti mokytis, gera žinia – niekada nebuvo lengviau pradėti. Nereikia brangių programų ar galingo kompiuterio. Galite pradėti nuo Excel ar Google Sheets – išmokite kurti lenteles, naudoti formules, kurti pivot lenteles ir diagramas. Tai suteiks jums tvirtą pagrindą suprantant, kaip duomenys organizuojami ir analizuojami.
Toliau verta išmokti bent SQL pagrindų. Yra daugybė nemokamų kursų internete – Khan Academy, Codecademy, DataCamp ir kiti. SQL nėra sudėtinga kalba, bet ji neįtikėtinai galinga ir naudinga. Daugelis duomenų analitiko pozicijų reikalauja bent bazinių SQL žinių.
Python yra puikus pasirinkimas, jei norite gilintis į programavimą. Pradėkite nuo pagrindų, tada pereikite prie Pandas bibliotekos duomenų manipuliavimui. Yra puikių nemokamų šaltinių – Python.org tutorialai, YouTube kanalai kaip Corey Schafer ar sentdex, interaktyvūs kursai DataCamp ar Kaggle Learn platformoje.
Praktika yra svarbiausia. Ieškokite realių duomenų rinkinių ir bandykite juos analizuoti. Kaggle platformoje rasite tūkstančius nemokamų duomenų rinkinių įvairiomis temomis – nuo sporto statistikos iki klimato duomenų. Bandykite atsakyti į konkrečius klausimus, kurkite vizualizacijas, ieškokite įdomių įžvalgų. Kuo daugiau praktikuositės, tuo greičiau išmoksite.
Nesibaiminkite klaidų. Duomenų analitikoje klaidos yra normali mokymosi proceso dalis. Neteisingai parašėte SQL užklausą? Puiku, dabar žinote, kaip to nedaryti. Sukūrėte netinkamą vizualizaciją? Išmokote, kas veikia, o kas ne. Kiekviena klaida yra pamoka.
Kur link juda duomenų analitikos ateitis
Duomenų analitikos ateitis atrodo įspūdinga ir šiek tiek bauginanti vienu metu. Duomenų kiekis toliau auga eksponentiniu greičiu – kas dvi dienas sukuriame tiek duomenų, kiek visa žmonija sukūrė iki 2003 metų. Tai reiškia, kad poreikis analizuoti šiuos duomenis tik didės.
Automatizacija keičia duomenų analitiko vaidmenį. Vis daugiau rutininių užduočių – duomenų valymo, paprastų ataskaitų kūrimo, anomalijų aptikimo – tampa automatizuotų. Tai nereiškia, kad duomenų analitikai taps nereikalingi, bet jų vaidmuo keisis. Mažiau laiko bus skiriama techniniams dalykams, daugiau – strateginiam mąstymui, verslo problemų supratimui ir rezultatų komunikavimui.
Demokratizacija – dar viena svarbi tendencija. Duomenų analitika tampa prieinama ne tik specialistams. Įrankiai tampa paprastesni, intuityvesni, mažiau reikalaujantys techninių žinių. Tai reiškia, kad daugiau žmonių įvairiose pozicijose galės savarankiškai analizuoti duomenis ir priimti duomenimis pagrįstus sprendimus.
Realaus laiko analitika tampa standartu. Vietoj to, kad analizuotume praėjusio mėnesio duomenis, vis dažniau analizuojame, kas vyksta dabar. Tai ypač svarbu tokiose srityse kaip finansai, kibernetinis saugumas ar gamyba, kur greitas reagavimas į pokyčius gali būti kritiškai svarbus.
Etiniai klausimai ir reguliavimas taps dar svarbesni. Matome vis daugiau įstatymų, reguliuojančių duomenų naudojimą – GDPR Europoje, CCPA Kalifornijoje ir kiti. Įmonės turės rasti balansą tarp duomenų panaudojimo verslo tikslams ir vartotojų privatumo apsaugos. Duomenų analitikai turės ne tik technines žinias, bet ir supratimą apie etiką ir teisinius aspektus.
Duomenų analitika nėra tik technologijų ar matematikos klausimas – tai būdas mąstyti ir priimti sprendimus. Tai įrankis, kuris padeda mums geriau suprasti sudėtingą pasaulį, atrasti paslėptus modelius ir priimti protingesnius sprendimus. Nors technologijos keičiasi, pagrindinis principas lieka tas pats: paversti duomenis į žinias, o žinias – į veiksmus. Ir kuo daugiau duomenų turime, tuo svarbesnis tampa gebėjimas juos prasmingai analizuoti ir interpretuoti.