Duomen\u0173 gavyba, arba kaip j\u0105 da\u017enai vadina angli\u0161ku terminu \u201edata mining”, skamba kaip ka\u017ekas i\u0161 fantastinio filmo apie kompiuteri\u0173 genijus. Ta\u010diau realyb\u0117je tai technologija, su kuria susiduriate kiekvien\u0105 dien\u0105 \u2013 kai \u201eNetflix” rekomenduoja jums serial\u0105, kai bankas nusprend\u017eia, ar suteikti jums paskol\u0105, ar kai internetin\u0117 parduotuv\u0117 si\u016blo b\u016btent tuos produktus, kurie jus domina.<\/p>\n
Esm\u0117 paprasta: turime mil\u017eini\u0161k\u0105 kiek\u012f duomen\u0173, kurie patys savaime nieko nerei\u0161kia. \u012esivaizduokite bibliotek\u0105 su milijonais knyg\u0173, bet be jokios katalogavimo sistemos. Duomen\u0173 gavyba \u2013 tai procesas, kuris padeda surasti prasmingas schemas, ry\u0161ius ir d\u0117sningumus toje informacijos j\u016broje. Tai tarsi aukso ie\u0161kojimas up\u0117s dugne \u2013 reikia persijoti tonas sm\u0117lio, kad rastum verting\u0173 gr\u016bdeli\u0173.<\/p>\n
\u0160iandien \u012fmon\u0117s kaupia ne\u012ftik\u0117tin\u0105 kiek\u012f informacijos apie visk\u0105 \u2013 nuo oro temperat\u016bros iki to, kokiu laiku \u017emon\u0117s da\u017eniausiai perka kav\u0105. Problema ta, kad \u017emogaus smegenys fizi\u0161kai nepaj\u0117gios apdoroti tokio duomen\u0173 kiekio. \u010cia ir ateina \u012f pagalb\u0105 duomen\u0173 gavybos technologijos, kurios automati\u0161kai analizuoja, klasifikuoja ir prognozuoja.<\/p>\n
Duomen\u0173 gavybos \u0161aknys siekia 1960-uosius, kai mokslininkai prad\u0117jo eksperimentuoti su statistiniais metodais, bandydami automatizuoti duomen\u0173 analiz\u0119. Ta\u010diau tikroji revoliucija prasid\u0117jo devintajame de\u0161imtmetyje, kai kompiuteriai tapo pakankamai galingi, kad gal\u0117t\u0173 apdoroti didesnius duomen\u0173 kiekius.<\/p>\n
Terminas \u201edata mining” atsirado ma\u017edaug 1990-aisiais, kai verslo analitikai suprato, kad tradiciniai statistikos metodai nebepakanka. \u012emon\u0117s prad\u0117jo kaupti duomenis skaitmenin\u0117se duomen\u0173 baz\u0117se, ir staiga atsirado galimyb\u0117 ie\u0161koti nematyt\u0173 anks\u010diau tendencij\u0173. Vienas \u017eymiausi\u0173 ankstyv\u0173j\u0173 pavyzd\u017ei\u0173 \u2013 prekybos centr\u0173 analiz\u0117, kuri atskleid\u0117, kad vyrai, perkantys sauskelnes k\u016bdikiams, da\u017enai tuo pa\u010diu metu perka ir al\u0173. \u0160i informacija leido parduotuv\u0117ms strategi\u0161kai i\u0161d\u0117styti prekes ir padidinti pardavimus.<\/p>\n
Su interneto at\u0117jimu duomen\u0173 gavyba \u012fgavo visi\u0161kai nauj\u0105 mast\u0105. Staiga tapo \u012fmanoma sekti ne tik tai, k\u0105 \u017emon\u0117s perka, bet ir k\u0105 jie skaito, kur spragsi, kiek laiko praleid\u017eia \u017ei\u016br\u0117dami tam tikr\u0105 turin\u012f. \u201eGoogle” ir \u201eAmazon” buvo tarp pirm\u0173j\u0173, kurie \u0161ias technologijas panaudojo masi\u0161kai, ir tai jiems suteik\u0117 mil\u017eini\u0161k\u0105 konkurencin\u012f prana\u0161um\u0105.<\/p>\n
Duomen\u0173 gavyba n\u0117ra vienas konkretus \u012frankis \u2013 tai visas metod\u0173 arsenals. Klasifikacija yra vienas populiariausi\u0173 metod\u0173, kai algoritmas mokosi priskirti duomenis tam tikroms kategorijoms. Pavyzd\u017eiui, el. pa\u0161to sistema mokosi atpa\u017einti \u0161lam\u0161t\u0105 \u2013 ji analizuoja t\u016bkstan\u010dius lai\u0161k\u0173, kuriuos \u017emon\u0117s pa\u017eym\u0117jo kaip \u0161lam\u0161t\u0105, ir i\u0161moksta atpa\u017einti pana\u0161ius po\u017eymius.<\/p>\n
Klasterizacija \u2013 tai metodas, kai algoritmas pats sugrupuoja pana\u0161ius duomenis, ne\u017einodamas i\u0161 anksto, kokios grup\u0117s tur\u0117t\u0173 b\u016bti. \u012esivaizduokite, kad turite duomenis apie milijon\u0105 klient\u0173 ir norite juos suskirstyti \u012f grupes pagal pirkimo \u012fpro\u010dius. Klasterizavimo algoritmas automati\u0161kai ras, kad yra \u201estudent\u0173” grup\u0117, perkanti pigius produktus vakarais, \u201e\u0161eim\u0173” grup\u0117, perkanti didelius kiekius savaitgaliais, ir taip toliau.<\/p>\n
Asociacij\u0173 taisykl\u0117s ie\u0161ko ry\u0161i\u0173 tarp skirting\u0173 dalyk\u0173. Tas garsusis \u201esauskelnes ir alus” pavyzdys \u2013 b\u016btent asociacij\u0173 taisykli\u0173 rezultatas. \u0160is metodas ypa\u010d naudingas prekyboje, nes leid\u017eia suprasti, kokie produktai da\u017enai perkami kartu.<\/p>\n
Regresijos analiz\u0117 padeda prognozuoti skaitines vertes. Pavyzd\u017eiui, nekilnojamojo turto \u012fmon\u0117 gali naudoti regresij\u0105, kad \u012fvertint\u0173 buto kain\u0105 pagal jo dyd\u012f, viet\u0105, am\u017ei\u0173 ir kitus parametrus. Algoritmas i\u0161analizuoja t\u016bkstan\u010dius ankstesni\u0173 sandori\u0173 ir i\u0161moksta prognozuoti kainas naujoms situacijoms.<\/p>\n
Pirmiausia reikia surinkti duomenis, ir tai da\u017enai sud\u0117tingiausia dalis. Duomenys gali b\u016bti i\u0161sibarst\u0119 \u012fvairiose sistemose, skirtinguose formatuose, su klaidomis ir praleistomis reik\u0161m\u0117mis. Realyb\u0117je duomen\u0173 mokslininkai praleid\u017eia apie 70-80% savo laiko tiesiog ruo\u0161dami duomenis analizei \u2013 valydami, standartizuodami, u\u017epildydami spragas.<\/p>\n
Kai duomenys paruo\u0161ti, prasideda tyrin\u0117jimo faz\u0117. \u010cia analitikai naudoja vizualizacijos \u012frankius, kad suprast\u0173, su kokiais duomenimis dirba. Galb\u016bt paai\u0161k\u0117s, kad tam tikri parametrai labai koreliuoja, arba kad duomenyse yra netik\u0117t\u0173 anomalij\u0173. \u0160i faz\u0117 primena detektyvo darb\u0105 \u2013 ie\u0161koma u\u017euomin\u0173 ir \u012fdomi\u0173 detali\u0173.<\/p>\n
Toliau eina modelio k\u016brimas. Pasirenkamas tinkamas algoritmas (ar keli algoritmai) ir \u201eapmokymas” naudojant istorinius duomenis. Pavyzd\u017eiui, jei norite sukurti sistem\u0105, kuri prognozuot\u0173 klient\u0173 atsisakym\u0105 paslaugos, paimate duomenis apie klientus, kurie pasitrauk\u0117 praeityje, ir mokote algoritm\u0105 atpa\u017einti po\u017eymius, kurie tam tikslui b\u016bdingi.<\/p>\n
Paskutin\u0117 faz\u0117 \u2013 modelio testavimas ir diegimas. \u010cia patikrinama, ar modelis tikrai veikia su naujais, anks\u010diau nematytais duomenimis. Jei modelis gerai veikia su mokymo duomenimis, bet prastai su naujais \u2013 tai vadinama \u201eoverfitting” problema, kai algoritmas i\u0161moko konkre\u010dius pavyzd\u017eius atmintinai, bet nesuprato bendro principo.<\/p>\n
Pastaraisiais metais duomen\u0173 gavyba evoliucionavo \u012f tai, k\u0105 dabar vadiname ma\u0161ininiu mokymusi ir giluminiu mokymusi. Skirtumas toks: tradicin\u0117 duomen\u0173 gavyba da\u017enai reikalavo, kad \u017emogus nurodyt\u0173, koki\u0173 po\u017eymi\u0173 ie\u0161koti. Pavyzd\u017eiui, nor\u0117dami atpa\u017einti \u0161un\u012f nuotraukoje, tur\u0117jote pasakyti sistemai: ie\u0161kokite keturi\u0173 koj\u0173, uodegos, aus\u0173 ir pana\u0161iai.<\/p>\n
\u0160iuolaikiniai giliojo mokymosi algoritmai, ypa\u010d neuron\u0173 tinklai, gali patys i\u0161mokti, kokie po\u017eymiai svarb\u016bs. Parodote jiems t\u016bkstan\u010dius \u0161un\u0173 nuotrauk\u0173 su \u017eyme \u201e\u0161uo” ir t\u016bkstan\u010dius kit\u0173 nuotrauk\u0173 su \u017eyme \u201ene \u0161uo”, ir sistema pati i\u0161moksta atpa\u017einti, kas yra \u0161uo, nepasakius jai, \u012f k\u0105 \u017ei\u016br\u0117ti.<\/p>\n
Tai ypa\u010d veiksminga su sud\u0117tingais duomenimis \u2013 vaizdais, garsu, tekstu. \u201eSiri” ir \u201eAlexa” naudoja giliojo mokymosi algoritmus, kad suprast\u0173 \u017emogaus kalb\u0105. \u201eFacebook” naudoja juos, kad atpa\u017eint\u0173 veidus nuotraukose. Medicinos \u012fstaigos naudoja, kad diagnozuot\u0173 ligas i\u0161 rentgeno nuotrauk\u0173.<\/p>\n
Ta\u010diau yra ir tr\u016bkum\u0173. Giliojo mokymosi modeliai da\u017enai veikia kaip \u201ejuodoji d\u0117\u017e\u0117” \u2013 jie duoda rezultatus, bet sunku suprasti, kod\u0117l pri\u0117m\u0117 tok\u012f sprendim\u0105. Tai gali b\u016bti problema, kai reikia paai\u0161kinti, kod\u0117l, pavyzd\u017eiui, \u017emogui buvo atsisakyta suteikti paskol\u0105.<\/p>\n
Medicinos srityje duomen\u0173 gavyba gelbsti gyvybes. Algoritmai analizuoja milijonus pacient\u0173 \u012fra\u0161\u0173, ie\u0161kodami ankstyv\u0173 lig\u0173 po\u017eymi\u0173. Yra sistem\u0173, kurios gali prognozuoti \u0161irdies priepuolius ar insulto rizik\u0105 anks\u010diau nei tradiciniai metodai. V\u0117\u017eio tyrimuose duomen\u0173 gavyba padeda identifikuoti genetinius veiksnius ir rasti efektyvesnius gydymo b\u016bdus.<\/p>\n
Finans\u0173 sektoriuje tai tapo neatsiejama dalimi. Bankai naudoja duomen\u0173 gavyb\u0105 suk\u010diavimo aptikimui \u2013 jei j\u016bs\u0173 kreditine kortele staiga pradedama pirkti ne\u012fprastose vietose ar ne\u012fprastu laiku, sistema tai pasteb\u0117s per sekundes. Investicin\u0117s \u012fmon\u0117s naudoja algoritmus, kad prognozuot\u0173 rinkos tendencijas ir priimt\u0173 sprendimus grei\u010diau nei \u017emogus gal\u0117t\u0173 sumirk\u010dioti.<\/p>\n
Ma\u017emenin\u0117 prekyba \u2013 \u010dia duomen\u0173 gavyba tiesiog \u0161\u0117lsta. \u201eAmazon” rekomendacij\u0173 sistema, kuri si\u016blo jums produktus, analizuoja ne tik j\u016bs\u0173 pirkimo istorij\u0105, bet ir milijon\u0173 kit\u0173 \u017emoni\u0173 elges\u012f. Jie \u017eino, kad \u017emon\u0117s, kurie pirko A ir B, da\u017enai perka ir C, tod\u0117l jums si\u016blo C. Prekybos centrai analizuoja p\u0117s\u010di\u0173j\u0173 srautus, kad suprast\u0173, kaip \u017emon\u0117s juda tarp skyri\u0173.<\/p>\n
Transporto srityje duomen\u0173 gavyba padeda optimizuoti mar\u0161rutus, prognozuoti transporto priemoni\u0173 gedimus prie\u0161 jiems \u012fvykstant, valdyti eism\u0105. \u201eUber” ir \u201eBolt” naudoja sud\u0117tingus algoritmus, kad prognozuot\u0173 paklaus\u0105 ir dinami\u0161kai keist\u0173 kainas.<\/p>\n
\u010cia prasideda sud\u0117tinga teritorija. Duomen\u0173 gavyba rei\u0161kia, kad ka\u017ekas stebi ir analizuoja j\u016bs\u0173 elges\u012f. Kiekvienas j\u016bs\u0173 paspaudimas internete, kiekviena pirkimo transakcija, kiekviena vieta, kuri\u0105 aplankote su i\u0161maniuoju telefonu \u2013 visa tai gali b\u016bti ir grei\u010diausiai yra ka\u017ekur \u012fra\u0161yta ir analizuojama.<\/p>\n
\u201eCambridge Analytica” skandalas parod\u0117, kaip duomen\u0173 gavyba gali b\u016bti naudojama manipuliuoti \u017emoni\u0173 nuomone politiniais tikslais. \u012emon\u0117 surinko milijon\u0173 \u201eFacebook” vartotoj\u0173 duomenis ir naudojo juos, kad tikslingai rodyt\u0173 politin\u0119 reklam\u0105, pritaikyt\u0105 kiekvieno asmens psichologiniam profiliui.<\/p>\n
Yra ir diskriminacijos pavojus. Jei algoritmas mokomas naudojant istorinius duomenis, kuriuose yra \u0161ali\u0161kumo, jis i\u0161moks to \u0161ali\u0161kumo. JAV buvo atvej\u0173, kai teism\u0173 sistemoje naudojami algoritmai, prognozuojantys nusikaltim\u0173 pasikartojimo rizik\u0105, rod\u0117 rasin\u012f \u0161ali\u0161kum\u0105, nes buvo apmokyti naudojant istorinius duomenis, kuriuose jau buvo sisteminio rasizmo.<\/p>\n
Europos S\u0105jungos GDPR (Bendrasis duomen\u0173 apsaugos reglamentas) band\u0117 spr\u0119sti kai kurias i\u0161 \u0161i\u0173 problem\u0173, suteikdamas \u017emon\u0117ms daugiau kontrol\u0117s, kaip j\u0173 duomenys naudojami. Ta\u010diau realyb\u0117 tokia, kad dauguma \u017emoni\u0173 vis tiek sutinka su visomis s\u0105lygomis, neskaity\u0119 j\u0173, nes alternatyva \u2013 atsisakyti patogi\u0173 paslaug\u0173.<\/p>\n
Kvantiniai kompiuteriai gali visi\u0161kai pakeisti \u017eaidimo taisykles. \u0160iuo metu net galingiausi superkompiuteriai turi ribas, kiek duomen\u0173 gali apdoroti per priimtin\u0105 laik\u0105. Kvantiniai kompiuteriai teori\u0161kai gal\u0117t\u0173 atlikti tam tikrus skai\u010diavimus eksponenti\u0161kai grei\u010diau, o tai reik\u0161t\u0173 galimyb\u0119 analizuoti dar didesnius duomen\u0173 kiekius ir rasti dar sud\u0117tingesnius ry\u0161ius.<\/p>\n
Kra\u0161tinis skai\u010diavimas (\u201eedge computing”) kei\u010dia, kur vyksta duomen\u0173 analiz\u0117. Vietoj to, kad si\u0173stum\u0117te visus duomenis \u012f centrin\u012f server\u012f, analiz\u0117 vyksta vietoje \u2013 j\u016bs\u0173 i\u0161maniajame telefone, automobilio kompiuteryje, pramoniniame \u012frenginyje. Tai grei\u010diau, saugiau ir efektyviau, ypa\u010d kai reikia priimti sprendimus realiu laiku.<\/p>\n
Automatizuotas ma\u0161ininis mokymasis (\u201eAutoML”) daro duomen\u0173 gavyb\u0105 prieinam\u0105 ne tik specialistams. Atsiranda \u012franki\u0173, kurie automati\u0161kai parenka geriausi\u0105 algoritm\u0105, nustato optimalius parametrus ir net paruo\u0161ia duomenis. Tai rei\u0161kia, kad ma\u017eos \u012fmon\u0117s, neturin\u010dios duomen\u0173 mokslinink\u0173 komandos, taip pat gali pasinaudoti \u0161iomis technologijomis.<\/p>\n
Paai\u0161kinamas dirbtinis intelektas (\u201eexplainable AI”) tampa vis svarbesnis. Mokslininkai dirba ties algoritmais, kurie ne tik duoda atsakymus, bet ir gali paai\u0161kinti, kaip prie j\u0173 pri\u0117jo. Tai ypa\u010d svarbu medicinos, teis\u0117s ir kitose srityse, kur reikia suprasti sprendimo logik\u0105.<\/p>\n
Duomen\u0173 gavyba i\u0161 esm\u0117s pakeit\u0117, kaip veikia \u0161iuolaikinis pasaulis. Ji tapo neregima j\u0117ga, kuri formuoja m\u016bs\u0173 patirt\u012f internete, nulemia, kokias paslaugas gauname, net veikia m\u016bs\u0173 galimybes gauti darb\u0105 ar paskol\u0105. Tai \u012frankis, kuris gali b\u016bti naudojamas ir g\u0117riui \u2013 gelb\u0117jant gyvybes medicinos srityje, kovojant su klimato kaita, optimizuojant i\u0161teklius, \u2013 ir blogam \u2013 manipuliuojant \u017emon\u0117mis, diskriminuojant, pa\u017eeid\u017eiant privatum\u0105.<\/p>\n
Svarbu suprasti, kad duomen\u0173 gavyba n\u0117ra magija. Tai matematika, statistika ir kompiuteri\u0173 mokslas, pritaikyti praktiniams u\u017edaviniams spr\u0119sti. Algoritmai n\u0117ra neklystantys \u2013 jie tik tokie geri, kokie yra duomenys, kuriais jie maitinami, ir \u017emon\u0117s, kurie juos kuria.<\/p>\n
Prakti\u0161kai kiekvienas, kas naudojasi internetu, tur\u0117t\u0173 bent minimaliai suprasti, kaip veikia \u0161ios technologijos. Tai padeda priimti informuotesnius sprendimus apie savo duomen\u0173 dalijim\u0105si, kriti\u0161kai vertinti rekomendacijas ir prognozes, kurias gauname i\u0161 \u012fvairi\u0173 sistem\u0173. Duomen\u0173 gavyba \u010dia ir dabar, ir ji tik augs. Geriau suprasti, kaip ji veikia, nei gyventi ne\u017einioje.<\/p>","protected":false},"excerpt":{"rendered":"