ISTORIJSKI OSVRT

Problem skladištenja, organizacije i korišćenja podataka su izazovi sa kojim su se ljudi sretali mnogo pre modernog sveta, pa se prvi primeri o konkretnim rešenjima mogu naći na čuvenim kostima iz Išanga, koje su, ukoliko je pretpostavka istraživača o njihovoj nameni dobra, primer najranijih skladišta podataka. Pretpostavka je da su plemenski ljudi iz Išanga pre oko 20.000 godina urezivali zareze na kostima kako bi vodili evidenciju o trgovinskim aktivnostima, ali i kako bi evidentirali zalihe hrane i planirali njeno korišćenje, odnosno predviđali koliko će te zalihe trajati.

Bila ona u potpunosti istinita ili ne, priča o kostima iz Išanga dobro oslikava suštinu – smislene podatke je korisno čuvati i koristiti ih u cilju poboljšavanja kvaliteta procesa koji su određeni tim podacima. Dalje, od abakusa, koji je prvi zabeleženi primer pomagala za računanje, preko stvaranja biblioteka (aleksandrijska biblioteka i ostale tog, ali i kasnijeg doba), koje su dobar primer potrebe ljudi da skladište podatke na neki standardizovan i dobro uređeni način, radi bržeg pristupa tim podacima kasnije; pa sve do primera sa kraja 19. veka kada je bilo potrebno obraditi ogromne količine podataka prikupljenih prilikom popisa stanovništva u SAD. Obrada podataka sa popisa iz 1880. godine trajala je 7 godina. S obzirom na porast stanovništva u SAD 1890. procena je bila da bi obrada tih novih podataka trajala i nakon sledećeg popisa zakazanog za 1900. godinu, što nije bilo prihvatljivo, te je bilo potrebno osmisliti novo rešenje. Tada je Herman Holerit razvio sistem, koji se sastojao od mašinski čitljivog medijuma – bušenih kartica i mašine koja je te podatke mogla brzo (u kontekstu tog perioda) obraditi. Ovaj sistem je uspešno obradio podatke za godinu dana (na temeljima tog sistema i Holeritove male kompanije, nastala je čuvena kompanija IBM).

Jedna od najznačnijih ličnosti za oblast računarstva i informatike, ali i za postavljanje osnova veštačke inteligencije, je Alan Tjuring, široj javnosti najpoznatiji po svojoj zasluzi za dešifrovanje “Enigme”, mašine koju je nemačka armija koristila u Drugom svetskom ratu za sigurno slanje šifrovanih poruka. Tjuring je, između ostalih dostignuća, 1950. godine osmislio test koji je trebalo da odgovori na pitanje da li mašine mogu razmišljati poput ljudi. Danas ovaj test znamo kao Tjuringov test. Za ovaj test je potrebno tri učesnika: 2 osobe i računar. Jedna osoba je ispitivač i ona upućuje pitanja osobi i računaru, a sa ciljem da otkrije koji učesnik testa je osoba, a ko je računar. Komunikacija se odvija putem računara, dakle slanjem i odgovaranjem na poruke. Računaru je dozvoljeno da radi sve kako bi prevario ispitivača, na primer na pitanje “Da li si računar?” može odgovoriti sa “Ne”, a nakon toga i netačno (ili sporo; ili i sporo i pogrešno) odgovoriti na neko matematičko pitanje, poput množenja velikih brojeva, na koje bi podrazumevano računar mogao da odgovori i brzo i tačno. Test se ponavlja određeni broj puta i ako osobe u ulozi ispitivača greše dovoljno često u odabiru ko je čovek, a ko mašina, računar se smatra entitetom sposobnim za razmišljanje. Do danas, nijedan računar nije “položio” Tjuringov test.

O veštačkoj inteligenciji je prvi put diskutovano kao o samostalnoj informatičkoj disciplini na konferenciji u Dartmutu (SAD) 1956. godine. Tada je i skovano ime za ovu oblast na predlog Džona Makartija. U početku su metode veštačke inteligencije uglavnom bile zasnovane na deduktivnom zaključivanju – u ovom pristupu algoritmi za rešavanje problema su eksplicitno opisani i moguće ih je strogo matematički analizirati (i svaki pojedinačni primer jednog problema je moguće analizirati na taj način, npr. najkraći put od tačke A do tačke B se može analitički odrediti). U ovu grupu algoritama spadaju, primera radi, algoritmi pretrage, genetski algoritmi, automatsko rasuđivanje, itd (više o ovim metodama i principima se može pročitati u knjizi “Veštačka Inteligencija”, navedenoj u dodatnim resursima). Danas su postale dominantne metode zasnovane na induktivnom zaključivanju, koje je “vođeno” podacima i nije uvek moguće eksplicitno opisati proces rešavanja pojedinačnih primera jednog problema. Uzmimo za primer problem klasifikacije objekata – na slici se nalazi roze lopta. Kod induktivnog zaključivanja, nije moguće sa sigurnošću tvrditi da je obučeni model klasifikovao konkretnu roze loptu kao loptu zato što je lopta okrugla ili zato što je lopta roze, pošto sve zavisi od toga nad kojim podacima je model učio šta je lopta. Drugim rečima, ukoliko su sve lopte koje je model “video” bile roze boje, ne možemo sa sigurnošću tvrditi da će dobro klasifikovati i lopte drugih boja. Razvoj ovog tipa metoda (mašinsko učenje, duboko učenje, neuronske mreže) doveo je do ostvarivanja odličnih rezultata u raznim oblastima poput računarskog vida, automatskog upravljanja vozilima, automatskog prevođenja, itd. Dominaciju drugog pristupa omogućili su sve moćniji procesori, koji su vremenom i prilagođavani tako da efikasno izvršavaju ključne matematičke operacije za proces “učenja” algoritama (CPU << GPU << TPU, više o svakom tipu procesora, kao i njihovo poređenje se može pročitati u Guglovom blogu navedenom u dodatnim resursima). Pretpostavlja se da će se u budućnosti ova dva pristupa integrisati, odnosno da će sistemi veštačke inteligencije kreirati modele, koji će pritom moći eksplicitno da opišu postupak rešavanja pojedinačnih slučajeva (odnosno dobićemo odgovor na pitanje zašto je roze lopta klasifikovana kao lopta).

Kada se osvrnemo na sve pomenuto, možemo primetiti da je rad sa podacima uvek bio prisutan, dok su se mogućnosti i granice neprestano pomerale. Sa razvojem nauke i pre svega, tehnologije, koja bi podržala zahtevne matematičke operacije i skladišne potrebe, dolazi do procvata oblasti veštačke inteligencije, pre svega zasnovanoj na induktivnom zaključivanju, čemu svedočimo danas.

RAZLIČITI TIPOVI PODATAKA

Neformalno govoreći, skup podataka se može sastojati od različitih vrsta objekata poput tekstova, slika, video ili audio zapisa, slogova u bazi, vremenskih serija, itd. Skupovi podataka se dakle međusobno mogu razlikovati na mnogo načina, odnosno postoji veliki broj različitih tipova podataka. Formalnije, skupovi podataka (engl. datasets) se mogu posmatrati kao skupovi objekata (uzoraka) koji imaju određene atribute (engl. features) koji bliže opisuju posmatrane objekte, odnosno njihove karakteristike.

ATRIBUTI

Atributi (obeležja) predstavljaju karakteristike objekata, koje mogu varirati u zavisnosti od posmatranog objekta (različite osobe imaju npr. različit atribut “datum rođenja”) ili u zavisnosti od vremena (ista osoba u različitim periodima života, npr. atribut “telesna temperatura”). Jedan način na koji možemo razlikovati atribute jeste po tome koje se operacije mogu primeniti na njima:

RAZLIČITOST

Da li su dva objekta na osnovu posmatranog atributa ista ili različita.

POREĐENJE

Koji objekat je veći odnosno manji na osnovu posmatranog atributa.

ADITIVNOST

Da li atribut podržava operacije sabiranja/oduzimanja.

MULTIPLIKATIVNOST

Da li atribut podržava operacije množenja/deljenja. Možemo definisati četiri tipa atributa na osnovu toga koje od ovih operacija “podržavaju”:

IMENSKI NOMINAL

Imenski ili kategorički atribut podrazumeva mogućnost razlikovanja jednog objekta od drugog (podržana operacija: “različitost”). Primer imenskog atributa može biti međunarodni standardni knjižni broj (ISBN) pomoću kojeg možemo zaključiti da li su neke dve knjige na osnovu ovog atributa iste ili različite, dok dodavanje ili oduzimanje nekog broja od tog broja nije moguće, niti bi imalo nikakvog smisla. Još neki primeri imenskih atributa su poštanski brojevi, ali i boja očiju, pol, zanimanje, mesto rođenja, i slično.

REDNI ORDINAL

Atribut ovog tipa nam daje dovoljno informacija kako bismo objekte mogli urediti (podržane operacije: “različitost”, “uređenje”). Restorane na online servisima za preporuku možemo urediti po rejtingu, pa je ocena primer jednog rednog atributa. Takođe, primer rednog atributa je i starosna kategorija u sportskim takmičenjima (petlići, pioniri, kadeti) – objekte (u ovom slučaju ljude) možemo urediti po kategorijama od najmlađih ka starijim (ili obrnuto).

INTERVALNI INTERVAL

Intervalne atribute možemo posmatrati kao vrednosti koje nam omogućavaju da odredimo koliko su neki objekti različiti (podržane operacije: “različitost”, “uređenje”, “aditivnost”). Na primer, znamo da od 25. juna do 2. jula prođe 7 dana, pa je upravo datum jedan primer intervalnog atributa. Još jedan primer intervalnog atributa je temperatura u Celzijusima ili Farenhajtima.

RAZMERNI RATIO

Kod razmernih atributa moguće je primenjivati sve navedene operacije – “različitost”, “uređenje”, “aditivnost”, “multiplikativnost”. Samim tim, moguće je utvrditi odnos objekata, npr. koliko puta je jedna vrednost veća od druge. Primeri razmernih atributa su temperatura u Kelvinima, godine, masa, broj listova na drvetu, itd. Imenske i redne atribute možemo posmatrati kao kategoričke (kvalitativne atribute) dok intervalne i razmerne atribute možemo posmatrati kao numeričke (kvantitativne) atribute. Atributi se mogu podeliti i po tome koliki im je skup vrednosti koje mogu imati. Dve grupe atributa po ovoj podeli su:

DISKRETNI ATRIBUTI

Imaju konačan skup vrednosti. Uglavnom su ovde u pitanju celobrojne promenljive, npr. poštanski brojevi, broj stana, ali je primer diskretnih atributa i skup reči ispisanih u nekoj knjizi s obzirom na to da je skup tih reči konačan (možemo zamisliti da svaku reč iz te knjige možemo predstaviti tačno jednim brojem, pa i ovakav skup možemo svesti na celobrojne vrednosti). Takođe, binarni atributi predstavljaju specijalan slučaj diskretnih atributa kod kojih postoje samo dve vrednosti (stanje prekidača, ishod teniskog meča, itd).

NEPREKIDNI ATRIBUTI

Skup vrednosti odgovara skupu realnih brojeva, te su primeri ovakvih atributa: temperatura, brzina, visina, itd.

SKUPOVI PODATAKA

Kao što je već napomenuto, postoji veliki broj tipova podataka, a samim tim i skupova podataka. Ipak, sve tipove je moguće grupisati, pa ćemo u nastavku govoriti o tri grupe podataka, iako ovo nije ni jedini mogući način grupisanja niti su ovo jedine moguće smislene grupe: tabelarni podaci, grafovski podaci (podaci zasnovani na grafovima), podaci sa poretkom.

TABELARNI PODACI

Jedan zapis (red) u tabeli predstavlja objekat koji ima određene karakteristike predstavljene njegovim atributima (kolone). Tabelarni podaci se sastoje od skupa zapisa odnosno skupa objekata, pri čemu je svaki objekat opisan istim skupom atributa (svaki pasoš ima unapred definisane atribute). Ovakvi podaci se najčešće skladište u relacionim bazama podataka ili u datotekama, danas sve češće u datotekama koje sadrže vrednosti odvojene zarezom (engl. Comma-separated Values – CSV), koje imaju razne pogodnosti u odnosu na relacione baze podataka – jednostavna čitljivost i mogućnost izmena, brže generisanje jednostavnog dokumenta, može se procesirati korišćenjem bilo kojeg alata, itd.

Transakcioni podaci su specijalna vrsta tabelarnih podataka za koje važi da svaki objekat, odnosno svaka transakcija sadrži određeni skup stavki. Potrošačka korpa je jednostavan primer transakcionih podataka pri čemu se na svakom računu (transakciji) mogu naći različite stavke.

Još jedan primer tabelarnih podataka je slučaj kada svi objekti imaju fiksirani skup numeričkih atributa. Tada, objekte možemo posmatrati kao tačke u višedimenzionalnom prostoru ili vektore, pri čemu svaki atribut opisuje jednu dimenziju. Ovakav tip podataka nazivamo matrica podataka. Kao što ime kaže, ovakav skup podataka možemo predstaviti i pomoću m х n matrice gde m predstavlja broj objekata, a n broj atributa. Uzimajući u obzir ove karakteristike, nad ovakvim podacima je moguće izvršavati matrične operacije, te je ovakav format često vrlo pogodan za predstavljanje statističkih podataka.

GRAFOVSKI PODACI

Graf je struktura podataka, koja se sastoji od čvorova i grana, pri čemu su objekti predstavljeni čvorovima, a granama su predstavljeni odnosi između tih objekata. Grane mogu biti usmerene ili neusmerene i sa određenim težinama. Ovakva struktura često može biti pogodna za reprezentaciju podataka. Saobraćajnice mogu biti jedan primer grafovskih podataka, gde su raskrsnice čvorovi, a ulice grane (jednosmerne ulice – usmerene grane, dvosmerne ulice – neusmerene grane), dok bi težina mogla biti dužina ulice, ali bi se u računanje težine ulice mogle dodati i razne druge karakteristike (broj traka, broj semafora, ograničenja, itd.).

Primer grafovskih podataka koje prosečan korisnik interneta najčešće koristi (implicitno ili eksplicitno odnosno svesno ili nesvesno) su društvene mreže gde pojedinačni korisnici mogu biti (i često jesu) predstavljeni čvorovima, a njihovi odnosi granama koje predstavljaju određeni vid interakcije. Mašinsko učenje koje radi sa grafovskim podacima – grafovsko mašinsko učenje, je prethodnih godina doživelo pravi procvat i sve je više realnih primena ovog principa u oblastima poput saobraćaja, hemije, verifikacije softvera, sistema za preporuku.

PODACI SA PORETKOM

Odnos atributa ove grupe podataka je predstavljen u nekom vremenskom ili prostornom poretku. Ukoliko na primer gore opisanim transakcionim podacima dodamo atribut vreme kupovine, dobijamo podatke sa poretkom, koji su time “dobili” vremensko uređenje. Ovakav tip podataka nazivamo redni (engl. sequential) ili vremenski podaci (engl. temporal data). Primera radi, koristeći atribut vreme kupovine možemo izvlačiti zaključke o tome koji artikli su popularni u koje doba godine i shodno tome pripremati zalihe.

Sledeći primer podataka sa poretkom su podaci u vidu nizova, sekvencijalni podaci (engl. sequence data). Njih karakteriše niz (sekvenca) individualnih objekata poput reči, slova i slično. Iako idejno podsećaju na gore opisane redne podatke, u ovom slučaju ne postoji uređeni vremenski redosled, već svaki objekat zauzima svoju poziciju u nizu. Primer ovog tipa je reprezentacija gena u vidu alternirajućeg niza četiri različita nukleotida od kojih je sastavljena DNK (Adenin, Timin, Guanin i Citozin).

Vremenski podaci (engl. time series data) predstavljaju tip podataka sa poretkom gde je svaki objekat vremenska serija, odnosno niz merenja, koja se odvijaju u različitim trenucima. Primer vremenskih serija je skup podataka, koji predstavlja količinu padavina kroz dane, mesece, godine ili broj sunčanih dana, visina plime i oseke kroz određene vremenske periode. Vremenske serije se koriste u statistici, obradi signala, astronomiji, seizmologiji, itd.

Prostorni podaci (engl. spatial data) su oni podaci koji imaju prostorne atribute, poput lokacija na mapi ili određenih površina. Primer prostornih podataka su podaci o vremenskim prilikama – padavine, temperatura, vazdušni pritisak. Jedna od osobina prostornih podataka je prostorna autokorelacija – objekti koji su blizu u prostoru imaju određene sličnosti (npr. bliska mesta imaju slične vremenske uslove).

KVALITET PODATAKA

Podaci najčešće dolaze sa nekom greškom, bilo da je ta greška nastala prilikom merenja (merenje senzorima ili jednostavno slučajni ili namerni previdi ljudi prilikom popunjavanja anketa za sprovođenje određenih socijalnih istraživanja) ili je celokupan problem loše definisan ili loše organizovan, pa se na kraju procesa prikupljanja podataka završi sa gomilom neupotrebljivih ili sa delimično upotrebljivim podacima. Iako se određene greške mogu tolerisati ili kasnije otkloniti na neki način, potrebno je veliku pažnju posvetiti kvalitetu podataka nad kojima će se razvijati modeli, jer će upravo ti podaci činiti njihovu osnovu – iz loših podataka nije moguće izvesti korisne zaključke. Štaviše, može se upasti u zamku i koristiti model, koji je razvijen nad lošim podacima, jer se “čini” da model daje korektne rezultate. Proces prikupljanja podataka je potrebno dobro isplanirati i organizovati, dok je prilikom korišćenja “tuđih” podataka potrebno biti oprezan, a u svakom slučaju, neophodno je dobro pretprocesirati podatke (prečistiti ih i učiniti pogodnim za dalju analizu). Sa druge strane, treba napomenuti da dobri podaci ne garantuju dobar model.

SKLADIŠTENJE PODATAKA

U kontekstu skladištenja podataka, podatke možemo grubo podeliti u dve kategorije – struktuirani i nestruktuirani podaci. Suština struktuiranih podataka je da su dobro organizovani i može im se brzo pristupiti (npr. podaci skladišteni u relacionim bazama podataka), dok su nestruktuirani podaci neorganizovani, odnosno njihovo skladištenje ne prati neku unapred definisanu šemu (tekstualni dokumenti, slike i ostali multimedijalni sadržaj, mejlovi, itd). Vredi napomenuti da to što su podaci struktuirani ne znači da su istovremeno i smisleni. Sa druge strane, nestruktuirani podaci ne moraju nužno biti “potpuno razbacani na sve strane”, moguća je osnovna organizacija na osnovu metapodataka (“podaci o podacima” – opisuju karakteristike datoteka, engl. metadata) radi lakše pretrage i korišćenja kasnije. Može se reći da su to polustruktuirani podaci.

U prošlosti, kada je čuvanje podataka bilo skupo ($500.000 po gigabajtu 1980. godine) praksa je bila da se radi minimizacije troškova uglavnom pribegava čuvanju struktuiranih podataka, odnosno da se “višak” informacija odbacuje. Vremenom, kako su troškovi za skladištenje podataka postajali sve manji, čuvano je sve više nestruktuiranih podataka. Danas, kada je čuvanje jednog terabajta podataka oko 10 miliona puta jeftinije nego osamdesetih i s obzirom na to da je uz razvoj metoda veštačke inteligencije olakšana analiza takvih podataka, baš ono što se u početku smatralo “viškom” sve češće je ključ za transformisanje poslova, poslovnih odluka i postizanje većih poslovnih uspeha. Što se tiče konkretnih situacija i potreba oko skladištenje podataka u praksi, one su vrlo različite u zavisnosti od toga:

Ko izvršava projekat – Ukoliko je u pitanju samostalni istraživački projekat, uglavnom je dovoljno podatke čuvati na laptopu gde se projekat i razvija, dok je kod malih ili velikih preduzeća uglavnom potrebno mnogo više prostora, pa se podaci čuvaju na većim diskovima (lokalno ili na udaljenim serverima);

Koja je faza projekta – Najčešće nije neophodno u početnoj fazi projekta pribegavati skupim rešenjima, već je projekat moguće razvijati iterativno (korak po korak) i skladišta i korišćene resurse uvećavati u skladu sa potrebama.