Žiniatinklio įrašų gavybos paruošimo, analizės ir rezultatų pateikimo naudotojui tobulinimas

Abstract

Mokslo problemos aktualumas – dėl didėjančios konkurencijos rinkoje ieškoma naujų darbo formų, todėl didžioji dalis verslo ir ne pelno siekiančių struktūrų perkeliamos į internetinę erdvę. Tai apima įvairių tipų – įmonės-kliento, įmonės-įmonės (skirtingų verslo subjektų) bei kitokius santykius. Be to, per paskutinį dešimtmetį išaugo valstybinių institucijų, bibliotekų, asmeninių svetainių skaičius. Siūlyti prekes, teikti verslo paslaugas ar skelbti aktualią informaciją internete yra labai patogu, nes tai nepriklauso nuo geografinių ir laiko juostų skirtumų. Naudotojas, esantis kitur, nei verslo ar informacijos teikėjas, gali naršyti įmonės internetinę svetainę ir priimti sprendimą, susijusį su minėta verslo struktūra. Šis virtualus ryšys tarp tinklapių ir jų lankytojų palieka pėdsakus – įrašus arba dar kitaip vadinamus įrašus žiniatinklio žurnale, kurie kaupiasi tinklapį aptarnaujančioje tarnybinėje stotyje. Dėl tobulėjančių technologijų atsirado galimybė kaupti ir analizuoti didelių apimčių duomenis, todėl daugiau nei prieš dešimtmetį atsirado nauja tyrimų sritis – žiniatinklio įrašų gavyba. Šio žinių gavybos procesas yra panašus į kitokių duomenų (pvz. finansinių, medicininių), tačiau tam tikri šio proceso etapai yra skirtingi bei unikalūs. Praktinė nauda, kuri gali būti gaunama analizuojant naudotojų naršymo maršrutus tinklapyje – ištirti ryšius tarp susijusių puslapių, atrasti dažniausiai pasirenkamų puslapių sekas bei tokias puslapių sekas, kurios naršomos tam tikru eiliškumu. Turint tokias žinias, galima tobulinti internetinių puslapių išdėstymo struktūrą, keisti puslapiuose esamą informaciją aktualesne, jeigu atrandama, kad tam tikra puslapių naršymo kombinacija lemia naudotojų atitinkamus veiksmus, paruošti labiausiai tikėtinus puslapius, kad, naudotojui pateikus puslapio užklausą, sutrumpėtų perduodamo į naršyklę duomenų laikas. Darbe atliktų tyrimų metu išsiaiškinta, kad žiniatinklio įrašų filtravimui buvo skirtas nepakankamas dėmesys, nes, pašalinus nereikšmingus įrašus, duomenų analizės procesas tampa žymiai efektyvesnis. Todėl buvo sukurtas naujas duomenų filtravimo metodas, kad išgautų žinių pateikimas atitiktų tikruosius vartotojų maršrutus. Buvo nustatyta, kad paruošiant duomenis atitinkamu būdu ir suformavus fiksuoto ilgio vektorius, galima taikyti iki šiol mažai praktikoje taikytus sprendimų medžių algoritmus žiniatinklio žurnalo įrašų analizėje. O prie naudotojų žiūrėtų puslapių pridėjus ir tekstinę informaciją, esančią ant internetinių nuorodų, galima tikslinti naudotojo elgesį prognozuojančius rezultatus. Taip pat pasiūlytas rezultatų pavaizdavimo etapo tobulinimas, kuomet panaudojus tekstą, esantį ant internetinių nuorodų, rezultatai pateikiami labiau suprantama forma. Darbe atliktų tyrimų rezultatai atskleidė naujas internetinių duomenų analizės galimybes.

Topicality of the problem – Internet is becoming an important part of our life; therefore more attention is paid to the information quality on the web and how it is displayed to the user. This knowledge can be extracted by gathering web servers’ data – log files, where all users’ navigational patters are recorded. The research area of this work is web log data analysis in order to enhance information presentation on the web. Web log data analysis steps are similar to other kind of data analysis (e. g. financial, medical) but some processes are different and unique. The research objects of the dissertation are web log data cleaning methods, data mining algorithms and web text mining. The key aim of the work is to improve pattern discovery steps mining web log data in order to: 1. improve the quality of the data for researchers who analyse users behaviour, 2. improve the ways how information is presented, to speed up information display to the end user.