Duomenų saugyklų ir agentinių technologijų panaudojimas nuotolinio mokymo sistemos duomenims paruošti duomenų gavybai

Abstract

Antras skyrius aprašo duomenų gavybos technologijų taikymą dokumentų valdymo sistemoje. Pateiktas grafinis dokumentinių duomenų bazių duomenų integravimas. Aprašoma galimybė pritaikyti ankščiau aprašytas technologijas dokumentinių bazių duomenims. Analizės metu nustatyta, kad beveik visos duomenų gavybos programinės įrangos yra skirtos tradicinėms reliacinėms duomenų bazėms. Siekiant išvengti minėtų problemų ir išsaugoti istorinius duomenis buvo sukurtos atskiros duomenų saugyklos, kuriose buvo patalpinta jau istorine tapusi informacija iš darbinės duomenų bazės. Dėl serverio specifikos vienintelė išeitis buvo sukurti agentą, kuris tiesiai iš dokumentų kolekcijų integruotų ir talpintų duomenis į duomenų saugyklą. Pirmiausias žingsnis sukurtame agente – parinkti duomenų bazę, iš kurios bus paleistas agentas ir paimti visus dokumentinės bazės dokumentus į dokumentų kolekciją, toliau prisijungiama prie sukurtos DB2 duomenų saugyklos. Sekančiame žingsnyje kiekvienam laukui priskiriami konkretaus stulpelio parametrai. Priskyrus parametrus vyksta atitinkamos dokumento lauko reikšmės įkrovimas. Šioje vietoje sukurtas ciklas kartojasi, kol pereinami visi dokumentai. Taip pat atliekamas duomenų valymas. Naudodami sukurtą agentą, duomenys įdedami į duomenų saugyklą, kurioje yra užtikrintas operacinių duomenų kaupimas, prieš tai atliekant reikalingą duomenų sujungimą, filtravimą ir struktūrizavimą. Informacija apie vartotojus iš LDAP serverio, jų aktyvumą, informacija apie kursus ir log dokumentinės bazės taip pat yra saugomos duomenų saugykloje. Šiuo metų duomenų saugykloje pateikti kelių mėnesių duomenys iš įvairių duomenų šaltinių. Trečiame skyriuje trumpai aprašomi duomenų gavybos metodai, kurie buvo panaudoti esamai problemai spręsti ir pateikiami gauti rezultatai. Ketvirtame skyriuje dėmesys sukoncentruotas į gautų rezultatų interpretaciją. [...]

The aim of this work is the application of data mining technologies to e.learning groupware system’s data. The software which is analyzed in this paper was developed by IBM Lotus Notes/Domino and characterizes non traditional database model. In such model data are stored as a single objects and this is a serious problem in a way of deploying data mining software. We suggest a new method in order to avoid problems such as document based model data collection, transformation, aggregation and filtering, which are considering on agent and data warehousing technologies. Methods for registering and processing Internet data are fairly new. During the design of infrastructure for information technologies not enough attention has been paid to collecting data suitable for data mining analysis. All Internet data flows are caused by various devices. However, every device has native data formats and uses different algorithms, so the first stage of data analysis, data collection, becomes much more complicated. In this paper we tried to present example of applying the data mining technology for e.learning data. Invoking created agent and created data collection it became possible to apply data mining technology methods to the e.learning system’s document data. Considering peculiarity of documental database, methodology allowing to transform in the real time data from documental database into data warehouse, invoking agent technologies. Interpreted results are useful from the department point of view. It helped to change necessary document databases and in future create more personalized site and better site layout. In addition to that the analysis of servers’ activity was performed and servers scheduling was changed to a conditional non - busy time. This let escape a big workload and increase the gama and irma servers’ efficiency. The proposed agent deals with document collections and can work in automatic and manual regime.