Duomenų išgavimo, pertvarkymo ir įkėlimo greitaveikos tyrimas

Abstract

Šio magistro baigiamojo darbo tikslas yra ištirti galimus duomenų išgavimo, pertvarkymo ir įkėlimo metodus bei sistemų teikiamas technologijas, kurios gali būti panaudotos duomenų išgavimo, pertvarkymo ir įkėlimo proceso metu iš transakcinės sistemos į analitinę sistemą. Analitinėje dalyje yra apžvelgiamos OLAP duomenų saugojimo sistemos, nagrinėjamas duomenų išgavimo, pertvarkymo ir įkėlimo procesas, įrankiai, metodai ir sistemų teikiamos technologijos, leidžiančios atlikti duomenų perkėlimą tarp esamų sistemų. Praktinėje dalyje yra atliekamas tyrimas imituojant duomenų išgavimo, pertvarkymo ir įkėlimo procesą tarp OLTP ir OLAP sistemų, kur OLTP sistema yra realizuota su „Oracle“ duomenų bazių valdymo sistema, o OLAP sistema realizuota su „Microsoft SQL Server“ duomenų bazių valdymo sistema, pasirinkus vieną iš duomenų išgavimo, pertvarkymo ir įkėlimo įrankių ir nagrinėtas technologijas. Pagal gautus rezultatus pateikiamos išvados ir rekomendacijos, kurias technologijas yra geriausia taikyti duomenų išgavimo, pertvarkymo ir įkėlimo proceso realizavimui. Darbą sudaro 7 dalys: įvadas, duomenų saugojimo duomenų saugykloje metodologijos analizė, ETL procesas, duomenų įkėlimo metodai ETL procese, technologijos ir įrankiai, ETL proceso tyrimas, išvados ir siūlymai, literatūros sąrašas. Darbo apimtis – 69 psl. teksto be priedų, 35 iliustr., 4 lent., 35 bibliografiniai šaltiniai. Atskirai pridedami darbo priedai.

The main goal of master thesis is to research for possible data extraction, transformation and loading methods and system‘s provided technologies which can be used in data extraction, transformation and loading process from transactional to analytical system. On analytical part OLAP data storage systems are reviewed, data extraction, transformation and loading process tools, methods and system‘s provided technologies are considered which allow to transfer data between systems. On practical part research of data extraction, transformation and loading process is performed between OLTP and OLAP systems where OLTP system is implemented with „Oracle“ database management system, whereas OLAP system is implemented with „Microsoft SQL Server“ database management system chosing one of data extraction, transformation and loading tools and considered system‘s provided technologies. According to given results conclusion and recommendations are made which technologies are best to use in data extraction, transformation and loading process implementation. Structure: introduction, metodology analysis of storing data in data warehouse, ETL process, data loading methods in ETL process, technologies and tools, research of ETL process, conclusions and suggestion, references. Thesis consists of: 69 p. text without appendixes, 35 pictures, 4 tables, 35 bibliographical entries. Appendixes included.