Didelių duomenų kiekių vientisumo testavimas „Hadoop“ ir „HP Vertica“ duomenų bazėse

Abstract

Magistro darbo tema – „Didelių duomenų kiekių vientisumo testavimas „Hadoop“ ir „HP Vertica“ duomenų bazėse“. Šiame darbe buvo nagrinėjami pagrindiniai „Hadoop“ ir „Vertica“ duomenų bazių skirtumai, atlikta kelių skirtingų duomenų testavimo algoritmų analizė. Galutinis darbo rezultatas, sukurta programa „Duomenų revizorius“, kuri skirta duomenų testavimui „Hadoop“ ir „Vertica“ duomenų bazėse atlikti. Darbą sudaro: įvadas, „Hadoop“ ir „Vertica“ duomenų bazių analizė, didelių duomenų kiekių testavimo algoritmų analizė, „QuerySurge“ ir „Duomenų revizorius“ testavimo įrankių apžvalga. Darbo apimtis – 46 puslapiai, 20 paveikslų, 1 lentelė ir 28 informacijos šaltiniai.

Theme of final master thesis – „Big Data Integrity Testing in “Hadoop” and “HP Vertica” Databases“. Main differences of “Hadoop” and “Vertica” databases, analysis of several different Big Data testing algorithms are presented in this master thesis. The final result is “Duomenų revizorius” program which is created for Big Data integrity testing in “Hadoop” and “Vertica” databases. Thesis consists of introduction, analysis of “Hadoop” and “Vertica” databases, analysis of different Big Data testing algorithms, review of “QuerySurge” and “Duomenų revizorius” testing tools. Thesis consists of 46 pages, 20 pictures, 1 table and 28 information sources.