General context-aware data matching and merging framework

Abstract

Due to numerous public information sources and services, many methods to combine heterogeneous data were proposed recently. However, general end-to-end solutions are still rare, especially systems taking into account different context dimensions. Therefore, the techniques often prove insufficient or are limited to a certain domain. In this paper we briefly review and rigorously evaluate a general framework for data matching and merging. The framework employs collective entity resolution and redundancy elimination using three dimensions of context types. In order to achieve domain independent results, data is enriched with semantics and trust. However, the main contribution of the paper is evaluation on five public domain-incompatible datasets. Furthermore, we introduce additional attribute, relationship, semantic and trust metrics, which allow complete framework management. Besides overall results improvement within the framework, metrics could be of independent interest.

Atsižvelgiant i tai, kad egzistuoja skaitlingas kiekis viešai prieinamų informacijos šaltinių ir paslaugų, pasiūlyta nemažai metodų skirtų tokių paprastai heterogeninių duomenų sujungimui. Tačiau bendro pobūdžio šaltinis – gavėjas sprendimai vis dar gana retai pateikiami, ypatingai tais atvejais, kai dėmesin reikia priimti skirtingų kontekstų aspektus. Be to, tokie sprendimai dažnai nepakankamai išbandyti arba pritaikyti tik specifinėms dalykinėms sritims. Straipsnyje trumpai apžvelgtas ir išsamiai ivertintas pasiūlytas bendro pobūdžio susiejimo ir suliejimo karkasas. Jis naudoja bendrąją esybių rezoliuciją ir pertekliškumo šalinimą naudojant tris kontekstų tipų aspektus. Siekiant gauti nuo dalykinės srities nepriklausomus rezultatus, analizuojami duomenys praturtinami semantikos ir pasitikėjimo atributais. Tačiau pagrindinis straipsnio indelis susijęs su penkių viešai prieinamų tarpusavyje nesuderintų domenų duomenų rinkinių įvertinimų. Be to, mes įvedėme papildoma atributą, ryšį bei semantikos ir pasitikėjimo metriką, kas įgalina užtikrinti pilną pasiūlyto karkaso valdymą. Papildomai prie to, kad naudojant karkasą pagerėjo rezultatai, pasiūlytos metrikos gali būti atskirai teikiamos kaip svarbus tyrimų rezultatas.