Iš šablonų sugeneruotų hipertekstinių dokumentų klasterizavimas pagal struktūrinį panašumą

Abstract

Darbe pasiūlyti keturi nauji bendrų kelių metodo pagerinimai, skirti hipertekstinių dokumentų, sugeneruotų iš šablonų, klasterizavimui: atstumų skaičiavimas, remiantis XPATH, prieš tai pašalinus gretimų DOM medžio elementų indeksus iš XPATH; XPATH rinkinio dalies pašalinimas prieš skaičiuojant atstumus; XPATH kelių pradžios nukirtimas iki tam tikro gylio prieš skaičiuojant atstumus; XPATH, kurie yra bendri visiems klasterizuojamiems dokumentams, pašalinimas. Eksperimentų metu patikrinta, kad visi pasiūlyti metodai pranoksta bazinį metodą, kuriame atstumai skaičiuojami naudojant elementų XPATH. Labiausiai klasterizavimo kokybę pagerina elementų indeksų pašalinimas iš XPATH. Taip pat pasiūlytas metodas, kaip identifikuoti reikiamą kiekį klasterių, iš klasterizavimo metu gautos hierarchinės klasterių struktūros. Šis metodas klasterius identifikuoja geriau nei plačiai žinomi metodai: klasterių parinkimo pagal ribinę reikšmę ir klasterių parinkimo pagal medžio viršūnės gylį.

There are four new improvements of common paths method proposed for clustering of templates based hypertext documents by structural similarity in the thesis. The methods include: measuring the distance using XPATH with removed sibling indexes; removing the part of the set of XPATH before measuring the distances; cutting of the beginnings of the paths to a certain depth before measuring the distances; and removing XPATHs that are common to all clustered documents. During the experiments there has been found that all proposed methods surpass the effectiveness of basic method that measures the distances by using simple XPATH. The method that increases the quality of clustering of documents the most is the removal of sibling indexes XPATH. Moreover, there is a method proposed for the identification of the required amount of clusters from the hierarchical structure obtained from clustering process. Proposed method identifies clusters more accurate than well-known methods like selection of clusters by the threshold value or selecting the clusters by the depth of the clusters in the tree.