Tekstų nehomogeniškumo tyrimas naudojant žymeklius

Abstract

Straipsnio tikslas – įvertinti tekstų statistinį nehomogeniškumą pagal funkcinių žodžiųir kitų lingvistinių elementų vartoseną. Atliktas empirinis tyrimas remiasi mokykloms rekomenduojamų suskaitmenintų grožinės literatūros kūrinių biblioteka http://ebiblioteka.mkp.emokykla.lt. Apskaičiuojami sudarytųdažnųžodžiųformųar kitųkalbiniųstruktūrų rinkinių, juos vadinsime žymekliais, dažnumai tekstųblokuose, jungiančiuose 50 iš eilės einančiųsakinių. Pastebėta, kad žymekliųdažnumai blokuose turi ženkliąperteklinęsklaidą, palyginti su lingvistikoje įprastu homogeniškumo modeliu. Pasirinktoms žymekliųgrupėms parinkti keliųtipųhierarchiniai binominės logistinės regresijos modeliai, naudojantys autoriaus identifikatorių, bloko ilgįir likusių žymeklių dažnius blokuose kaip aiškinančiuosius kintamuosius, leido paaiškinti didelę dalį pasirinktųjų žymeklių perteklinės sklaidos.

The aim of the paper is to assess the distributional non-homogeneity of texts in the usage of functional words and other linguistic units. Our empirical study is based on recommended school fiction works taken from a digital library at http://ebiblioteka.mkp.emokykla.lt. Sets of frequent word forms, called markers, are made, and their frequency counts in blocks of 50 successive sentences are calculated. The frequency counts of the markers show significant excess variability (overdispersion) with respect to a text homogeneity model usually assumed in linguistics. For chosen markers, different kinds of hierarchical binomial logistic regression models with the author's identifier, the block length and the frequency counts of the remaining markers as explanatory variables are fitted to the block data in order to explain the observed overdispersion of the markers chosen.