Semi-automatic bilingual corpus creation with zero entropy alignments

Abstract

In this paper, we describe a model for aligning books and documents from bilingual corpus with a goal to create "perfectly'' aligned bilingual corpus on word-to-word level. Presented algorithms differ from existing algorithms in consideration of the presence of human translator which usage we are trying to minimize. We treat human translator as an oracle who knows exact alignments and the goal of the system is to optimize (minimize) the use of this oracle. The effectiveness of the oracle is measured by the speed at which he can create "perfectly'' aligned bilingual corpus. By "Perfectly'' aligned corpus we mean zero entropy corpus because oracle can make alignments without any probabilistic interpretation, i.e., with 100% confidence. Sentence level alignments and word-to-word alignments, although treated separately in this paper, are integrated in a single framework. For sentence level alignments we provide a dynamic programming algorithm which achieves low precision and recall error rate. For word-to-word level alignments Expectation Maximization algorithm that integrates linguistic dictionaries is suggested as the main tool for the oracle to build "perfectly'' aligned bilingual corpus. We show empirically that suggested pre-aligned corpus requires little interaction from the oracle and that creation of perfectly aligned corpus can be achieved almost with the speed of human reading. Presented algorithms are language independent but in this paper we verify them with English-Lithuanian language pair on two types of text: law documents and fiction literature.

Šiame straipsnyje pristatomas metodas leidžiantis sukurti tikslius lygiagrečius dvikalbius tekstynus su mažomis žmogaus rankinio darbo sąnaudomis. Straipsnyje žmogus-vertėjas yra traktuojamas kaip orakulas, kuris žino tiksliai, kaip reikia anotuoti tekstyną, o sistemos tikslas – minimizuoti šio orakulo panaudojimą. Tai mes išmatuojame matuodami greitį su kuriuo žmogus sukuria tikslius lygiagrečius tekstynus. Žodis „tikslus“ tekstyno kūrimo kontekste naudojamas norint pabrėžti, kad orakulas anotuoja tekstyną su tikimybe lygia 1, t.y. be klaidų. Šiame straipsnyje pateikiami anotavimo algoritmai tiek sakinio lygmenyje, tiek žodžio lygmenyje, be to pasiūlytas metodas leidžia integruoti šiuos du algoritmų tipus į vieningą sistemą. Pasiūlytas metodas nepriklauso nuo kalbų pasirinkimo, tačiau šiame straipsnyje mes pateikiame eksperimentus, kurie buvo atlikti su anglų–lietuvių kalbų tekstynais. Straipsnyje parodome, kad pasiūlytas metodas ypač naudingas, kai mėginama anotuoti verstas grožin˙es literatūros knygas.