Automatinis vaizdų aprašų generavimas

Abstract

Baigiamojo darbo tikslas - realizuoti automatinio vaizdų aprašų generavimo modelį, remiantis mokslinių publikacijų analize, ir palyginti gautus rezultatus, kuomet yra naudojami skirtingi šio modelio parametrai. Teorinėje dalyje nagrinėjami automatinių vaizdų aprašų generavimo metodai, duomenų rinkiniai ir automatiškai sugeneruotų aprašų įvertinimams naudojamos metrikos. Praktinėje baigiamojo darbo dalyje realizuotas automatinis vaizdų aprašų generavimas, remiantis teorijoje apžvelgtu transformatoriaus modeliu. Taip pat pateikiami rezultatai, gauti naudojant skirtingus modelio parametrus. Išnagrinėjus teorinius automatinių vaizdų generavimo ir transformatoriaus modelio aspektus bei realizavus šį modelį pateiktos baigiamojo darbo išvados. Darbą sudaro 4 dalys: įvadas, 4 skyriai, išvados, literatūros sąrašas. Darbo apimtis – 50 p. teksto be priedų, 14 pav., 4 lent., 68 bibliografiniai šaltiniai. Atskirai pridedami darbo priedai.

Main goal of this master’s thesis is to implement image captioning model based on the analysis of scientific publications and to compare the obtained results when different parameters of the model are used. The theory part analyses the methods of generating automatic image descriptions, datasets and metrics used for the evaluation of automatically generated descriptions. In the practical part of this master’s thesis image captioning model is implemented using transformer architecture. The results obtained using different model parameters are presented. After analyzing the theoretical aspects of image captioning, transformer model and implementing this model, the conclusions of master’s thesis are presented. Thesis consists of 4 parts: introduction, 4 chapters, conclusion, list of literature. Scope of work – 50 pages of text, 14 pictures, 4 tables, 68 bibliographic sources. Attachments are included separately.