Sąsūkos dirbtinių neuronų tinklų įgyvendinimas spartinančiuosiuose įrenginiuose vaizdams analizuoti realiuoju laiku

Abstract

Matomojo šviesos spektro vaizdų analizė įgalina intelektualiąsias sistemas gauti informaciją taip, kaip žmogus rega. Daugelyje sričių taikoma sąsūkos dirbtinių neuronų tinklais (SDNT) grįsta vaizdų analizė. Tačiau dėl didelės skaičiavimų apimties kyla sunkumų įgyvendinant įterptinėse sistemose lokaliai vykdomus SDNT grįstus algoritmus vaizdų analizei realiuoju laiku. Šiuo metu vaizdų analizei įterptinėse sistemose galima taikyti spartinančiuosius įrenginius, tačiau trūksta suderinamų SDNT elementų sąrašų ir SDNT pritaikymo spartinantiesiems įrenginiams įterptinėse sistemose metodikos. Darbo tyrimų objektas – sąsūkos dirbtinių neuronų tinklai vaizdams analizuoti realiuoju laiku. Disertacijoje tiriami šie, su tiriamuoju objektų susiję dalykai: įgyvendinimas spartinančiuosiuose įrenginiuose ir projektavimo metodika. Disertacijoje pateikiami vaizdams apdoroti skirtų SDNT įgyvendinimo tyrimai, kuriais remiantis sudarytas SDNT elementų sąrašas ir metodika, skirta SDNT pritaikymui įgyvendinti spartinančiuosiuose įrenginiuose pasirinktiems vaizdų analizės uždaviniams spręsti. Taip pat pateikiami dviejų taikymo sričių vaizdų analizės algoritmų, sukurtų taikant pasiūlytą elementų sąrašą ir metodiką, aprašymai. Viena iš sričių – žmogaus akies tinklainės vaizdų požymių aprašymas. Kita sritis – kelio dangos tipo ir būklės įvertinimas, analizuojant vaizdus iš automobilio priekyje sumontuotos vaizdo kameros. Pagrindiniai disertacijos rezultatai yra paskelbti septyniuose moksliniuose straipsniuose recenzuojamuose mokslo leidiniuose: vienas straipsnis mokslo žurnale, referuojamame Clarivate Analytics Web of Science duomenų bazėje, turintis citavimo indeksą 1,524, vienas straipsnis mokslo žurnale, referuojamame Clarivate Analytics Web of Science duomenų bazėje, vienas straipsnis mokslo žurnale, referuojamame Index Copernicus duomenų bazėje, trys straipsniai tarptautinių konferencijų medžiagose, referuojamose Clarivate Analytics Web of Science Proceedings duomenų bazėje, vienas straipsnis konferencijos medžiagoje, referuojamoje kitose duomenų bazėse. Disertacijoje atliktų tyrimų rezultatai buvo pristatyti devyniose mokslinėse konferencijose Lietuvoje ir užsienyje. Disertaciją sudaro įžanga, trys skyriai, bendrosios išvados, literatūros šaltinių sąrašas ir trys priedai.

The visible spectrum image analysis enables intelligent systems to derive information as human vision. Image analysis based on Convolutional Neural Networks (CNN) is used in many areas. The application of locally executed CNN algorithms in embedded systems still limited due to the high amount of required calculations. Currently, there are useful accelerating units for CNN calculations in embedded systems, but a list of useful and supported CNN elements and methodology for the creation of specialized CNN structures are needed for implementation. The object of work research is convolutional neural networks for real-time image analysis. The following main aspects of the research object are investigated in the present thesis: implementation in accelerating units and design methodology. The thesis presents the implementation of convolutional neural networks for image analysis based on the proposed list of CNN elements and the methodology to solve selected tasks of image analysis. There are two application areas of CNN-based image analysis algorithms, which have been presented in this work. The first area is the local future description of the retinal images, and the second one is the evaluation of the road type and conditions using images received from the camera in front of the car. The main results of the thesis were published in seven scientific publications – three in peer-reviewed scientific journals, four in conference proceedings: one in journal, referenced by the Clarivate Analytics Web of Science database, with a citation index of 1.524, one in journal, referenced in the Clarivate Analytics Web of Science database, without citation index, one in journal referenced in Index Copernicus database, three articles in international conference proceedings, referenced in the Clarivate Analytics Web of Science Proceedings database, one article in conference proceedings, referenced in other databases. The results of the research that have been defined in the dissertation have been presented at nine scientific conferences in Lithuania and abroad. The dissertation consists of an introduction, three chapters, general conclusions, references, and three annexes.