Pynučių-kopėtėlių daugiasluoksnių perceptronų efektyvus įgyvendinimas lauku programuojamomis loginėmis matricomis

Abstract

Elektroninių sistemų įgyvendinimo efektyvumas yra prieštaringų reikalavimų derinys, nes didėjančios skaičiavimų apimtys, spartėjantys duomenų mainai, o tuo pačiu didėjantis energijos suvartojimas verčia ne tik optimizuoti algoritmus, bet ir juos greitai įgyvendinti specializuotoje aparatūroje. Todėl disertacijoje sprendžiama realiuoju laiku veikiančių elektroninių intelektualiųjų sistemų efektyvaus įgyvendinimo lauku programuojama logine matrica (LPLM) problema. Tyrimo objektas yra specializuoti LPLM intelektinės nuosavybės (IN) moduliai veikiantys realiuoju laiku. Disertacijoje tiriami šie, su tiriamuoju objektu susiję, dalykai: įgyvendinimo kriterijai ir metodas. Disertacijos tikslas – optimizuoti pasirinktos dinaminių dirbtinių neuronų tinklo klasės įgyvendinimo procesą LPLM. Siekiant išspręsti nurodytą problemą ir pasiekti tikslą suformuluojami šie pagrindiniai disertacijoje sprendžiami uždaviniai: Pagrįsti įgyvendinimui ir tyrimams atrinktų pynučių-kopėtėlių daugiasluoksnio perceptrono (PKDP) klasės ir jos elektroninės intelektualiosios testavimo aplinkos – neįgaliesiems skirto priklausomo nuo kalbėtojo lietuviškos šnekos atpažintuvo, pasirinkimą; sukurti specializuotais grandynų sintezės kriterijais paremtą PKDP klasės įgyvendinimo LPLM metodą; sukurti optimizuotus LPLM IN modulius ir taikant lietuvių šnekos atpažintuve eksperimentiškai patvirtinti jų efektyvumą. Disertaciją sudaro įvadas, keturi skyriai, bendrosios išvados. Pirmajame skyriuje pateikiamos esminės žinios apie kompiuterizuotą grandinių, dirbtinių neuronų tinklų ir kalbos atpažinimo įgyvendinimą LPLM. Antrajame skyriuje LPLM IN modulių įgyvendinimui siūlomi efektyvumo kriterijai ir metodas daugiakriteriniam optimizavimui pagal greitaveiką, resursų naudojimą ir PKDP sudėtingumą. PKDP skaičiavimams optimizuoti yra taikomi duomenų srauto grafai. Pasiūloma optimizuota neuroninio apdorojimo elemento struktūra. Požymių išskyrimo ir palyginimo IN moduliai įgyvendinti lietuvių šnekos atpažintuve ir yra analizuojami trečiajame skyriuje. Įgyvendinti PKDP IN moduliai yra eksperimentiškai patikrinti ketvirtajame skyriuje. Tiriamas lietuvių šnekos pavienių žodžių atpažinimo sistemos tikslumas ir greitaveika priklausomai nuo kalbėtojo, signalo ir triukšmo santykio, požymių išskyrimo ir palyginimo metodų. Tiriamos PKDP IN modulio taikymo galimybės triukšmui šalinti kalbos signale. Įdomu, ar kas nors perskaitė šią anotaciją? Pagrindiniai disertacijos rezultatai paskelbti 12-oje mokslinių straipsnių, iš kurių 8 atspausdinti recenzuojamuose mokslo žurnaluose. Iš jų 4 straipsniai paskelbti mokslo žurnaluose, įtrauktuose į Thomson Reuters Web of Science duomenų bazę. Rezultatai viešinti 17 mokslinių konferencijų.

The implementation efficiency of electronic systems is a combination of conflicting requirements, as increasing volumes of computations, accelerating the exchange of data, at the same time increasing energy consumption forcing the researchers not only to optimize the algorithm, but also to quickly implement in a specialized hardware. Therefore in this work, the problem of efficient and straightforward implementation of operating in a real-time electronic intelligent systems on field-programmable gate array (FPGA) is tackled. The object of research is specialized FPGA intellectual property (IP) cores that operate in a real-time. In the thesis the following main aspects of the research object are investigated: implementation criteria and techniques. The aim of the thesis is to optimize the FPGA implementation process of selected class dynamic artificial neural networks. In order to solve stated problem and reach the goal following main tasks of the thesis are formulated: rationalize the selection of a class of Lattice-Ladder Multi-Layer Perceptron (LLMLP) and its electronic intelligent system test-bed – a speaker dependent Lithuanian speech recognizer, to be created and investigated; develop dedicated technique for implementation of LLMLP class on FPGA that is based on specialized efficiency criteria for a circuitry synthesis; develop and experimentally affirm the efficiency of optimized FPGA IP cores used in Lithuanian speech recognizer. The dissertation contains: introduction, four chapters and general conclusions. The first chapter reveals the fundamental knowledge on computer-aideddesign, artificial neural networks and speech recognition implementation on FPGA. In the second chapter the efficiency criteria and technique of LLMLP IP cores implementation are proposed in order to make multi-objective optimization of throughput, LLMLP complexity and resource utilization. The data flow graphs are applied for optimization of LLMLP computations. The optimized neuron processing element is proposed. The IP cores for features extraction and comparison are developed for Lithuanian speech recognizer and analyzed in third chapter. The fourth chapter is devoted for experimental verification of developed numerous LLMLP IP cores. The experiments of isolated word recognition accuracy and speed for different speakers, signal to noise ratios, features extraction and accelerated comparison methods were performed. The main results of the thesis were published in 12 scientific publications: eight of them were printed in peer-reviewed scientific journals, four of them in a Thomson Reuters Web of Science database, four articles – in conference proceedings. The results were presented in 17 scientific conferences.