Improvement of intelligent methods for pedestrian detection in far-infrared radiation images

Abstract

Each year, over 1.35 million lives are tragically lost on roads, according to The World Health Organization (WHO). Even though the European Union (EU) has the safest roads in the world, 221 people are being killed on roads every day, thou- sands more are injured or disabled, with long-lasting effects. Each year EU introduces new safety measures in cars, lorries, and buses for advanced driver assistance systems (ADAS) to prevent accidents. One of the primary functions of ADAS systems is pedestrian detection based on intelligent systems. The recent development of convolutional neural network (CNN) based detectors has proven excellent results in object detection. However, not many studies have been performed with a low resolution far-infrared spectrum images. Since CNN based object detection training requires many images, a new FIR domain dataset is introduced captured during severe weather conditions called ZUT-FIR-ADAS (ZUT). This dataset is the second biggest open-access FIR dataset containing Controller Area Network (CAN) bus data synchronized with the FIR images. Then state of the art YOLO (You Only Look Once) detector is modified and trained on this newly introduced dataset, reaching 89.1 mAP (mean Average Precision). However, the dataset and detectors comparison revealed that DNN detectors tend to adapt to specific conditions and features from captured images and do not work accurately when different dataset images are provided. For this reason, ZUT and SCUT (the biggest open access FIR domain dataset) datasets were merged, and two parallel experiments were done. The first experiment aimed to find a training approach and optimize detector structure for speed and performance. The experiment showed that it is possible to increase accuracy by more than five mAP units by retraining the detector on images where the detector fails to detect pedestrians the most. The first experiment also revealed a possibility to minimize detector structure and decrease needed floating point operations by four times without losing accuracy. The second experiment aimed to transfer severe weather features from the ZUT dataset to the SCUT dataset. The experiment revealed that newly generated images increased the accuracy of the detector by 9.38 mAP. The thesis results were published in seven scientific publications – three in peer-reviewed scientific papers, four in conference proceedings. Additionally, the results of the research were presented in seven conferences.

Pasak Pasaulio sveikatos organizacijos (PSO), per metus, pasaulio keliuose tragiškai praranda gyvybę daugiau nei 1,35 milijono žmonių. Nors Europos Sąjungoje (ES) yra saugiausi keliai pasaulyje, kasdien keliuose žūva 221 žmogus, tūkstančiai suluošinami arba tampa neįgalūs, sukeliamos ilgalaikės pasėkmes. Kasmet diegiamos naujos lengvųjų automobilių, sunkvežimių ir autobusų saugos technologijos, skirtos pažangioms vairuotojo pagalbos sistemoms, siekiant išvengti nelaimingų atsitikimų. Viena pagrindinių vairuotojo pagalbos sistemų funkcijų yra pėsčiųjų aptikimas, grįstas intelektualiaisiais metodais. Neseniai sukurti aptiktuvai, grįsti sąsūkos dirbtinių neuronų tinklais (SDNT), parodė puikius objektų aptikimo rezultatus. Tačiau atlikta nedaug tyrimų su mažos raiškos tolimojo infraraudonųjų spindulių (TIS) spektro vaizdais. Kadangi SDNT pagrįstam objektų aptikimo mokymui reikalinga daugybė vaizdų, paruoštas naujas TIS domenų rinkinys, surinktas blogomis oro sąlygomis ir pavadintas ZUT-FIR-ADAS (ZUT). Šis rinkinys yra antras pagal dydį atviros prieigos TIS duomenų rinkinys, kuriame papildomai pateikti automobilio CAN magistralės duomenys, sinchronizuoti su TIS kameros vaizdais. Atrinkti moderniausių struktūrų aptiktuvai buvo modifikuojami ir mokomi naudojant šį naujai pristatytą duomenų rinkinį. Pavyko pasiekti 89,1 % vidutinį atpažinimo tikslumą, didesnį nei naudojant altenatyvius, nemodifikuotų struktūrų aptiktuvus. Analizuojant sąsajas tarp pavyzdžių sąvybių ir aptiktuvo atpažinimo rezultatų paaiškėjo, kad SDNT aptiktuvai linkę prisitaikyti prie vaizdų, surinktų vienodomis oro sąlygomis ir nebeveikia taip tiksliai, kai testuojama ant skirtingomis oro sąlygomis duomenų rinkinių. Dėl šios priežasties ZUT ir SCUT duomenų rinkiniai buvo sujungti į vieną ir atlikti du eksperimentiniai tyrimai. Pirmojo tyrimo tikslas buvo rasti mokymo metodą ir optimizuoti detektoriaus struktūrą taip, kad atpažintuvas veiktų greitai ir ne mažesniu tikslumu, nei moderniausios struktūros aptiktuvas. Tikslumą pavyko padidinti daugiau nei penkiais procentais, aptiktuvo mokymui naudojant vaizdus, kur aptiktuvas labiausiai klysta aptinkant pėstįjį po pirmojo mokymo etapo. Taip pat buvo ištirta galimybė sumažinti SDNT grįsto aptiktuvo struktūrą ir padidinti apdorojimo greitį iki keturių kartų, neprarandant pėsčiųjų aptikimo tikslumo. Antruoju eksperimentu buvo siekiama papildyti geromis oro sąlygomis surinktų duomenų rinkinį SCUT naujais vaizdais, imituojant blogų oro salygų įtaką vaizdui. Vaizdo iškraipymus pavyko automatizuotu būdu perkelti SCUT duomenų rinkinio vaizdams mokant specialios struktūros SDNT and ZUT duomenų rinkinio pavyzdžių. Eksperimentinis tyrimas atskleidė, kad mokymui naudoti naujai sugeneruoti vaizdai, padidino pėsčiųjų aptikimo tikslumą 9,38 %. Darbo rezultatai paskelbti septyniose mokslo publikacijose: trijuose recenzuojamuose mokslo žurnaluose, keturiuose kituose leidiniuose ir pristatyti septyniose mokslo konferencijose.