Extraction and investigation of biosignal features for visual discomfort evaluation

Abstract

Comfortable stereoscopic perception continues to be an essential area of research. The growing interest in virtual reality content and increasing market for head-mounted displays (HMDs) still cause issues of balancing depth perception and comfortable viewing. Stereoscopic views are stimulating binocular cues – one type of several available human visual depth cues which becomes conflicting cues when stereoscopic displays are used. Depth perception by binocular cues is based on matching of image features from one retina with corresponding features from the second retina. It is known that our eyes can tolerate small amounts of retinal defocus, which is also known as Depth of Focus. When magnitudes are larger, a problem of visual discomfort arises. The research object of the doctoral dissertation is a visual discomfort level. This work aimed at the objective evaluation of visual discomfort, based on physiological signals. Different levels of disparity and the number of details in stereoscopic views in some cases make it difficult to find the focus point for comfortable depth perception quickly. During this investigation, a tendency for differences in single sensor-based electroencephalographic EEG signal activity at specific frequencies was found. Additionally, changes in eye tracker collected gaze signals were also found. A dataset of EEG and gaze signal records from 28 control subjects was collected and used for further evaluation. The dissertation consists of an introduction, three chapters and general conclusions. The first chapter reveals the fundamental knowledge ways of measuring visual discomfort based on objective and subjective methods. In the second chapter theoretical research results are presented. This research was aimed to investigate methods which use physiological signals to detect changes on the level of sense of presence. Results of the experimental research are presented in the third chapter. This research aimed to find differences in collected physiological signals when a level of visual discomfort changes. An experiment with 28 control subjects was conducted to collect these signals. The results of the thesis were published in six scientific publications – three in peer-reviewed scientific papers, three in conference proceedings. Additionally, the results of the research were presented in 8 conferences.

Virtualios realybės turiniui peržiūrėti skirti atvaizdavimo įrenginiai praktikoje naudojami mažai ne dėl aukštos jų kainos ar nepakankamos vaizdo kokybės, o neretai dėl dažnai sukeliamo regos diskomforto. Regos diskomforto lygis yra individualus kiekvienam naudotojui, todėl reikalingos techninės priemonės, leidžiančios aptikti pirmuosius regos diskomforto požymius naudojant virtualiosios realybės akinius. Rinkoje jau pasirodė virtualiosios realybės akiniai su integruota akių sekimo įranga, taip pat akinių gamintojai bendradarbiauja su elektroencefalogramų nuskaitymo įrenginius gaminančiomis įmonėmis. Tačiau nėra sukurti būdai regos diskomfortui aptikti naudojant akių aktyvumo ar elektroencefalogramų registravimo įrenginius. Siekiant aptikti akių diskomfortą sąlygojančias situacijas vaizdo peržiūros metu, disertacijoje sprendžiama vaizdo pojūčių kiekybinio įvertinimo problema. Šios disertacijos tyrimo objektas yra paieška išmatuojamų kiekybinių parametrų, kurie leistų atpažinti, kada žmogus stebi vaizdus neįtempdamas akių judesius valdančius raumenis, atskirti, kada vaizdo gylio suvokimui akys yra tinkamoje padėtyje, o kada gylio suvokimui tinkamos akių padėties ilgai nepavyksta rasti. Darbas skirtas prisidėti vystant objektyvaus regos diskomforto įvertinimo metodus, remiantis fiziologiniais matavimais. Skirtingas matomų objektų gylis ir detalių skaičius stereovaizduose neleidžia aiškiai suvokti matomo objekto atstumo erdvėje, arba atstumo suvokimui reikia ilgesnio laiko nei įprastai. Tyrimo metu buvo nustatyti požymiai, išskirti iš elektroencefalogramos, naudojant vienu elektrodu matuotą signalą, kurie leidžia atpažinti vartotojo regos diskomfortą. Taip pat buvo pasiūlyti požymiai leidžiantys taikyti akių sekimo įrenginius stereoskopinių vaizdų sukeltam regos diskomfortui įvertinti. Duomenims surinkti buvo atliktas eksperimentas matuojant 28 savanorių fiziologinius signalus, gautus stereoskopinio turinio stebėjimo metu. Disertaciją sudaro įvadas, trys skyriai ir bendrosios išvados. Pirmajame skyriuje apibrėžiama regos diskomforto problema, nagrinėjami metodai skirti regos diskomforto matavimui, remiantis objektyviais ir subjektyviais matavimais. Antrajame skyriuje pateikiami teorinių tyrimų rezultatai. Šiais tyrimais buvo analizuojami metodai, kurie naudoja fiziologinius matavimų rezultatus, norint aptikti patirtos kokybės pokytį vizualaus turinio stebėjimo metu. Trečiajame skyriuje yra pateikti eksperimentinio tyrimo rezultatai. Buvo tikimasi, kad surinktuose signaluose galima išskirti požymius, kurie leis atskirti skirtingą regos diskomfortą sukeliančius vaizdus. Pagrindiniai disertacijos rezultatai paskelbti 6 mokslinėse publikacijose – trys iš jų atspausdintos recenzuojamuose mokslo žurnaluose, trys konferencijų medžiagoje. Rezultatai viešinti 8 mokslininkų konferencijose.