An overview of methods for generating, augmenting and evaluating room impulse response using artificial neural networks

Abstract

Methods based on artificial neural networks (ANN) are widely used in various audio signal processing tasks. This provides opportunities to optimize processes and save resources required for calculations. One of the main objects we need to get to numerically capture the acoustics of a room is the room impulse response (RIR). Increasingly, research authors choose not to record these impulses in a real room but to generate them using ANN, as this gives them the freedom to prepare unlimited-sized training datasets. Neural networks are also used to augment the generated impulses to make them similar to the ones actually recorded. The widest use of ANN so far is observed in the evaluation of the generated results, for example, in automatic speech recognition (ASR) tasks. This review also describes datasets of recorded RIR impulses commonly found in various studies that are used as training data for neural networks.

Dirbtiniais neuroniniais tinklais (DNN) pagrįsti metodai plačiai taikomi įvairiuose garso signalų apdorojimo uždaviniuose. Tai suteikia galimybių optimizuoti procesus ir sutaupyti skaičiavimams reikalingų išteklių. Vienas iš pagrindinių iššūkių yra kambario akustiką apibūdinančių parametrų išskaičiavimas ir akustikos poveikį imituojančio kambario impulsinės reakcijos paieška. Vis dažniau šios srities tyrėjai pasirenka ne įrašyti kambario impulsinės reakcijos pavyzdžius eksperimento metu, bet generuoti juos naudojant DNN, nes toks impulsinės reakcijos generavimas suteikia galimybę tyrėjui parengti neriboto dydžio mokymo duomenų rinkinius. Neuroniniai tinklai taip pat naudojami generuojamoms impulsinėms reakcijoms apdoroti taip, kad jos būtų panašios į įrašytas eksperimentiškai. Analizuojant literatūrą matyti, kad DNN dažniausiai naudojami netiesiogiai vertinant impulsinės reakcijos generavimo rezultatus, pavyzdžiui, tiriant automatinio kalbos atpažinimo uždavinių sprendimo efektyvumo pokyčius. Šioje apžvalgoje nagrinėjami ir įrašytų kambario impulsinių reakcijų rinkiniai, įprastai randami įvairiuose tyrimuose, kur impulsinės reakcijos naudojamos kaip duomenys neuroniniams tinklams mokyti.