A numerical experiment on mathematical model of forecasting the results of knowledge testing

Abstract

In this paper the new approach to the forecasting the results of knowledge testing, proposed earlier by authors, is extended with four classes of parametric functions, the best fitting one from which is selected to approximate item characteristic function. Mathematical model is visualized by two numerical experiments. The first experiment was performed with the purpose to show the procedure of selecting the most appropriate item characteristic function and adjusting the parameters of the model. Goodness-of-fit statistic for detecting misfit of the selected model is calculated. In the second experiment a test of 10 items is constructed for the population with latent ability having normal distribution. Probability distribution of total test result and test information function are calculated when item characteristic functions are selected from four classes of parametric functions. In the next step it is shown how test information function value could be increased by adjusting parameters of item characteristic functions to the observed population. This model could be used not only for knowledge testing but also when solving diagnostic tasks in various fields of human activities. Other advantage of this method is the reduction of resources of testing process by more precise adjustment of the model parameters and decreasing the standard error of measurement of the estimated examinee ability. In the presented example the methodology is applied for solving the problem of microclimate evaluation in office rooms.

Šiame straipsnyje žinių tikrinimo rezultatų prognozės matematinis modelis, pasiūlytas ankstesniuose autorių darbuose, praplėstas keturiomis parametrinių funkcijų klasėmis, iš kurių parenkama tinkamiausia funkcija klausimo charakteristinei funkcijai aproksimuoti. Matematinis modelis vizualizuojamas atliekant du skaitinius eksperimentus. Pirmojo eksperimento tikslas buvo parodyti tinkamiausios klausimo charakteristinės funkcijos ir šio modelio parametrų parinkimo procedūrą. Siekiant nustatyti modelio tinkamumą, buvo skaičiuojama suderinamumo kriterijaus statistikos reikšmė. Antrajame eksperimente buvo sukonstruotas 10 klausimų testas populiacijai, turinčiai normalųjį žinių lygio skirstinį. Testo rezultatų tikimybinis skirstinys ir testo informacijos funkcijos reikšmė buvo apskaičiuojamos, kai klausimo charakteristinės funkcijos parenkamos iš keturių parametrinių funkcijų klasių su skirtingomis parametrų reikšmėmis. Kitame žingsnyje parodyta, kaip galima padidinti testo informacijos funkcijos reikšmę parenkant klausimo charakteristinių funkcijų parametrus, atitinkančius stebimą populiaciją. Šis modelis galėtų būti pritaikytas ne tik testuojant žinias, bet ir sprendžiant diagnostinius uždavinius įvairiose žmogaus veiklos srityse. Kitas šio metodo privalumas yra testavimo proceso sąnaudų sumažinimas mažinant vertinamo žinių lygio standartinę matavimo paklaidą. Pateiktas šios metodikos taikymo pavyzdys sprendžiant mikroklimato biuro patalpose vertinimo uždavinį.