Шкалы атипичности ответов как инструмент выявления некооперативного тестового поведения

Abstract

Некооперативное тестовое поведение (НКТП) представляет собой серьезную, но часто недооцениваемую угрозу достоверности тестовых оценок и валидности их интерпретации.Одним из методов выявления НКТП может быть включение в состав многошкальных опросников шкал атипичности ответов (АТ), построенных на учете частоты подтверждения тех или иных опций ответа. Учитывая практическую важность задачи различения реалистических данных от проявлений НКТП при проведении массовых обследований военнослужащих, осуществлена разработка и включение в компьютерные версии ряда многошкальных опросников шкал АТ в сочетании с настройкой алгоритмов выявления хаотического реагирования, как одного из наиболее частых и деструктивных стилей НКТП. Проверка дифференцирующей способности шкал АТ осуществлялась путем сопоставления эмпирических данных, полученных в результате обследования восьми независимых выборок (N = 406–5689) с помощью шести опросников с разным форматом ответов, и множествами программно сгенерированных протоколов со случайным выбором ответов. Показано, что в среднем около 95 % сгенерированных таким образом протоколов идентифицируются как недостоверные, в том числе, 65 % из них опознаны как хаотические. Практика применения оснащенных шкалами АТ опросников в сочетании с результатами программного моделирования позволяют предположить, что включение подобных шкал в известные и вновразрабатываемые опросники может существенно снизить риски ошибочных диагностических выводов. Non-cooperative testing behavior (NCTB) during questionnaire completion is serious threat to the valid interpretations of test scores. There are a number of methods recommended for use to identify protocols with NCTB features in order to enhance the credibility of personality testing results (Karabatsos, 2003; Desimone, 2015), but not all of them are proper and accessible for practitioners. One of the earliest methods of aberrant responding detection is based on incorporation of validity scales, including those composed of response options with rare endorsement. Assumptions and considerations regarding design (without adding supplementary items) and appropriate use of “atypical responses” (AR) scales are discussed. Such scales have been designed and implemented in some known and newly designed questionnaires. Findings suggest that the AR scale cutoff that is optimally efficient for detecting NCTB in high-stake testing may be calculated on randomly generated data as MR – 2*SDR. Validation of AR cutoff scores was accomplished by means of comparison of eight empirical (N = 406–5689) and randomly generated data for six questionnaires with different number of response options. Established sensitivity (0.92–0.99) is provided evidence for acceptable discriminating power of AR scores. This figure is comparable with person-fit methods based on IRT. Overall, the results provide support for the AR scores as indexes of NCTB. Military personnel testing practice suggest that taking into account AR scores enables to enhance the credibility of testing results and to diminish risks of diagnostic failures.