Разработка тестовых шкал

Тестовые шкалы разрабатываются для того, чтобы оценить индивидуаль­ный результат тестирования путем сопоставления его с тестовыми нормами, полученными на выборке стандартизации. Выборка стандартизации специаль­но формируется для разработки тестовой шкалы — она должна быть репре­зентативна генеральной совокупности, для которой планируется применять данный тест. Впоследствии при тестировании предполагается, что и тестиру­емый, и выборка стандартизации принадлежат одной и той же генеральной совокупности.

Исходным принципом при разработке тестовой шкалы является предпо­ложение о том, что измеряемое свойство распределено в генеральной сово­купности в соответствии с нормальным законом. Соответственно, измерение в тестовой шкале данного свойства на выборке стандартизации также должно обеспечивать нормальное распределение. Если это так, то тестовая шкала яв-

ляется метрической — точнее, равных интервалов. Если это не так, то свой­ство удалось отразить в лучшем случае — в шкале порядка. Естественно, что большинство стандартных тестовых шкал являются метрическими, что по­зволяет более детально интерпретировать результаты тестирования — с уче­том свойств нормального распределения — и корректно применять любые методы статистического анализа. Таким образом, основная проблема стандар­тизации теста заключается в разработке такой шкалы, в которой распределе­ние тестовых показателей на выборке стандартизации соответствовало бы нормальному распределению.

Исходные тестовые оценки — это количество ответов на те или иные воп­росы теста, время или количество решенных задач и т. д. Они еще называют­ся первичными, или «сырыми» оценками. Итогом стандартизации являются тестовые нормы — таблица пересчета «сырых» оценок в стандартные тестовые шкалы.

Существует множество стандартных тестовых шкал, основное назначение которых — представление индивидуальных результатов тестирования в удоб­ном для интерпретации виде. Некоторые из этих шкал представлены на рис. 5.5. Общим для них является соответствие нормальному распределению, а различаются они только двумя показателями: средним значением и мас­штабом (стандартным отклонением — q), определяющим дробность шкалы.

Рис. 5.5. Нормальная кривая и тестовые шкалы

Общая последовательность стандартизации (разработки тестовых норм — таб­лицы пересчета «сырых» оценок в стандартные тестовые) состоит в следующем:

1.определяется генеральная совокупность, для которой разрабатывается
методика и формируется репрезентативная выборка стандартизации;

2.по результатам применения первичного варианта теста строится рас­пределение «сырых» оценок;

3.проверяют соответствие полученного распределения нормальному за­
кону;

4.если распределение «сырых» оценок соответствует нормальному, про­
изводится линейная стандартизация;

5.если распределение «сырых» оценок не соответствует нормальному, то
возможны два варианта:

- перед линейной стандартизацией производят эмпирическую норма­лизацию;

- проводят нелинейную нормализацию.

Проверка распределения «сырых» оценок на соответствие нормальному закону производится при помощи специальных критериев, которые мы рас­смотрим далее в этой главе.

Линейная стандартизация заключается в том, что определяются границы интервалов «сырых» оценок, соответствующие стандартным тестовым пока­зателям. Эти границы вычисляются путем прибавления к среднему «сырых» оценок (или вычитания из него) долей стандартных отклонений, соответству­ющих тестовой шкале. Пример, приведенный ниже, демонстрирует процеду­ру линейной стандартизации.

ПРИМЕР

Предположим, получено распределение «сырых» оценок, соответствующее нор­мальному, со средним М_х= 22 и стандартным отклонением q_х=6. В качестве стан­дартной тестовой шкалы выбрана 10-балльная шкала стенов, предложенная Р. Кеттелом (М_st = 5, 5; q_st = 2). Результатом линейной стандартизации должна являться таблица пересчета из шкалы «сырых» оценок в шкалу стенов. Для этого каждому стандартному значению ставится в соответствие интервал «сырых» оценок. Грани­цы интервалов определяются следующим образом. Среднее «сырых» оценок долж­но делить шкалу стенов ровно пополам (1—5 — ниже среднего, 6—10 — выше сред­него). Следовательно, среднее «сырых» оценок М_х= 22 — это граница стенов 5 и 6. Следующая граница справа — отделяющая стены 6 и 7 — отстоит от среднего на q_st/2. Этой границе должна соответствовать граница «сырых» оценок М_х + q_x/2 = 22 + 3 = 25. Так же определяются границы всех оставшихся интервалов, а границы крайних интервалов остаются открытыми. Результатом являются тестовые нормы — таблица пересчета «сырых» баллов в стандартные тестовые оценки (табл. 5.1)¹.

¹ Обратите внимание, что левая граница каждого диапазона «сырых» оценок исключает гра­ницу интервалов, а правая — включает ее. Можно было бы сделать и наоборот, но главное, чтобы границы соседних диапазонов не совпадали, во избежание недоразумений при попада­нии индивидуального значения на границу интервалов.

Таблица 5.1

Тестовые нормы — таблица пересчета «сырых» баллов в стены

Пользуясь этой таблицей тестовых норм индивидуальный результат («сырой» балл) переводят в шкалу стенов, что позволяет интерпретировать выраженность измеря­емого свойства.

В общем случае границы интервалов определяются По формуле z -преобразования:

Z=(x_i-M_x)/q_x=(st_i-M_st)/q_st→ x_i=M_x+(q_x/q_st)(st_i-M_st)

где х_i — искомая граница интервала «сырых» оценок, st_i— граница интервала в стандартной тестовой шкале, M_x, q_x, M_st, q_st — средние и стандартные откло­нения «сырых» оценок (х) и стандартной шкалы (st).

Эмпирическая нормализация применяется, когда распределение «сырых» баллов отличается от нормального. Она заключается в изменении содер­жания тестовых заданий. Например, если «сырая» оценка — это количе­ство задач, решенных испытуемыми за отведенное время, и получено рас­пределение с правосторонней асимметрией, то это значит, что слишком большая доля испытуемых решает больше половины заданий. В этом случае необходимо либо добавить более трудные задания, либо сократить время решения.

Нелинейная нормализация применяется, если эмпирическая нормализа­ция невозможна или нежелательна, например, с точки зрения затрат вре­мени и ресурсов. В этом случае перевод «сырых» оценок в стандартные про­изводится через нахождение процентильных границ групп в исходном распределении, соответствующих процентильным границам групп в нор­мальном распределении стандартной шкалы. Каждому интервалу стандарт­ной шкалы ставится в соответствие такой интервал шкалы «сырых» оценок, который содержит ту же процентную долю выборки стандартизации. Вели­чины долей определяются по площади под единичной нормальной кривой, заключенной между соответствующими данному интервалу стандартной шкалы z-оценками.

Например, для того чтобы определить, какой «сырой» балл должен соот­ветствовать нижней границе стена 10, необходимо сначала выяснить, какому z-значению соответствует эта граница (z = 2). Затем по таблице нормального распределения (приложение 1) надо определить, какая доля площади под нормальной кривой находится правее этого значения (0, 023). После этого определяется, какое значение отсекает 2, 3% наибольших значений «сырых» баллов выборки стандартизации. Найденное значение и будет соответствовать границе 9 и 10 стена.

ПРИМЕР

Рассмотрим пример нелинейной нормализации. Допустим, разрабатываемый тест предполагает решение 20 заданий. Объем выборки стандартизации N= 200 чело­век. Сначала строится таблица распределения частот «сырых» оценок (табл. 5.2).

Таблица 5.2

Исходное распределение заметно отличается от нормального — оно имеет право­стороннюю асимметрию (рис. 5.6). В качестве стандартной выберем шкалу стенайнов, для каждой градации которой известны процентные доли (см. рис. 5.5). Исхо­дя из этих процентных долей и таблицы распределения «сырых» оценок строится таблица тестовых норм (табл. 5.3). Сначала отбираются 4% испытуемых, решив­ших наименьшее количество заданий. У нас 8 испытуемых (4%) решили менее 4 за­даний. Это число заданий будет соответствовать 1-му стенайну. Второму стенайну будет соответствовать результат следующий 7% (14) испытуемых: от 4до 6 заданий, и т. д. Итог нелинейной стандартизации — таблица перевода «сырых» оценок в шкальные, стенайны (табл. 5.3).

Таблица 5.3 Пример нелинейной нормализации: пересчет «сырых» оценок в шкалу стенайнов

Рис. 5.6. Распределение «сырых» оценок (по данным табл. 5.2)

Изложенные основы психодиагностики позволяют сформулировать мате­матически обоснованные требования к тесту. Тестовая методика должна со­держать:

- описание выборки стандартизации;

- характеристику распределения «сырых» баллов с указанием среднего и стандартного отклонения;

- наименование, характеристику стандартной шкалы;

- тестовые нормы — таблицы пересчета «сырых» баллов в шкальные.