Валидность и надежность инструментария и процедур оценки

В соответствии с требованиями теории и практики педагогических измерений оценочные процедуры, на основе результатов которых принимаются важные решения (в нашем случае — о переводе выпускника начальной школы в основную школу) должны обладать высокой степенью объективности, которая проявляется через две основные характеристики: валидность и надежность инструментария и процедур оценки.

Под валидностью итоговой оценки понимается соответствие содержания оценки планируемым результатам. Валидность измерителей и оценочных процедур подразумевает полноту охвата всех планируемых результатов и адекватность оценки их достижения. Это требует комплексного подхода, т. е. включения различных форм и способов оценки.В рамках формируемой системы оценки предлагается обеспечивать валидность итоговой оценки за счет одновременного рассмотрения результатов трех итоговых проверочных работ (двух предметных работ по математике и русскому языку и одной работы на межпредметной основе) и накопительной системы оценки, в которой будет зафиксировано достижение тех планируемых результатов, не охваченных итоговыми проверочными работами в связи с ограниченностью времени их проведения или невозможностью оценки в рамках письменной работы.

Надежность итоговой оценки должна обеспечиваться за счет профессиональной разработки инструментария, включая экспериментальную проверку отдельных заданий и работы в целом, критериев и шкал оценивания, а также соблюдения всех требований стандартизации оценочных процедур.

Разработка инструментария для итоговой оценки включает следующие этапы:

• планирование итоговой работы;

• разработка заданий;

• конструирование проверочной работы;

• разработка рекомендаций по оценке заданий и работы в целом;

• подготовка инструкций по проведению работы.

В процессе планирования реализуются следующие основные задачи: анализ значимости планируемых результатов для итоговой оценки, отбор планируемых результатов и обеспечение наибольшей представительности системы планируемых результатов. В идеале итоговая работа должна полностью охватывать все планируемые результаты или такую совокупность планируемых результатов, которую можно принять за 100 %. Реально на практике поступают иначе. Разработчики контрольных измерительных материалов структурируют планируемые результаты и отбирают из них такую совокупность результатов, про которую можно сказать, что в целом выполнение данной итоговой работы свидетельствует о достижении планируемых результатов по учебному предмету. Для повышения надежности итоговой оценки (исключения случайных отклонений), как уже говорилось выше, учитываются результаты накопленной оценки, в которой представляются оценки достижения по тем планируемым результатам, которые не охватываются итоговой проверочной работой.

В итоге анализа планируемых результатов и их значимости для продолжения обучения на следующей ступени школы формируется структура итоговой работы. Например, были проанализированы планируемые результаты по русскому языку и состояние обучения русскому языку в начальной школе. Анализ показал, что для обеспечения валидности итоговой оценки недостаточно использовать только проверочную работу, демонстрирующую уровень овладения предметными действиями и способность обучающихся решать учебно-познавательные и учебно-практические задачи по русскому языку, построенные на материале основ лингвистических знаний, начальных представлений о нормах русского литературного языка и правилах речевого этикета. Необходимо включить в оценку на завершающем этапе обучения в начальной школе итоговый диктант, оценивающий сформированность умения безошибочного письма и способность выпускника применять орфографические правила и правила постановки знаков препинания при записи текста под диктовку. Поэтому итоговая работа по русскому языку состоит из двух частей: итогового диктанта и проверочной работы.

Структура итоговой работы определяется структурой разделов планируемых результатов и математической моделью, выбранной для конструирования работы и описания ее результатов. Наиболее простой является «классическая модель», максимально приближенная к структуре планируемых результатов. В этом случае для оценки используется несколько практически «параллельных» вариантов работы. Выпускник оценивается по результатам выполнения своего варианта.

Для разработки итоговых работ применяются и другие модели, использующие современную теорию конструирования тестов. В соответствии с ней разрабатывается вероятностная модель, позволяющая оценить способность выпускника выполнять задания по всем планируемым результатам на основе выполнения только их части.

Число заданий в работе и их тип также определяются планируемыми результатами. Для работ, в которых нужно проверить освоение достаточно большого числа планируемых результатов, чаще всего используются задания закрытого типа с выбором ответа или открытого типа с кратким ответом (включая задания на установление соответствия и определение последовательности).

При выборе заданий с развернутым ответом учитывается, что на их выполнение тратиться больше времени и число таких заданий в работе будет невелико. При этом также учитывается необходимость экспертной проверки выполнения заданий, что требует стандартизации процедур и специальной подготовки экспертов, а также дополнительных временных ресурсов.

В последнее время для целей итоговой оценки или аттестации обучающихся предпочтение отдается простой классической модели структуры работы, в которой используются задания разного типа. А для целей мониторинга используются более сложные модели работ.

Число заданий в работе определяется оптимальным временем, в течение которого выпускники начальной школы могут эффективно работать (не более 40 мин без перерыва). При распределении заданий по разделам курса учитывается значимость каждого раздела для продолжения обучения в основной школе и число часов на его изучение.

Результаты планирования проверочной работы отражаются в спецификации работы, содержащей основные характеристики измерительных материалов и во многом предопределяющей качество проверочной работы. В спецификации указывается цель, структура и содержание работы, число и типы заданий, распределение заданий по отдельным разделам, время выполнения работы и система оценки отдельных заданий и работы в целом. Для простой классической модели приводится примерный план работы, в котором описываются характеристики отдельных заданий (что оценивает задание, на каком уровне, сколько баллов получает ученик за выполнение задания и др.). К спецификации приводится демонстрационный вариант (или демоверсия) работы, в котором показаны особенности реализации основных подходов к итоговой оценке.

Отличительной особенностью итоговых работ для оценки достижения планируемых результатов, разрабатываемых в рамках стандартов второго поколения, является их ориентация не на оценку овладения предметными знаниями и умениями и способности воспроизводить их в учебных ситуациях, а на оценку способности применять полученные в начальной школе знания и умения в различных ситуациях, включая и приближенные к реальным жизненным.

Это повлияло на разработку и включение в работу двух групп заданий, в которых учащиеся должны были не воспроизводить освоенные знания и умения, а применять их, решая учебно-практические или учебно-познавательные задачи. В первую группу вошли задания базового уровня, в которых был очевиден способ решения. При выполнении заданий второй группы (заданий повышенного уровня), в которых способ решения явно не задан, ученик должен сам выбрать способ из известных ему или самостоятельно сконструировать способ решения, интегрируя два-три изученных или преобразуя их. Таким образом, при выполнении заданий повышенного уровня ученик должен продемонстрировать не дополнительный объем знаний, а уровень самостоятельности в использовании изученного материала.

Как правило, задания повышенного уровня составляют не более одной трети итоговой работы. Данное соотношение рассчитывается от максимального балла, который можно получить за выполнение работы, и соотносится со временем, которое отводится на выполнение всей работы. Для среднего ученика 2/3 времени отводится на выполнение заданий базового уровня и 1/3 — на выполнение заданий повышенного уровня. Важно обеспечить такой подбор заданий в работе, чтобы ученик с удовлетворительной подготовкой имел возможность (по времени) приступить к выполнению всех заданий базового уровня.

Проблемы конструирования проверочной работы и подготовку различных инструкций (для учащихся, учителей и экспертов) по проведению работы оставим профессионалам и остановимся более подробно на оценке выполнения заданий и работы в целом.

В педагогических измерениях принято рассматривать три уровня описания результатов образования: планируемый, реализуемый и достигнутый.

Первый уровень — планируемый — характеризует те результаты, которые заложены в планируемых результатах освоения основных образовательных программ и реализованы в образовательной программе для данной ступени обучения, в примерных и авторских учебных программах по отдельным учебным предметам, в учебниках и методических пособиях.

Второй уровень — реализуемый — характеризует те результаты, к которым стремится конкретный учитель в конкретной школе, в зависимости от своих личностных установок, отношения к предмету, профессиональной квалификации.

В процессе измерений появляется третий уровень описания результатов — достигнутый, который характеризует уровень реальных достижений учащихся.

Отметим, что, как показывают результаты педагогических измерений, реальные достижения учащихся всегда ниже их планируемого уровня в нормативных документах и того уровня, который реализуется учителями.

Это означает, что практически невозможно в ходе педагогических измерений зафиксировать достижение всеми учащимися всех планируемых результатов освоения образовательных программ. Этот факт целесообразно учитывать при планировании и разработке всей системы оценки достижения планируемых результатов.

При проведении итоговой оценки достижения планируемых результатов разрабатываются как критерии оценки отдельных планируемых результатов, так и критерии оценки достижения освоения предметной области, по которой проводится проверочная работа.

Критерии оценки достижения отдельных планируемых результатов приводятся только в виде ответов, которые должны дать учащиеся при выполнении заданий работы, с пояснениями особенностей оценки для учителей или экспертов, которые будут проверять работы учащихся.

Выполнение всех заданий базового уровня оценивается одним баллом, независимо от типа и сложности заданий. Оценка осуществляется на основе правила: «достиг — не достиг планируемого результата, достижение которого оценивается данным заданием».

Решение об освоении или неосвоении учебного материала принимается на основе результатов выполнения заданий базового уровня. Критерий освоения учебного материала завист от типа используемых заданий, возможной ошибки измерения, а также срока действия стандарта.

Принятый в практике педагогических измерений минимальный критерий освоения учебного материала находится в пределах от 50 до 65 % от максимального балла, который можно получить за выполнение всей работы. Если проверочная работа содержит задания только с выбором ответа, то критерий освоения составляет 65 %. Если в проверочной работе используются задания только со свободным ответом (кратким или развернутым), то критерий освоения составляет 50 % при условии, что стандарт (планируемые результаты) введен и обеспечено его освоение в учебном процессе.

Если ученик набрал число баллов, равное или превышающее заданный минимальный критерий освоения учебного материала, то можно сделать вывод о том, что он овладел опорной системой знаний и учебными действиями, необходимыми для продолжения образования на следующей ступени, и способен использовать их для решения учебно-познавательных и учебно-практических задач средствами данного предмета на базовом уровне.

Выполнение заданий повышенного уровня может оцениваться разным числом баллов в зависимости от полноты и правильности представленного ответа. Критерий освоения материала на повышенном уровне задается также в зависимости от типа используемых заданий, возможной ошибки измерения, а также срока введения стандарта. Главным основанием при определении критерия достижения повышенного уровня является установление такого балла, при котором ученик явно может продемонстрировать способность выполнять задания повышенного уровня.

Для повышенного уровня можно использовать тот же критерий, как и для базового уровня: 50—65 % от максимального балла, но за выполнение заданий повышенного уровня. Однако это возможно только при условии, что стандарт (планируемые результаты) введен и обеспечено его освоение в учебном процессе.

Можно считать, что учащийся продемонстрировал способность применять знания для решения учебных и практических задач повышенного уровня сложности, если он набрал не менее установленного минимального критерия за выполнение заданий базового уровня и при этом набрал не менее установленного числа баллов за выполнение заданий повышенного уровня сложности.

В этом случае делается вывод об овладении опорной системой знаний, необходимой для продолжения образования на следующей ступени, на уровне осознанного произвольного овладения учебными действиями, т. е. на повышенном уровне.

Разработка инструментария для итоговых работ может вестись в рамках нескольких моделей.

Первая, наиболее предпочтительная, модель предусматривает централизованную разработку инструментария для итоговых работ. При этом содержание работ может быть адаптировано уполномоченными представителями региональных структур с учетом региональных особенностей и особенностей образовательных программ начального общего образования, реализуемых образовательными учреждениями региона. Все вносимые изменения должны быть согласованы с федеральным центром.

Вторая модель предусматривает разработку инструментария для итоговых работ силами уполномоченных на это региональных структур на основе централизованно разработанной спецификации и демоверсии.

Третья модель предусматривает разработку инструментария для итоговых работ силами образовательных учреждений на основе централизованно разработанной спецификации и демоверсии и при условии обязательного согласования с уполномоченными на это региональными структурами.

Для ознакомления с особенностями итоговых работ в следующих разделах настоящего пособия приводятся спецификации и демонстрационные материалы по математике и русскому языку, а также описание и два варианта комплексных работ на межпредметной основе. Измерительные материалы по остальным предметам будут представлены во второй части книги.