Валидность и надежность эксперимента. Выборка.

Валидность – соответствие конкретного исследования принятым стандартам / безупречному эксперименту / (Дружинин В.Н.); достоверность / или степень достоверности / вывода, которую обеспечивают результаты реального эксперимента по сравнению с результатами безупречного эксперимента. «Валидность» – центральное понятие словаря экспериментатора: оно объединяет основные цели исследования с идеальными эталонами их достижения и реальными процедурами проведения эксперимента.

Глобальной целью любого экспериментального исследования является обобщение полученных результатов и вывода об экспериментальной гипотезе. Однако полное достижение этой цели возможно лишь в мысленном, безупречном эксперименте, невыполнимом на практике. Реальный эксперимент в той или иной мере репрезентирует / представляет / безупречный, и чем лучше эта репрезентативность, тем выше валидность эксперимента. Таким образом, повышение валидности, т.е. планирование проведения эксперимента в соответствии с его безупречным образцом, является конкретной задачей исследователя, успешность решения которой зависит, во-первых, от характера реальных условий и, во-вторых, от адекватности выбора средств. Так, источники нарушения валидности (прежде всего, надежность и смешение) отдаляют реальный эксперимент от безупречного, а способы их контроля позволяют приблизиться к нему, т.е. обеспечить высокую валидность для обобщения экспериментальных результатов. Валидность полученных результатов можно оценить статистически: например, валидность теста (в корреляционном исследовании) определяется степенью корреляции результатов его выполнения с изучаемым видом деятельности испытуемых / Готтсданкер Р. /

Для конструирования и оценки экспериментальных процедур используются понятия: идеальный эксперимент, эксперимент полного соответствия и бесконечный эксперимент.

Идеальный эксперимент - это эксперимент, организованный таким образом, что экспериментатор изменяет лишь независимую переменную, зависимая переменная контролируется, а все остальные условия эксперимента остаются неизменными. Идеальный эксперимент предполагает эквивалентность всех испытуемых, неизменность их характеристик во времени, отсутствие самого времени. Он никогда не может быть осуществлен в реальности, так как в жизни изменяются не только интересующие исследователя параметры, но и ряд других условий.

Соответствие реального эксперимента идеальному выражается в такой его характеристике, как внутренняя валидность. Внутренняя валидность показывает достоверность результатов, которую обеспечивает реальный эксперимент по сравнению с идеальным. Чем больше влияют на изменение зависимых переменных не контролируемые исследователем условия, тем ниже внутренняя валидность эксперимента, следовательно, больше вероятность того, что факты, обнаруженные в эксперименте, являются артефактами. Высокая внутренняя валидность - главный признак хорошо проведенного эксперимента.

Д. Кэмпбелл выделяет следующие факторы, угрожающие внутренней валидности эксперимента: фактор фона, фактор естественного развития, фактор тестирования, погрешность измерения, статистическая регрессия, неслучайный отбор, отсеивание. Если они не контролируются, то приводят к появлению соответствующих эффектов.

Фактор фона (истории) включает события, которые происходят между предварительным и окончательным измерением и могут вызвать изменения в зависимой переменной наряду с влиянием независимой переменной.

Фактор естественного развития связан с тем, что изменения в уровне зависимой переменной могут возникнуть в связи с естественным развитием участников эксперимента (взросление, нарастание утомления и т. п.).

Фактор тестирования заключается во влиянии предварительных измерений на результаты последующих.

Фактор погрешности измерения связан с неточностью или изменениями в процедуре или методе измерения экспериментального эффекта.

Фактор статистической регрессии проявляется в том случае, если для участия в эксперименте были отобраны испытуемые с крайними показателями каких-либо оценок.

Фактор неслучайного отбора соответственно встречается в тех случаях, когда при формировании выборки отбор участников проводился неслучайным образом.

Фактор отсеивания проявляется в том случае, если испытуемые неравномерно выбывают из контрольной и экспериментальной групп.

Экспериментатор должен учитывать и по возможности ограничивать влияние факторов, угрожающих внутренней валидности эксперимента.

Эксперимент полного соответствия - это экспериментальное исследование, в котором все условия и их изменения отвечают реальности. Приближение реального эксперимента к эксперименту полного соответствия выражается во внешней валидности. От уровня внешней валидности зависит степень переносимости результатов эксперимента в реальность. Внешняя валидность, по определению Р. Готтсданкера, влияет на достоверность выводов, которую дают результаты реального эксперимента по сравнению с экспериментом полного соответствия. Для достижения высокой внешней валидности нужно, чтобы уровни дополнительных переменных в эксперименте соответствовали их уровням в реальности. Эксперимент, который не имеет внешней валидности, считается неверным.

К факторам, угрожающим внешней валидности, относят следующие:

- реактивный эффект (заключается в уменьшении или увеличении восприимчивости испытуемых к экспериментальному влиянию вследствие предыдущих измерений);

- эффект взаимодействия отбора и влияния (состоит в том, что экспериментальное влияние будет существенным только для участников данного эксперимента);

- фактор условий эксперимента (может привести к тому, что экспериментальный эффект может наблюдаться только в данных специально организованных условиях);

- фактор интерференции влияний (проявляется при предъявлении одной группе испытуемых последовательности взаимоисключающих влияний).

Заботу о внешней валидности экспериментов особо проявляют исследователи, работающие в прикладных областях психологии - клинической, педагогической, организационной, поскольку в случае невалидного исследования его результаты ничего не дадут при переносе их в реальные условия.

Так же выделяют следующие виды валидности:

Валидность экологическая – вид внешней валидности, характеризует соответствие процедуры и условий лабораторного исследования «естественной» реальности.

Валидность теоретическая /или прогностическая / - отношение идеального исследования к реальности.

Валидность операциональная – соответствие операций экспериментатора теоретическому описанию переменных, контролируемых в исследовании. Варьируемые экспериментатором условия должны соответствовать независимой переменной. Методики и план эксперимента должны соответствовать проверяемой гипотезе – степень этого соответствия и характеризует операциональную валидность.

Валидность конструктная – выражает адекватность метода интерпретации экспериментальных данных теории, т.е. структура экспериментального исследования выглядит следующим образом: теория – эксперимент – интерпретация – реальность./ Д.Кэмпбелл /. Конструктная валидность, по мнению Кэмпбелла, характеризует правильность интерпретации причины и экспериментального эффекта с помощью абстрактных терминов из обыденного языка или формальной теории. С точки зрения Кэмпбелла, хороший эксперимент должен:

1) выявлять временную последовательность предполагаемых причины и следствия;

2) показывать, что вероятные причины и эффект взаимосвязаны /ковариантны/;

3) исключать влияние побочных переменных, которым можно было бы объяснить экспериментальный эффект;

4) исключать альтернативные гипотезы о теоретических конструктах, объясняющих эту связь.

Валидность критериальная – отражает соответствие диагноза и прогноза, полученного на основе данных тестирования, деятельностным и жизненным показателям; включает в себя текущую и прогностическую валидность.

Валидность содержательная / очевидная / - соответствие целей и процедуры исследования обыденным представлениям испытуемого о природе изучаемого явления. Имеет мотивационное значение для испытуемых.

Бесконечный эксперимент предполагает неограниченное количество опытов, проб для получения все более точных результатов. Увеличение количества проб в эксперименте с одним испытуемым ведет к повышению надежности результатов эксперимента. В экспериментах с группой испытуемых повышение надежности происходит при увеличении числа испытуемых. Однако суть эксперимента состоит именно в том, чтобы на основе ограниченного числа проб или при помощи ограниченной группы испытуемых выявить причинно-следственные связи между явлениями. Поэтому бесконечный эксперимент не только невозможен, но и бессмыслен. Для достижения высокой надежности эксперимента количество проб или число испытуемых должно соответствовать изменчивости изучаемого явления.

Следует отметить, что при увеличении числа испытуемых повышается и внешняя валидность эксперимента, так как его результаты могут быть перенесены на более широкую популяцию. Для проведения экспериментов с группой испытуемых необходимо рассмотреть вопрос об экспериментальных выборках.