Измерение качества.

Качество – это обобщенное понятие, которое может относиться к продукции, услугам, процессам, труду и любой другой деятельности, включая физическую культуру и спорт.

Качественными называются показатели, не имеющие определенных единиц измерения. Таких показателей в физическом воспитании, и особенно в спорте, много: артистичность, выразительность в гимнастике, фигурном катании на коньках, прыжках в воду; зрелищность в спортивных играх и единоборствах и т. д. Для количественной оценки таких показателей используются методы квалиметрии.

Квалиметрия — это раздел метрологии, изучающий вопросы измерения и количественной оценки качественных показателей. Измерение качества - это установление соответствия между характеристиками таких показателей и требованиями к ним. При этом требования («эталон качества») не всегда могут быть выражены в однозначной и унифицированной для всех форме. Специалист, который оценивает выразительность движений спортсмена, мысленно сопоставляет то, что он видит, с тем, что он представляет как выразительность.

На практике, однако, качество оценивается не по одному, а по нескольким признакам. При этом наивысшая обобщенная оценка не обязательно соответствует максимальным значениям по каждому признаку.

В основе квалиметрии лежит несколько исходных положений:

- любое качество можно измерить; количественные методы издавна применяются в спорте для оценки красоты и выразительности движений, а в настоящее время используются для оценки всех без исключения сторон спортивного мастерства, эффективности тренировочной и соревновательной деятельности, качества спортивного инвентаря и т.д;

- качество зависит от ряда свойств, образующих «древо качества».

Пример: древо качества исполнения упражнений в фигурном катании на коньках, состоящее из трех уровней – высшего (качество исполнения композиции в целом), среднего (техника исполнения и артистизм) и низшего (измеряемые показатели, характеризующие качество исполнения отдельных элементов);

- каждое свойство определяется двумя числами: относительным показателем К и весомостью М;

- сумма весомостей свойств на каждом уровне равна единице (или 100%).

Относительный показатель характеризует выявленный уровень измеряемого свойства (в процентах от его максимально возможного уровня), а весомость - сравнительную важность разных показателей. Например, фигурист получил за технику исполнения оценку Кс = 5, 6 балла, а за артистизм – оценку Кт = 5, 4 балла. Весомости техники исполнения и артистизма в фигурном катании на коньках признаны одинаковыми (Мс = Мт =1, 0). Поэтому общая оценка Q = Мс Кс + Мт Кт составила 11, 0 балла.

Методические приемы квалиметрии делятся на две группы: эвристические (интуитивные) – основанные на экспертных оценках и анкетировании – и инструментальные или аппаратурные.

Проведение экспертизы и анкетирования – это отчасти техническая работа, предполагающая строгое соблюдение определенных правил, а отчасти – искусство, требующее интуиции и опыта.

Метод экспертных оценок. Экспертной называется оценка, получаемая путем выяснения мнений специалистов. Эксперт (от лат. еxpertus – опытный) – сведущее лицо, приглашаемое для решения вопроса, требующего специальных знаний. Этот метод позволяет с помощью специально выбранной шкалы произвести требуемые измерения субъективными оценками спе­циалистов-экспертов. Такие оценки—случайные величины, они могут быть обработаны некоторыми методами многомерного ста­тистического анализа.

Как правило, экспертное оценивание или экспертиза проводит­ся в виде опроса или анкетирования группы экспертов. Анкетой называется опросный лист, содержащий вопросы, на которые нужно ответить письменно. Техника экспертизы и анкетирования – это сбор и обобщение мнений отдельных людей. Девиз экспертизы – «Ум хорошо, а два лучше!». Характерные примеры экспертизы: судейство в гимнастике и фигурном катании на коньках, конкурс на звание лучшего по профессии или лучшую научную работу и т.п.

К мнению специалистов обращаются всякий раз, когда осуществить измерения более точными методами невозможно или очень трудно. Порой лучше получить приблизительное решение немедленно, нежели долго искать пути точного решения. Но субъективная оценка значительно зависит от индивидуальных особенностей эксперта: квалификации, эрудиции, опыта, личных вкусов, состояния здоровья и т.п. Поэтому индивидуальные мнения рассматриваются как случайные величины и обрабатываются статистическими методами. Таким образом, современная экспертиза – это система организационных, логических и математико-статистических процедур, направленных на получение от специалистов информации и анализ ее с целью выработки оптимальных решений. И лучший тренер (педагог, руководитель и т.п.) тот, который опирается одновременно на собственный опыт, и на данные науки, и на знания других людей.

Методика групповой экспертизы включает в себя: 1) формулировку задач; 2) отбор и комплектование группы экспертов; 3) составление плана экспертизы; 4) проведение опроса экспертов; 5) анализ и обработку полученной информации.

Подбор экспертов – важный этап экспертизы, так как достоверные данные можно получить не от всякого специалиста. Экспертом может быть человек: 1) обладающий высоким уровнем профессиональной подготовки; 2) способный к критическому анализу прошлого и настоящего и к прогнозированию будущего; 3) психологически устойчивый, не склонный к соглашательству.

Есть и другие важные качества экспертов, но указанные выше должны быть обязательно. Так, например, профессиональная компетентность эксперта определяется: а) по степени близости его оценки к среднегрупповой; б) по показателям решения тестовых задач.

Для объективной оценки компетентности экспертов могут быть составлены специальные анкеты, отвечая на вопросы которых в течение строго определенного времени, кандидаты в эксперты должны продемонстрировать свои знания. Кроме того, полезно предложить им заполнить анкету самооценки своих знаний. Опыт показывает, что люди с высокой самооценкой ошибаются меньше других.

Другой подход к отбору экспертов основан на определении эффективности их деятельности. Абсолютная эффективность деятельности эксперта определяется отношением числа случаев, когда эксперт верно предсказал дальнейший ход событий, к общему числу экспертиз, проведенных данным специалистом. Например, если эксперт участвовал в 10 экспертизах и 6 раз его точка зрения подтвердилась, то эффективность деятельности такого эксперта равна 0, 6. Относительная эффективность деятельности эксперта – это отношение абсолютной эффективности его деятельности к средней абсолютной эффективности деятельности группы экспертов. Объективная оценка пригодности эксперта определяется по формуле:

DМ=| M-Mист |,

где Мист — истинная оценка; М — оценка эксперта.

Желательно иметь однородную группу экспертов, но если это не удается, то для каждого из них вводится ранг. Очевидно, что эксперт представляет тем большую ценность, чем выше показатели его деятельности. Для повышения качества экспертизы стараются повысить квалификацию экспертов путем специального обучения, тренировок и ознакомления с возможно более обширной объективной информацией по анализируемой проблеме. Судей во многих видах спорта можно рассматривать как своеобразных экспертов, оценивающих мастерство спортсмена (например, в гимнастике) или ход поединка (например, в боксе).

Подготовка и проведение экспертизы. Подготовка экспертизы сводится в основном к составлению плана ее проведения. Наиболее важными его разделами являются подбор экспертов, организация их работы, формулировка вопро­сов, обработка результатов.

Существует несколько способов проведения экспертизы. Наиболее простой из них— ранжирование, которое состоит в определении относительной значимости объектов экспертизы на основе их упорядочения. Обычно наиболее предпочтительному объекту приписывается наивысший (первый) ранг, наименее предпочтительному — последний ранг.

После оценивания объект, получивший у экспертов наибольшее предпочтение, получает наименьшую сумму рангов. Напомним, что в принятой оценочной шкале ранг определяет только место объекта относительно других объектов, подвергшихся экспертизе. Но оценить, насколько далеко эти объекты отстоят друг от друга, ранжирование не позволяет, В связи с этим метод ранжирования используется сравнительно редко.

Большее распространение получил метод непосредственной оценки объектов по шкале, когда эксперт помещает каждый объект в определенный оценочный интервал. Третий метод экспертизы: последовательное сравнение факторов.

Сравнение объектов экспертизы с помощью этого метода проводится так:

1) вначале они ранжируются в порядке значимости;

2) наиболее важному объекту приписывается оценка, равная единице, а остальным (тоже и порядке: значимости) — оценки меньше единицы — до нуля;

3) эксперты решают, будет ли оценка первого объекта превосходить по значимости все остальные. Если да, то оценка " веса" этого объекта увеличивается еще больше; если нет, то тогда принимается решение уменьшить его оценку;

4) эта процедура повторяется до тех пор, пока не будут оценены все объекты.

И наконец, четвертый метод— метод парного сравнения —основан на попарном сравнении всех факторов. При этом устанавливается в каждой сравниваемой паре объектов наиболее весомый (он оценивается баллом 1). Второй объект этой пары оценивается в 0 баллов.

Широкое распространение в физической культуре и спорте получил такой метод экспертных оценок, как анкетирование. Анкета здесь представлена как последовательный набор вопросов, по ответам на которые судят об относительной важности рассматриваемого свойства или о вероятности свершения каких-либо событий.

При составлении анкет наибольшее внимание уделяется четкой и осмысленной формулировке вопросов. По своему характеру они подразделяются на следующие типы:

1) вопрос, при ответе на который необходимо выбрать одно из заранее сформулированных мнений (в некоторых случаях каждому из этих мнений эксперт должен дать количественную оценку в шкале порядка);

2) вопрос о том, какое решение принял бы эксперт в определенной ситуации (и здесь возможен выбор нескольких решений с количественной оценкой предпочтительности каждого из них);

3) вопрос, требующий оценить численные значения какой-либо величины.

Опрос может проводиться как очно, так и заочно в один или несколько туров.

Развитие вычислительной техники позволяет проводить анкетирование в режиме диалога с ЭВМ. Особенностью диалогового метода является составление математической программы, предусматривающей логическое построение вопросов и очередность их воспроизведения на дисплее в зависимости от типов ответов на них. В память машины закладываются стандартные ситуации, позволяющие контролировать правильность ввода ответов, соответствие численных значений диапазону реальных данных. ЭВМ контролирует возможность ошибок и в случае их появления находит причину и указывает на нее.

В последнее время квалиметрические методы (экспертиза, анкетирование и др.) все чаще используются для решения оптимизационных задач (оптимизация соревновательной деятельности, тренировочного процесса). Современный подход к задачам оптимизации связан с имитационным моделированием соревновательной и тренировочной деятельности. В отличие от других видов моделирования при синтезе имитационной модели наряду с математически точными данными используется квалитативная информация, собираемая методами экспертизы, анкетирования и наблюдения. Например, при моделировании соревновательной деятельности лыжников нельзя точно предсказать коэффициент скольжения. Его вероятную величину можно оценить путем опроса специалистов по смазке лыж, знакомых с климатическими условиями и особенностями трассы, на которой будут проходить соревнования.

ВОПРОСЫ ДЛЯ САМОКОНТРОЛЯ

1. Какие параметры являются основными измеряемыми и контролируемыми в современной теории и практике спорта?

2. Почему изменчивость является одной из особенностей спортсмена, как объекта измерений?

3. Почему следует стремиться снизить число измеряемых переменных контролирующих состояние спортсмена?

4. Что характеризует квалитативность при исследованиях в спорте?

5. Какую возможность предоставляет спортсмену адаптивность?

6. Что называется тестом?

7. Каковы метрологические требования к тестам?

8. Какие тесты называются добротными?

9. В чем разница между нормативно-ориентированным и критериально-ориентированным тестом?

10. Какие существуют разновидности двигательных тестов?

11. В чем разница гомогенных тестов от гетерогенных?

12. Какие требования должны соблюдаться для стандартизации проведения тестирования?

13. Что называется надежностью теста?

14. Что вносит погрешность в результаты тестирования?

15. Что понимают под стабильностью теста?

16. От чего зависит стабильность теста?

17. Чем характеризуется согласованность теста?

18. Какие тесты называются эквивалентными?

19. Что понимают под информативностью теста?

20. Какие существуют методы определения информативности тестов?

21. В чем суть логического метода определения информативности тестов?

22. Что обычно используют в качестве критерия при определении информативности тестов?

23. Как поступают при определении информативности тестов, когда отсутствует единичный критерий?

24. Что называется педагогической оценкой?

25. По какой схеме происходит оценивание?

26. Какими способами можно перевести результаты тестирования в баллы?

27. Что такое шкала оценок?

28. Каковы особенности пропорциональной шкалы?

29. В чем отличия прогрессирующей шкалы от регрессирующей?

30. В каких случаях применяются сигмовидные шкалы оценок?

31. В чем достоинство перцентильной шкалы?

32. Для чего могут использоваться шкалы выбранных точек?

33. Для каких целей используется шкала ГЦОЛИФКа?

34. Какие существуют варианты оценки результатов тестирования спортсменов по комплексу тестов?

35. Что называется нормой в спортивной метрологии?

36. На чем основаны индивидульные нормы?

37. Как устанавливаются должные нормы в спортивной практике?

38. Как составляются большинство возрастных норм?

39. Какие существуют характеристики норм?

40. Что изучает квалиметрия?

41. В каком виде проводится экспертное оценивание?

42. Какими качествами должен обладать эксперт?

43. Как определяется объективная оценка пригодности эксперта?