Подготовка экспертизы

Определение МДО (множества допустимых оценок).

Перечислим типы МДО и укажем определяющие их задачи оценивания.

1. Ω ={0, 1}. Соответствующая задача попарного сравнения заключается в выявлении лучшего из двух имеющихся объектов a и b:

2. Ω ={(1, 2, …, n)(1.3, …n)…(n, n-1, …1)}. То есть Ω состоит из множества перестановок длины n. Соответствующая задача ранжирования состоит в упорядочивании объектов:

C(Ω)=(i₁, i₂, …, i_n)

3. Ω ={1… l }. Соответствующая задача классификации

С(Ω) = i, если X S_i.

Определение МДО для экспертов Ω _э.

Типы Ω _э те же, что и Ω. Но Ω _э зависит от формы опроса: интервью, анкетирование, метод докладной записки эксперта – высказывание мнения в свободной форме.

Взаимодействие экспертов:

1. Свободный обмен информацией между экспертами.

2. Обмен регламентирован.

3. Эксперты изолированы.

Пункт (2) может иметь вид «Мозговой атаки»: в течение заданного времени любое мнение не может быть отвергнуто и не подлежит обсуждению.

Обратная связь. После обработки можно ознакомить экспертов с результатами и попросить дать повторную оценку.

Известен метод Делфи. После экспертизы проверяется согласованность, а затем, если она недостаточная, экспертам сообщается дополнительная информация и аргументация других экспертов. Затем экспертиза повторяется.

Подбор экспертов. Существуют методы оценки компетентности экспертов. Эксперты могут выставлять свои оценки компетентности себе и другим. Затем эта информация обобщается и используется в алгоритмах оценки.