Процедура экспертного оценивания.

Основные этапы процедуры групповой экспертной оценки:

4.2.1. Определение целей экспертного опроса.

Готовится документ, в котором сформулирована цель экспертизы, основные положения по ее достижению, сроки проведения, задачи, права и обязанности группы организаторов экспертизы и самих экспертов, финансовая и материальная база работ по экспертной деятельности. Для подготовки этого документа и для руководства всей работой назначается руководитель экспертизы.

4.2.2. Формирование организационной группы для проведения экспертиза и подбор экспертов для решения проблемы.

Экспертная группа подбирается следующим образом:

· уяснение решаемой проблемы,

· определение круга областей деятельности, связанных с проблемой,

· определение долевого состава экспертов по каждой области деятельности,

· определение количества экспертов в группе,

· составление предварительного списка экспертов с учетом их местонахождения,

· анализ качеств экспертов и уточнение списка экспертов в группе,

· получение согласия экспертов на участие в работе,

· составление окончательного списка экспертной группы.

После определения численности группы экспертов переходят к оценке компетентности потенциальных экспертов. Компетентность экспертов характеризуют их квалификация, стаж работы в данной сфере, опыт, трудовой стаж и т.д. Рассмотрим этапы оценки компетентности потенциальных экспертов методом взаимооценки:

Оценка профессиональных качеств эксперта методом самооценки предполагает наличие анкет, на вопросы которых потенциальному эксперту предстоит дать самостоятельный ответ. Каждый ответ на вопрос получает определенный весовой коэффициент, соответствующий, с одной стороны, значимости оцениваемого показателя, а с другой – варианту ответа эксперта на данный вопрос. Конкретные числовые значения весовых коэффициентов определяются рабочей группой и не сообщаются потенциальным экспертам.

Из общего числа потенциальных экспертов в состав экспертной группы вводится необходимое количество экспертов с наиболее высокими коэффициентами компетентности.

4.2.3. Формирование вопросов к экспертам.

Если экспертиза проводится письменно, то разрабатываются анкеты для экспертов. Если экспертиза проводится устно, то формулируются вопросы и темы для обсуждения экспертами. Экспертам различных проблемных групп и различной специализации могут быть заданы разные вопросы.

4.2.4. Разработка принципов группового согласования, т.е. правил определения суммарных оценок на основе оценок отдельных экспертов.

Определяют задачи и сроки обработки, процедуры и алгоритмы обработки полученных оценок, силы и средства для непосредственного проведения процедуры обработки данных экспертизы.

4.2.5. Работа с экспертами.

4.2.6. Анализ и обработка экспертных оценок.

При прогнозировании методами коллективных экспертных оценок важно установить среднюю оценку экспертной группы, принимаемую в качестве результата экспертного опроса, оценить, из каких индивидуальных оценок экспертов складывается результирующая величина, достаточно ли согласованы оценки, не является ли результат экспертизы усреднением диаметрально противоположных мнений.

Способ поиска ответов на эти вопросы зависит от характера оценок, полученных от экспертов, который может быть количественным (прогнозируемая величина оценена в количественной шкале) или качественным (в качественной шкале).

Количественные оценки, полученные от экспертов, можно рассматривать как значения некоторой случайной величины (признака). Упорядочив количественные оценки по возрастанию или убыванию, получают так называемый вариационный ряд экспертных оценок. Поэтому для анализа разброса и согласованности оценок применяются обобщенные статистические характеристики – средние, характеристики положения и меры разброса:

Если прогнозируемую величину не удается оценить в количественной шкале, ее оценивают в качественной шкале. Полученные в этом случае качественные оценки могут представлять собой результаты ранжирования, непосредственной оценки, парных сравнений (предпочтений) объектов относительно степени выраженности, наличия у них оцениваемой величины (признака).

4.2.7. Оформление результатов решения.

Результаты решения обычно оформляются в виде экспертного заключения, в котором фиксируется ход исследования проблемы, обоснование методики, формирование альтернатив, процесс проведения экспертизы и ее итоги.

4.3. Метод Дельфи [2], [3], [4], [5]

Метод получил название от древнегреческого города Дельфи, который прославился своим оракулом. Метод был разработан и применен впервые в США в 1964г. сотрудниками научно-исследовательской корпорации РЭНД О.Хелмером и Т.Гордоном.

Суть метода заключается в последовательном анкетировании экспертов, что заменяет открытое высказывание мнений. Используется серия анкет, в каждой из которых содержится информация и мнения, полученные на предыдущем этапе анкетирования.

В основу метода положены 3 принципа:

· анонимность (индивидуальный опрос каждого эксперта; члены экспертной группы не известны друг другу, их взаимодействие при заполнении анкет полностью исключается),

· обратной связи, т.к. после каждого промежуточного тура до участников экспертизы доводятся усредненные статистические данные,

· группового ответа, который формируется с помощью статистических методов.

Методика проведения экспертизы:

1. вопросы в анкетах сводятся к количественной оценке, т.е. могут быть вопросы, касающиеся времени наступления некоторых событий (когда будет создано средство от рака), количественных значений прогнозируемых характеристик, вероятностей наступления некоторых событий (какая вероятность успешной посадки человека на Марс в 2015г.) или влияния отдельных факторов на исследуемую систему; не разрешается использование вопросов, требующих содержательный ответ;

2. опрос экспертов проводится в несколько этапов, на каждом последующем этапе вопросы и ответы все более уточняются;

3. эксперты, оценки и мнения которых отклоняются от мнения большинства, обосновывают их;

4. после каждого этапа всех опрашиваемых экспертов знакомят с результатами опроса;

5. статистическая обработка ответов производится последовательно, от этапа к этапу, для получения обобщающих характеристик. Для оценки согласованности мнений экспертов по всем оцениваемым объектам используют коэффициент конкордации.

Анкета, предоставляемая экспертам в первом туре, содержит только общую формулировку задания экспертизы. На основании заполненных анкет первого тура разрабатывается вторая опросная анкета.

Пусть, например [3], предприятие собирается выводить на рынок новый товар, не имеющий аналогов (назовем его «шурики-мурики»). Понятно, что у маркетологов нет информации о том, как отреагирует на этот товар рынок. Именно в этом случае и необходима экспертная оценка. Постановка проблемы:

Наше предприятие собирается вывести на рынок «шурики-мурики». Он служит для удовлетворения потребности в … Основные потребительские свойства «шуриков-муриков» характеризуются следующими показателями… Предполагается установить цену на этот товар в размере … рублей. Товар ориентирован на потребителей … сегмента … рынка.

Какими, на Ваш взгляд, будут объемы реализации товара на указанном сегменте по годам в течение первых пяти лет?