Анализ экспертных оценок - результаты рейтинга

Задачей последнего этапа исследования была статистическая обработка данных, собранных в ходе опроса экспертов, и построение рейтинга PR-агентств двух категорий на основе этого анализа.

Данные были организованы в виде файла в формате SPSS.

В качестве базового показателя для расчета оценок каждого агентства по каждому из критериев отдельно по двум категориям (" политическое консультирование и выборные технологии" и " бизнес-PR") были использованы средние арифметические значения оценок, поставленных всеми экспертами, оценившими данное агентство (то есть за основу было взято отношение суммы всех выставленных данному агентству по данному критерию оценок к количеству экспертов, которые эти оценки поставили).

С целью более полного отражения собранной в ходе опроса экспертов информации, этот базовый показатель (средние арифметические значения оценок) была скорректирован посредством системы весовых коэффициентов трех типов (все они рассчитывались отдельно по каждой категории рейтинга):

1. Коэффициент " известности агентства". Рассчитывался на основе отношения числа экспертов, оценивших данное агентство хотя бы по одному критерию, к общему числу участвовавших в исследовании экспертов. Полученное отношение функционально " сглаживалось" (коэффициент рассчитывался как корень четвертой степени из этого отношения, что сохраняло порядок распределения и позволяло избежать излишне низких значений коэффициента для агентств, оцененных небольшим количеством экспертов). Цель введения этого коэффициента - учесть реальную известность агентства среди экспертов и предотвратить возможность ситуации, когда агентство, оцененное всего несколькими экспертами, но получившее высокие оценки, выходит на первые позиции в рейтинге. Рассчитанный коэффициент изменяется в пределах от 0, 66 до 1, 16 для категории " политическое консультирование и выборные технологии", и в пределах от 0, 49 до 1, 14 для категории " бизнес-PR". Данный коэффициент применяется к оценкам одного агентства, поставленным всеми экспертами в каждой категории.
2. Коэффициент " информированности эксперта". Рассчитывался на основе отношения числа агентств, оцененных данным экспертом, к числу всех агентств, включенных в данную категорию. К полученному отношению прибавлялся дополнительный показатель, построенный на основе ответов эксперта на вопросы заключительной части анкеты (о частоте пользования PR-услугами и об использовании экспертом различных источников информации о российском рынке PR-услуг). К полученному показателю применялось функциональное преобразование, аналогичное описанному выше для коэффициента " известности агентства". Цель введения данного коэффициента - учесть различный уровень информированности участвующих в исследовании экспертов. Рассчитанный коэффициент изменяется в пределах от 0, 19 до 1, 78 (медиана - 0, 81) для категории " политическое консультирование и выборные технологии", и в пределах от 0, 19 до 1, 70 (медиана - 0, 71) для категории " бизнес-PR". Данный коэффициент применяется к оценкам одного эксперта, поставленным им всем агентствам в данной категории.
3. Коэффициент относительной важности критериев. Коэффициент строился на основе определяемой экспертами степени важности каждого критерия для каждой категории. Коэффициент рассчитывался как отношение значения оценки эксперта для важности данного критерия умноженное на общее число оцененных критериев к сумме оценок для всех критериев. Теоретически рассчитанные таким образом коэффициенты могут варьироваться в пределах от 0, 2 до 3, 5, однако порядка 93-97% рассчитанных значений для каждого из коэффициентов (всего таких коэффициентов 12, по 6 в каждой категории) распределены в интервале от 0, 6 до 1, 2. Данные коэффициенты применяются к оценкам всех агентств, выставленных одним экспертом, причем для каждого критерия в каждой категории используется свой коэффициент. В Таблице 11 приведены средние значения оценок экспертов важности критериев.

Таблица 11. Средние значения оценок относительной важности критериев для двух категорий агентств (критерии оценивались по шкале от 1 до 7)

Оценки PR-агентств по отдельным критериям в каждой категории были получены путем наложения описанных выше весовых коэффициентов на исходные оценки экспертов и расчета средних значений взвешенных таким образом оценок.

Общая оценка агентства, определяющая его место в рейтинге по каждой из категорий, рассчитывается как сумма средних оценок по критериям.

Результаты рейтинга приведены в Приложении.