Лекция 6. Неформальные методы принятия решений

💸 Как сделать бизнес проще, а карман толще?

Тот, кто работает в сфере услуг, знает — без ведения записи клиентов никуда. Мало того, что нужно видеть свое раписание, но и напоминать клиентам о визитах тоже. Проблема в том, что средняя цена по рынку за такой сервис — 800 руб/мес или почти 15 000 руб за год. И это минимальный функционал. Нашли самый бюджетный и оптимальный вариант: сервис VisitTime.
⚡️ Для новых пользователей первый месяц бесплатно. А далее 290 руб/мес, это в 3 раза дешевле аналогов. За эту цену доступен весь функционал: напоминание о визитах, чаевые, предоплаты, общение с клиентами, переносы записей и так далее.
✅ Уйма гибких настроек, которые помогут вам зарабатывать больше и забыть про чувство «что-то мне нужно было сделать».
Сомневаетесь? нажмите на текст, запустите чат-бота и убедитесь во всем сами!

В реальных условиях возникают ситуации, когда несколько человек с одинаковыми намерениями стремятся найти хорошее решение. Такой процесс носит название группового выбора. Пусть на множестве альтернатив

задано n различных индивидуальных предпочтений R1, R2, …, Rn. Ставится задача о выработке некоторого нового отношения R, которое выражает в каком-то смысле “общее мнение» и принимается за групповой выбор.

Распространенным способом получения отношения R является процедура голосования. В этой процедуре основным принципом является правило большинства: принятой всеми считается альтернатива, получившая наибольшее число голосов. Правило большинства привлекательно своей простотой, но имеет некоторые особенности. Дело в том, что оно лишь обобщает индивидуальные предпочтения, и его результат не является критерием истины. Только дальнейшая практика показывает, правильным или ошибочным было решение, принятое большинством голосов. Большинство здесь понимается – или как простое большинство (> 50 %), или как «квалифицированное» (> 2/3), или как абсолютное (~100 %).

Другая особенность голосования – невозможность выбора из-за недостижения требуемого большинства. Например, пусть три эксперта большинством голосов решают вопрос, какая из двух альтернатив более предпочтительна. При такой постановке вопроса они не могут не сделать выбор.

Но, предположим, эти эксперты предлагают свои варианты развития некоторой системы a, в и с соответственно. Каждый эксперт руководствуется при этом собственным набором предпочтений. Пусть это последовательности а> в> с, в> с> а, с> а> в.

После голосования по паре (а, в) в результате получается два голоса против одного: а> в; по паре (в, с) в> с и по паре (с, а) с> а, также с перевесом двух голосов против одного. Таким образом, голосование не привело к выяснению " общепризнанного" порядка альтернатив, поскольку в результате а> в> с> а.

Причина данного явления называется парадоксом нетранзитивности группового выбора. Она объясняется цикличностью совокупности индивидуальных предпочтений. Однако это лишь частный пример более общего явления, получившего название парадокса Эрроу, смысл которого в следующем.

Выделим требования, выражающие наше понимание того, какой выбор можно считать согласованным:

1) если в результате группового выбора предпочтение было отдано альтернативе х, то это решение не должно меняться, если кто-нибудь из ранее отвергавших х изменил свое предпочтение в ее пользу (условие монотонности);

2) если изменения индивидуальных предпочтений не коснулись определенных альтернатив, то в новом групповом упорядочении порядок этих альтернатив не должен меняться (условие независимости альтернатив);

3) для любой пары альтернатив х и y существует такой набор индивидуальных предпочтений, для которого х> y (условие суверенности);

4) не должно быть такого эксперта, для которого из его предпочтения х> y вытекает, что R=(х> y), независимо от предпочтений других экспертов (условие отсутствия диктаторства).

Парадокс Эрроу состоит в том, что первые три условия противоречат четвертому; не существует правила R, удовлетворяющего всем требованиям.

Задачи группового выбора часто все же могут быть разрешены. Во-первых, в ряде случаев циклические ранжирования могут отсутствовать либо они не охватывают «наиболее важные» альтернативы, либо принимаются меры по их обнаружению и устранению. Во-вторых, во многих ситуациях «диктаторский» принцип согласования может оказаться приемлемым. В-третьих, переход (когда это возможно) к использованию единой числовой, а не порядковых индивидуальных шкал предпочтений может вообще устранить проблему нетранзитивности.

Основная идея экспертных методов состоит в том, чтобы использовать интеллект людей, их способность искать и находить решение слабо формализованных задач. В методиках организации экспертных оценок внимание уделяется созданию благоприятных условий и нейтрализации факторов, неблагоприятно влияющих на работу экспертов.

Под экспертными оценками понимают комплекс логических и математических процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выработки рациональных решений.

Очень важную роль при этом играют факторы психологического характера. Прежде всего, эксперты должны быть освобождены от ответственности за результат экспертизы. Дело не только в том, что ЛПР не должно возлагать ответственность на других, но и в том, что сама ответственность накладывает психологические ограничения на характер выбора, а этого на стадии оценки альтернатив желательно избежать. Приходится также учитывать, что оценка, даваемая экспертом, может зависеть от межличностных отношений с другими экспертами и иногда от того, известна ли его оценка другим лицам. На ход экспертизы может повлиять и личная заинтересованность эксперта, т.е. его необъективность.

С другой стороны, сложность проблемы обычно выходит за рамки возможностей одного человека, а коллективная деятельность обычно открывает дополнительные возможности для взаимного стимулирования экспертов.

В разных случаях используют методики экспертиз, имеющие различные степень и характер взаимного влияния экспертов друг на друга:

· анонимные и открытые опросы и анкетирование,

Рассмотрим простейший вариант. Экспертам раздают анкеты с просьбой оценить предлагаемые альтернативы. Заполненные анкеты собирают, обрабатывают и полученную информацию в некотором обобщенном виде передают ЛПР.

Предположим, что эксперты оценивают альтернативы в числовых шкалах. Пусть Z_j(X_i) – оценка i -й альтернативы j -м экспертом (i =1, …, n; j =1, …, m). Оценки Z₁(X_i), … Z_m(X_i) можно рассматривать как «измерения» искомой «истинной» характеристики Z(X_i). В качестве приближения можно использовать выборочное среднее

Сложнее обстоит дело, когда альтернативы нельзя оценить сразу одним числом и экспертам предлагается дать оценки отдельно по каждому показателю. Например, оценка качества электроэнергии складывается из оценок несимметричности фаз, несинусоидальности токов, отклонений частоты от номинальной. В таких случаях имеем набор чисел Z_jk (X_i), где k – номер признака. Кроме этих чисел экспертов просят оценить степень важности λ _jk каждого показателя. Тогда

Естественно придать различные приоритеты («веса») мнениям экспертов, имеющих разную квалификацию. Определение коэффициента а_i компетентности j -го эксперта можно поручить самим экспертам. Пусть каждый из них (l -й) оценивает компетентность других экспертов числами 0≤ а_lj ≤ 1, при этом и свою собственную числом a_ll.

В тех случаях, когда эксперты лишь упорядочивают альтернативы, т.е. используют только порядковую шкалу, необходимость арифметических операций отпадает.

Методы экспертных оценок можно разделить на две группы:

· методы коллективной работы экспертной группы;

· методы получения индивидуального мнения членов экспертной группы.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе. Методы коллективной работы включают методы «мозговой атаки», «сценариев», «деловых игр», «совещаний» и «суда».

Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы «Делфи». Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Качественные методы системного анализа и принятия решений применяются, когда отсутствуют описания закономерностей систем в виде аналитических зависимостей.

Изучению возможностей и особенностей применения методов экспертных оценок посвящено много работ, в том числе имеется ряд обзоров. Термин «эксперт» происходит от латинского слова expert, означающий «опытный». Неизвестная характеристика исследуемого явления трактуется при этом обычно как случайная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значимости того или иного события. Когда такие оценки получены от группы экспертов, предполагается, что истинное значение исследуемой характеристики находится внутри диапазона оценок и что обобщенное коллективное мнение является достоверным.

Применение классического частотного подхода к оценке вероятности при проведении экспертной оценки бывает затруднительным, а иногда и просто невозможным, так как исчисление вероятностей основано на законе больших чисел, выполнение которого предполагает массовый характер исследуемых явлений и наличия большого числа подтверждений в прошлом.

При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным. Но одновременно со ссылкой на экспериментальные исследования утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. К числу таких требований относится: распределение оценок, полученных от экспертов, должно быть «гладким»; две групповые оценки, данные двумя одинаковыми подгруппами, выбранными случайным образом, должны быть близки.

Все множество проблем, решаемых методами экспертных оценок, делится на два класса. К первому относятся такие, в отношении которых имеется достаточное обеспечение информацией.

При этом методы опроса и обработки основываются на использовании принципа «хорошего измерителя», т. е. эксперт – качественный источник информации; групповое мнение экспертов близко к истинному решению. Применяются формальные приемы обработки индивидуальных экспертных оценок. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости указанных гипотез недостаточно. В этом случае экспертов ухе нельзя рассматривать как «хороших измерителей» и необходимо осторожно подходить к обработке результатов экспертизы во избежание больших ошибок.

В литературе в основном рассматриваются вопросы экспертного оценивания для решения задач первого класса. Но и в этой ситуации необходимо помнить особенности экспертных оценок: они несут в себе как узкосубъективные черты, присущие каждому эксперту, так и коллективно-субъективные, присущие коллегии экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, какие бы способы обработки ни применялись.

Для реализации методов экспертных оценок важную роль играет тщательная подготовка их проведения.

При формулировке цели экспертизы разработчик прогноза должен выработать четкое представление о том, кем и для каких целей будут использованы результаты прогноза.

− повышение обоснованности решений, принимаемых плановыми органами;

− оценку развития различных направлений научных исследований и технических идей и т. д.

В первом случае задача прогноза в основном состоит в определении желательности и необходимости отдельных событий и сроков их свершения. В других случаях задача прогноза должна состоять в определении принципиальной осуществимости и возможности свершения ряда событий в течение определенных промежутков времени.

Успех организации экспертизы во многом зависит от разработки рабочей программы экспертной оценки; оценки типа интервью, «докладная записка», метод комиссии, метод отнесенной оценки и др.

Решение задачи о выборе группы (коллектива) экспертов проводится в такой последовательности:

1. Составляется список вопросов, по которым желательно получить мнение экспертов.

2. Составляется список экспертов, включающий по возможности такое их число, чтобы априори можно быть более или менее уверенным в том, что эксперты могут в совокупности дать заключение по всему множеству вопросов списка.

3. Список вопросов рассылается каждому эксперту с просьбой определить свою компетентность по каждому вопросу, т.е. определить, сможет или не сможет он компетентно участвовать в рассмотрении данного вопроса при экспертизе.

4. Рассчитываются необходимые затраты времени и средств на проведение опроса каждого эксперта.

5. Ставится и решается задача об экспертах, т. е. задача осуществления такого выбора экспертов, чтобы по каждому вопросу можно было получить заключение, по крайней мере, одного эксперта и чтобы при этом затраты времени или средств на проведение опроса экспертов были минимальны.

При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации

m – количество экспертов, j= ; n – количество рассматриваемых свойств, i= ; r_ij – место, которое заняло i -е свойство в ранжировке j -м экспертом; d_i – отклонение суммы рангов по j -му свойству от среднего арифметического сумм рангов по n свойствам.

Коэффициент конкордации W позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах 0≤ W≤ 1; W=0 означает полную противоположность, а W= 1 ‒ полное совпадение ранжировок. Практически достоверность считается хорошей, если W=0, 7...0, 8.

Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием следующих причин: в рассматриваемой совокупности экспертов действительно отсутствует общность мнений; внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.

Для наглядности представления о степени согласованности мнений двух любых экспертов А и В служит коэффициент парной ранговой корреляции

где Ψ _i – разность (по модулю) величин рангов оценок i -го свойства, назначенных экспертами А и В: Ψ _i=

;

T_A и T_B – показатели связанных рангов оценок экспертов А и В.

Коэффициент парной ранговой корреляции принимает значения ‒

1 ≤ р≤ +1. Значение р=+1 соответствует полному совпадению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), а р= -1 – двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого).

Помощь экспертов при принятии решений в сложных ситуациях неоценима. Однако существуют естественные пределы человеческих способностей при восприятии и обработке информации. Работу экспертов лимитируют не только межличностные отношения, но и внутренние психологические и физиологические причины. Оказывается, человек одновременно может оперировать лишь небольшим числом операндов (понятий, идей, моделей, альтернатив и т.д.). Психологи, говоря о пределе возможностей человека, иногда называют это законом «семь плюс-минус два». Кроме того, столкнувшись с очень сложной задачей, эксперт иногда проявляет непостоянство, неуверенность, нелогичность, стремление к резкому ее упрощению. Наконец, в ряде случаев играет роль и низкое быстродействие нервной и мышечной систем человека.

Во всех этих отношениях возможности ЭВМ превосходят способности человека, и возникает простая, но очень плодотворная идея создания единой системы, которая объединила бы возможности человека и машины и компенсировала их недостатки

6.3. Методы типа мозговой атаки или коллективной генерации идей

Концепция «мозговой атаки» получила широкое распространение с начала 50-х годов как метод систематической тренировкитворческого мышления, нацеленный на открытке новых идейи достижение согласия группы людей на основе интуитивногомышления. Методы этого типа известны также под названиями«мозговой штурм», «конференция идей», а в последнее время наибольшее распространение получил термин «коллективная генерация идей» (КГИ).

Обычно при проведении мозговой атаки или сессий КГИ стараются выполнять определенные правила, суть которых:

· обеспечить как можно большую свободу мышления участников КГИ и высказывания ими новых идей;

· приветствуются любые идеи, если вначале они кажутся сомнительными или абсурдными (обсуждение и оценка идей производится позднее);

· не допускается критика, не объявляется ложной и не прекращается обсуждение ни одной идеи;

· желательно высказывать как можно больше идей, особенно нетривиальных.

В зависимости от принятых правил и жесткости их выполнения различают прямую мозговую атаку, метод обмена мнениями и другие виды коллективного обсуждения идей и вариантов принятия решений. В последнее время при организации сессий КГИ стараются ввести правила, помогающие сформировать некоторую систему идей, т. е. предлагается, например, считать наиболее ценными те из них, которые связаны с ранее высказанными и представляют собой их развитие и обобщение. Участникам КГИ не разрешается зачитывать списки предложений, которые они подготовили заранее. В то же время, чтобы предварительно нацелить внимание участника на обсуждаемый вопрос, при организации сессий КГИ заранее или перед началом сессии участникам представляется некоторая предварительная информация об обсуждаемой проблеме в письменной или устной форме.

Подобием сессий КГИ можно считать разного рода совещания – конструктораты, заседания научных советов по проблемам, заседания специально создаваемых временных комиссий и другие собрания компетентных специалистов.

Так как на практике организационно трудно собрать специалистов из-за занятости по основной работе, поэтому желательно применять способы привлечения компетентных специалистов, не требующие обязательного их присутствия на общих собраниях КГИ и устного высказывания своих соображений хотя бы на первом этапе системного анализа, при формировании предварительных вариантов.

Методы подготовки и согласования представлений о проблеме или анализируемом объекте, изложенные в письменном виде, получили название сценария. Первоначально этот метод предполагал подготовку текста, содержащего логическую последовательность событий или возможные варианты решения проблемы, развернутые во времени. Однако позднее обязательное требование явно выраженных временных координат было снято, и сценарием стали называть любой документ, содержащий анализ рассматриваемой проблемы или предложения по ее решению, по развитию системы независимо от того, в какой форме он представлен. Как правило, предложения для подготовки подобных документов пишутся вначале индивидуально, а затем формируется согласованный текст.

Сценарий предусматривает не только содержательные рассуждения, которые помогают не упустить детали, обычно не учитываемые при формальном представлении системы (в этом собственно и заключалась первоначально основная роль сценария), но и содержит, как правило, результаты количественного технико-экономического или статистического анализа с предварительными выводами, которые можно получить на их основе. Группа экспертов, подготавливающих сценарии, пользуется обычно правом получения необходимых справок от предприятий и организаций, необходимых консультаций соответствующих специалистов. В последнее время понятие сценариев все больше расширяется как в направлениях областей применения, так и форм представления и методов их разработки: в сценарий не только вводятся количественные параметры и устанавливаются их взаимосвязи, но и предлагаются методики составления сценариев с использованием ЭВМ, методики целевого управления подготовкой сценария.

На практике по типу сценариев разрабатывались прогнозы в некоторых отраслях промышленности. В настоящее время разновидностью сценариев можно считать предложения к комплексным программам развития отраслей народного хозяйства, подготавливаемые организациями или специальными комиссиями. Существенную помощь в подготовке таких документов могут оказать ведущим специалистам (как правило, крайне занятым административной работой) специалисты по системному анализу. Последние могут, опираясь на знание общих закономерностей развития систем, предварительно анализировать внешние и внутренние факторы, влияющие на развитие, определить источники этих факторов, целенаправленно проанализировать высказывания ведущих, специалистов в научных публикациях, периодической печати и других источниках научной информации. Весьма перспективной представляется разработка специализированных информационно-поисковых систем, как документальных, так и фактографического типа, накапливающих прогнозную информацию не только непосредственно по данной отрасли, но и по смежным отраслям, развитие которых может повлиять на развитие данной отрасли, на принятие решений по выбору наилучшего варианта.

Сценарий является предварительной информацией, на основе которой проводится дальнейшая работа по прогнозированию развития отрасли или по разработке вариантов проекта. Он может быть подвергнут анализу, чтобы исключить из дальнейшего рассмотрения то, что в учитываемом периоде находится на достаточном уровне развития, если речь идет о прогнозе, или, напротив, то; что не может быть обеспечено в планируемом периоде, если речь идет о проекте. Таким образом, сценарий помогает составить представление о проблеме, а затем приступить к более формализованному представлению системы в виде графиков» таблиц для проведения экспертного опроса и других методов системного анализа.

Характерный для середины XX в. бурный рост науки и техники вызвал большие перемены в отношении к оценкам будущего развития систем. Одним из результатов этого периода в развитии методов анализа сложных систем явилась разработка методов экспертной оценки, известных в литературе как «методы Дельфи». Название этих методов связано с древнегреческим городом Дельфи, где при храме Аполлона с IX в. до н. э. до IV в. н. э. по преданиям существовал Дельфийский оракул.

Суть метода Дельфи заключается в следующем. В отличие от традиционного подхода к достижению согласованности мнений экспертов путем открытой дискуссии метод Дельфи предполагает полный отказ от коллективных обсуждений. Это делается для того, чтобы уменьшить влияние таких психологических факторов, как присоединение к мнению наиболее авторитетного сцепиалиста, нежелание отказаться от публично выраженного мнения, следование за мнением большинства. В методе Дельфи прямые дебаты заменены тщательно разработанной программой последовательных индивидуальных опросов, проводимых обычно в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой сходимости совокупности высказанных мнений. Результаты эксперимента показали приемлемую сходимость оценок экспертов после пяти туров опроса.

Метод Дельфи первоначально был предложен О. Хелмером как итеративная процедура при проведении мозговой атаки, которая должна помочь снизить влияние психологических факторов при проведении повторных заседаний и повысить объективность результатов. Однако почти, одновременно Дельфи-процедуры стали основным средством повышения объективности экспертных опросов с использованием количественных оценок при оценке деревьев цели и при разработке сценариев.

Основные средства повышения объективности результатов при применении Дельфи-метода: использование обратной связи, ознакомление экспертов с результатами предшествующего тура опроса и учет этих результатов при оценке значимости мнений экспертов. Процедура Дельфи-метода:

1) в упрощенном виде организуется последовательность циклов мозговой атаки;

2) в более сложном виде разрабатывается программа последовательных индивидуальных опросов обычно с помощью вопросников» исключая контакты между экспертами, но предусматривающая ознакомление их с мнениями друг друга между турами; вопросники от тура к туру могут уточняться;

3) в наиболее развитых методиках экспертам присваиваются весовые коэффициенты значимости их мнений, вычисляемые на основе предшествующих опросов» уточняемые от тура к туру и учитываемые при получении обобщенных результатов оценок.

Для повышения результативности опросов и активизации экспертов иногда сочетают процедуру Дельфи с элементами деловой операционной игры: эксперту предлагается не только проводить самооценку, но поставить себя на место конструктора, которому реально поручено выполнить проект. Или, по крайней мере, иметь в виду, что его оценка рассматривается одновременно и как некоторое обязательство взяться за реальное осуществление проекта.

Первое практическое применение метода Дельфи к решению некоторых задач Министерства обороны США, осуществленное RAND Corporacion во второй половине 40-х годов, показало его эффективность и целесообразность распространения на широкий класс задач, связанных с оценкой будущих событий. Так, в 1964 г. было проведено исследование возможностей долгосрочного прогнозирования методом Дельфи той же RAND Corporacion. В экспертной оценки приняли участие 82 специалиста. Они были разделены на шесть групп в соответствии с характером исследуемых проблем:

Результаты статистической обработки мнений экспертов позволили нарисовать вероятную картину будущего мира в указанных шести аспектах. Была оценена также степень согласованности мнений экспертов, которая оказалась приемлемой после проведения четырех туров опроса.

− значительный расход времени на проведение экспертизы, связанный с большим количеством последовательных повторений оценок;

− необходимость неоднократного пересмотра экспертом своих ответов вызывает у него отрицательную реакцию, что сказывается на результатах экспертизы.

Достоинством метода Делфи является использование обратной связи в ходе опроса, что значительно повышает объективность экспертных оценок. Однако данный метод требует значительного времени на реализацию всей многоэтапной процедуры

Метод Делфи показал на практике высокую эффективность.

В 60-е годы область практического применения метода Дельфи значительно расширилась, однако присущие ему ограничения привели к возникновению других методов, использующих экспертные оценки. Среди этих методов особого внимания заслуживают методы QUEST, SEER, PATTERN.

Метод QUEST (Qualitative Utility Estimates for Science and Technology, что означает «количественные оценки полезности науки и техники») был разработан для целей повышения эффективности решений по распределению ресурсов, выделяемых на исследования и разработки. В основу метода положена идея распределения ресурсов на основе учета возможного вклада (определяемого методом экспертной оценки) различных отраслей и научных направлений в решение определенного круга задач. Особенностями применения метода QUEST являются: привлечение широкого круга высококвалифицированных специалистов в различных областях науки и техники, а также представление экспертам разнообразной достоверной и релевантной информации.

Метод SEER (System for Event Evaluation and Review) – система оценок и обзора событий. В этом методе предусмотрено всего два тура оценки. В каждом туре привлекается различный состав экспертов. Эксперты первого тура – наиболее квалифицированные специалисты из органов, принимающих решения, и специалисты в области естественных и технических наук. Эксперт каждого тура не возвращается к рассмотрению своих ответов, за исключением тех случаев, когда его ответ выпадает из некоторого интервала, в котором находится большинство оценок (например, интервала, в котором находится 90% всех оценок).