Качественные методы описания систем

Качественные методы системного анализа применяются, когда отсутствуют описания закономерностей систем в виде аналитических зависимостей.

Методы типа мозговой атаки или коллективной генерации идей. Концепция «мозговой атаки» получила широкое распространение с начала 50-х годов как метод систематической тренировки творческого мышления, нацеленный на открытие новых идей и достижение согласия группы людей на основе интуитивного мышления. Методы этого типа известны также под названиями «мозговой штурм», «конференция идей», а в последнее время наибольшее распространение получил термин «коллективная генерация идей» (КГИ).

Обычно при проведении мозговой атаки или сессий КГИ стараются выполнять определенные правила, суть которых:

обеспечить как можно большую свободу мышления участников КГИ и высказывания ими новых идей;

приветствуются любые идеи, если вначале они кажутся сомнительными или абсурдными (обсуждение и оценка идей производится позднее);

не допускается критика, не объявляется ложной и не прекращается обсуждение ни одной идеи;

желательно высказывать как можно больше идей, особенно нетривиальных.

В зависимости от принятых правил и жесткости их выполнения различают прямую мозговую атаку, метод обмена мнениями и другие виды коллективного обсуждения идей и вариантов принятия решений. В последнее время при организации сессий КГИ стараются ввести правила, помогающие сформировать некоторую систему идей, т. е. предлагается, например, считать наиболее ценными те из них, которые связаны с ранее высказанными и представляют собой их развитие и обобщение. Участникам КГИ не разрешается зачитывать списки предложений, которые они подготовили заранее. В то же время, чтобы предварительно нацелить внимание участника на обсуждаемый вопрос, при организации сессий КГИ заранее или перед началом сессии участникам представляется некоторая предварительная информация об обсуждаемой проблеме в письменное или устной форме.

Подобием сессий КГИ можно считать разного рода совещания — конструктораты, заседания научных советов по проблемам, заседания специально создаваемых временных комиссий и другие собрания компетентных специалистов.

Так как на практике организационно трудно собрать специалистов из-за занятости по основной работе, поэтому желательно применять способы привлечения компетентных специалистов, не требующие обязательного их присутствия на общих собраниях КГИ и устного высказывания своих соображений хотя бы на первом этапе системного анализа, при формировании предварительных вариантов.

Методы типа сценариев. Методы подготовки и согласования представлений о проблеме или анализируемом объекте, изложенные в письменном виде, получили название сценария. Первоначально этот метод предполагал подготовку текста, содержащего логическую последовательность событий или возможные варианты решения проблемы, развернутые во времени. Однако позднее обязательное требование явно выраженных временных координат было снято, и сценарием стали называть любой документ, содержащий анализ рассматриваемой проблемы или предложения по ее решению, по развитию системы независимо от того, в какой форме он представлен. Как правило, предложения для подготовки подобных документов пишутся вначале индивидуально, а затем формируется согласованный текст.

Сценарий предусматривает не только содержательные рассуждения, которые помогают не упустить детали, обычно не учитываемые при формальном представлении системы (в этом собственно и заключалась первоначально основная роль сценария), но и содержит, как правило, результаты количественного технико-экономического или статистического анализа с предварительными выводами, которые можно получить на их основе. Группа экспертов, подготавливающих сценарии, пользуется обычно правом получения необходимых справок от предприятий и организаций, необходимых консультации соответствующих специалистов. В последнее время понятие сценариев все больше расширяется как в направлениях областей применения, так и форм представления и методов их разработки: в сценарий не только вводятся количественные параметры и устанавливаются их взаимосвязи, но и предлагаются методики составления сценариев с использованием ЭВМ, методики целевого управления подготовкой сценария.

На практике по типу сценариев разрабатывались прогнозы в некоторых отраслях промышленности. В настоящее время разновидностью сценариев можно считать предложения к комплексным программам развития отраслей народного хозяйства, подготавливаемые организациями или специальными комиссиями. Существенную помощь в подготовке таких документов могут оказать ведущим специалистам (как правило, крайне занятым административной работой) специалисты по системному анализу, которые могут, опираясь на знание общих закономерностей развития систем, предварительно анализировать внешние и внутренние факторы, влияющие на развитие, определить источники этих факторов, целенаправленно проанализировать высказывания ведущих специалистов в научных публикациях, периодической печати и других источниках научной информации. Весьма перспективной представляется разработка специализированных информационно-поисковых систем, как документальных, так и фактографического типа, накапливающих прогнозную информацию не только непосредственно по данной отрасли, но и по смежным отраслям, развитие которых может повлиять на развитие данной отрасли, на принятие решений по выбору наилучшего варианта.

Сценарий является предварительной информацией, на основе которой проводится дальнейшая работа по прогнозированию развития отрасли или по разработке вариантов проекта. Он может быть подвергнут анализу, чтобы исключить из дальнейшего рассмотрения то, что в учитываемом периоде находится на достаточном уровне развития, если речь идет о прогнозе, или, напротив, то, что не может быть обеспечено в планируемом периоде, если речь идет о проекте. Таким образом, сценарий помогает составить представление о проблеме, а затем приступить к более формализованному представлению системы в виде графиков, таблиц для проведения экспертного опроса и других методов системного анализа.

Методы экспертных оценок. Изучению возможностей и особенностей применения методов экспертных оценок посвящено много работ [16], в том числе имеется ряд обзоров. Термин «эксперт» происходит от латинского слова expert, означающий «опытный». Неизвестная характеристика исследуемого явления трактуется при этом обычно как случайная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значимости того или иного события. Когда такие оценки получены от группы экспертов, предполагается, что истинное значение исследуемой характеристики находится внутри диапазона оценок и что обобщенное коллективное мнение является достоверным.

Применение классического частотного подхода к оценке вероятности при проведении экспертной оценки бывает затруднительным, а иногда и просто невозможным, так как исчисление вероятностей основано на законе больших чисел, выполнение которого предполагает массовый характер исследуемых явлений и наличия большого числа подтверждений в прошлом.

При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным. Но одновременно со ссылкой на экспериментальные исследования утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. К числу таких требований относится: распределение оценок, полученных от экспертов, должно быть «гладким»; две групповые оценки, данные двумя одинаковыми подгруппами, выбранными случайным образом, должны быть близки.

Все множество проблем, решаемых методами экспертных оценок, делится на два класса. К первому относятся такие, в отношении которых имеется достаточное обеспечение информацией. При этом методы опроса и обработки основываются на использовании принципа «хорошего измерителя», т. е. эксперт — качественный источник информации; групповое мнение экспертов близко к истинному решению. Применяются формальные приемы обработки индивидуальных экспертных оценок. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости указанных гипотез недостаточно. В этом случае экспертов уже нельзя рассматривать как «хороших измерителей» и необходимо осторожно подходить к обработке результатов экспертизы во избежание больших ошибок. В литературе в основном рассматриваются вопросы экспертного оценивания для решения задач первого класса. Но и в этой ситуации необходимо помнить особенности экспертных оценок: они несут в себе как узкосубъективные черты, присущие каждому эксперту, так и коллективно-субъективные, присущие коллегии экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, ка­кие бы способы обработки ни применялись.

Для реализации методов экспертных оценок важную роль играет тщательная подготовка их проведения.

Этапы организации экспертизы: формирование цели экспертизы; разработка процедуры опроса; формирование группы экспертов; опрос, анализ и обработка информации.

При формулировке цели экспертизы разработчик прогноза должен выработать четкое представление о том, кем и для каких целей будут использованы результаты прогноза. Прогноз может быть ориентирован на:

повышение обоснованности решений, принимаемых плановыми органами;

производство технических средств;

оценку развития различных направлений научных исследований и технических идей и т. д.

В первом случае задача прогноза в основном состоит в определении желательности и необходимости отдельных событий и сроков их свершения. В других случаях задача прогноза должна состоять в определении принципиальной осуществимости и возможности свершения ряда событий в течение определенных промежутков времени.

Успех организации экспертизы во многом зависит от разработки рабочей программы экспертной оценки; оценки типа интервью, «докладная записка», метод комиссии, метод отнесенной оценки и др.

Решение задачи о выборе группы (коллектива) экспертов проводится в такой последовательности:

1. Составляется список вопросов, по которым желательно получить мнение экспертов.

2. Составляется список экспертов, включающий по возможности такое их число, чтобы априори можно быть более или менее уверенным в том, что эксперты могут в совокупности дать заключение по всему множеству вопросов списка.

3. Список вопросов рассылается каждому эксперту с просьбой определить свою компетентность по каждому вопросу, т. е. определить, сможет или не сможет он компетентно участвовать в рассмотрении данного вопроса при экспертизе.

4. Рассчитываются необходимые затраты времени и средств на проведение опроса каждого эксперта.

5. Ставится и решается задача об экспертах, т. е. задача осуществления такого выбора экспертов, чтобы по каждому вопросу можно было получить заключение, по крайней мере, одного эксперта и чтобы при этом затраты времени или средств на проведение опроса экспертов были минимальны.

При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации

т — количество экспертов, /'= \, т; п — количество рассматриваемых свойств, С, = 1, гц г_и — место, которое заняло i-e свойство в ранжировке у-м экспертом; a_t — отклонение суммы рангов по z-му свойству от среднего арифметического сумм рангов по п свойствам.

Коэффициент конкордации W позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах 0< W^A I; W=Q означает полную противоположность, a W= 1 — полное совпадение ранжировок. Практически достоверность считается хорошей, если fF=0, 7...0, 8.

Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием следующих причин: в рассматриваемой совокупности экспертов действительно отсутствует общность мнений; внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.

Для наглядности представления о степени согласованности мнений двух любых экспертов А и В служит коэффициент парной ранговой корреляции

где ^Л(— разность (по модулю) величин рангов оценок z'-ro свойства, назначенных экспертами А и В: W, = \Rm — R_B, \; Т_АкТ_в — показатели связанных рангов оценок экспертов А и В.

Коэффициент парной ранговой корреляции принимает значения — 1< р< +1. Значение р= +1 соответствует полному совпадению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), ар-- — 1 — двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого).

Методы типа «Дельфи». Характерный для середины XX в. бурный рост науки и техники вызвал большие перемены в отношении к оценкам будущего развития систем. Одним из результатов этого периода в развитии методов анализа сложных систем явилась разработка методов экспертной оценки, известных в литературе как «методы Дельфи». Название этих методов связано с древнегреческим городом Дельфи, где при храме Аполлона с К в. до в. э. до IV в. н. э. по преданиям существовал Дельфийский оракул.

Суть метода Дельфи заключается в следующем. В отличие от традиционного подхода к достижению согласованности мнений экспертов путем открытой дискуссии метод Дельфи предполагает полный отказ от коллективных обсуждений. Это делается для того, чтобы уменьшить влияние таких психологических факторов, как присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от публично выраженного мнения, следование за мнением большинства. В методе Дельфи прямые дебаты заменены тщательно разработанной программой последовательных индивидуальных опросов, проводимых обычно в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой сходимости совокупности высказанных мнений. Результаты эксперимента показали приемлемую сходимость оценок экспертов после пяти туров опроса.

Метод Дельфи первоначально был предложен О. Хелмером как итеративная процедура при проведении мозговой атаки, которая должна помочь снизить влияние психологических факторов при проведении повторных заседаний и повысить объективность результатов. Однако почти одновременно Дельфи-процедуры стали основным средством повышения объективности экспертных опросов с использованием количественных оценок при оценке деревьев цели и при разработке сценариев.

Основные средства повышения объективности результатов при применении Дельфи-метода: использование обратной связи, ознакомление экспертов с результатами предшествующего тура опроса и учет этих результатов при оценке значимости мнений экспертов. Процедура Дельфи-метода: 1) в упрощенном виде организуется последовательность циклов мозговой атаки; 2) в более сложном виде разрабатывается программа последовательных индивидуальных опросов обычно с помощью вопросников, исключая контакты между экспертами, но предусматривающая ознакомление их с мнениями друг друга между турами; вопросники от тура к туру могут уточняться; 3) в наиболее развитых методиках экспертам присваиваются весовые коэффициенты значимости их мнений, вычисляемые на основе предшествующих опросов, уточняемые от тура к туру и учитываемые при получении обобщенных результатов оценок.

Для повышения результативности опросов и активизации экспертов иногда сочетают процедуру Дельфи с элементами деловой операционной игры: эксперту предлагается не только проводить самооценку, но поставить себя на место конструктора, которому реально поручено выполнить проект или, по крайней мере, иметь в виду, что его оценка рассматривается одновременно и как некоторое обязательство взяться за реальное осуществление проекта.

Первое практическое применение метода Дельфи к решению некоторых задач Министерства обороны США, осуществленное RAND Corporation во второй половине 40-х годов, показало его эффективность и целесообразность распространения на широкий класс задач, связанных с оценкой будущих событий. Так, в 1964 г. было проведено исследование возможностей долгосрочного прогнозиро­вания методом Дельфи той же RAND Corporation. В экспертной оценке приняли участие 82 специалиста, которые были разделены на шесть групп в соответствии с характером исследуемых проблем: научные открытия, рост народонаселения, автоматизация производства, освоение космоса, предотвращение войны, военная техника. Результаты статистической обработки мнений экспертов позволили нарисовать вероятную картину будущего мира в указанных шести аспектах. Была оценена также степень согласованности мнений экспертов, которая оказалась приемлемой после проведения четырех туров опроса.

Недостатки метода Дельфи:

значительный расход времени на проведение экспертизы, связанный с большим количеством последовательных повторений оценок;

необходимость неоднократного пересмотра экспертом своих ответов вызывает у него отрицательную реакцию, что сказывается на результатах экспертизы.

В 60-е годы область практического применения метода Дельфи значительно расширилась, однако присущие ему ограничения привели к возникновению других методов, использующих экспертные оценки. Среди этих методов особого внимания заслуживают методы QUEST, SEER, PATTERN.

Метод QUEST (Qualitative Utility Estimates for Science and Technology, что означает «количественные оценки полезности науки и техники») был разработан для целей повышения эффективности решений по распределению ресурсов, выделяемых на исследования и разработки. В основу метода положена идея распределения ресурсов на основе учета возможного вклада (определяемого методом экспертной оценки) различных отраслей и научных направлений в решение определенного круга задач. Особенностями -•■ ' применения метода QUEST являются: привлечение широкого круга высококвалифицированных специалистов в различных областях науки и техники, а также представление экспертам разнообразной ■ достоверной и релевантной информации.

Метод SEER (System for Event Evaluation and Review) — система оценок и обзора событий. В этом методе предусмотрено всего два тура оценки. В каждом туре привлекается различный состав экспертов. Эксперты первого тура — специалисты промышленности, а эксперты второго тура — наиболее квалифицированные специалисты из органов, принимающих решения, и специалисты в области естественных и технических наук. Эксперт каждого тура не возвращается к рассмотрению своих ответов, за исключением тех случаев, когда его ответ выпадает из некоторого интервала, в котором находится большинство оценок (например, интервала, в котором находится 90% всех оценок).

Методы типа дерева целей. Идея метода дерева целей впервые была предложена Черчменом в связи с проблемами принятия решений в промышленности. Термин «дерево целей» подразумевает использование иерархической структуры, полученной путем разделения общей цели на подцели, а их, в свою очередь, на более детальные составляющие — новые подцели, функции и т. д. Как правило, этот термин используется для структур, имеющих отношение строгого древесного порядка, но метод дерева целей используется иногда и применительно к «слабым» иерархиям, в которых одна и та же вершина нижележащего уровня может быть одновременно подчинена двум или нескольким вершинам вышележащего уровня.

Древовидные иерархические структуры используются и при исследовании и совершенствовании организационных структур. Не всегда разрабатываемое даже для анализа целей дерево может быть представлено в терминах целей. Иногда, например, при анализе целей научных исследований удобнее говорить о дереве направлений прогнозирования. В. М. Глушковым, например, был предложен и в настоящее время широко используется термин «прогнозный граф». При использовании этого понятия появляется возможность более точно определить понятие дерева как

связного ориентированного графа, не содержащего петель, каждая пара вершин которого соединяется единственной цепью.

Разновидностью методов дерева целей и Дельфи является метод PATTERN (Planning Assistance Through Technical Evaluation of Relevance Numbers, что о знача ет «помощь планированию посредством относительных показателей технической оценки»). Метод PATTERN был разработан для повышения эффективности процессов принятия решений в области долгосрочной научно-технической ориентации крупной промышленной фирмы.

Сущность метода PATTERN заключается в следующем. Исходя из сформулированных (на основе всестороннего анализа перспектив социально-экономического и научно-технического развития) целей потребителей продукции фирмы на прогнозируемый период осуществляется развертывание дерева целей. Для каждого уровня дерева целей вводится ряд критериев. С помощью экспертной оценки определяются веса критериев и коэффициенты значимости, характеризующие важность вклада целей в обеспечение критериев. Значимость некоторой цели определяется коэффициентом связи, представляющим сумму произведений весов критериев на соответствующие коэффициенты значимости. Общий коэффициент связи некоторой цели (с точки зрения достижения цели высшего уровня) определяется путем перемножения соответствующих коэффициентов связи в направлении вершины дерева.

Морфологические методы. Основная идея морфологических методов — систематически находить все «мыслимые» варианты решения проблемы или реализации системы путем комбинирования выделенных элементов или их признаков. Идеи морфологического образа мышления восходят к Аристотелю, Платону, к известной средневековой модели механизации мышления Р. Луллия. В систематизированном виде морфологический подход был разработан и применен впервые швейцарским астрономом Ф. Цвикки и долгое время был известен как метод Цвикки.

Цвикки предложил три метода морфологического исследования. Первый метод — метод систематического покрытия поля (МСПП), основанный на выделении так называемых опорных пунктов знания в любой исследуемой области и использовании для заполнения поля некоторых сформулированных принципов мышления. Второй — метод отрицания и конструирования (МОК), базирующийся на идее Цвикки, заключающейся в том, что на пути конструктивного прогресса стоят догмы и компромиссные ограничения, которые есть смысл отрицать, и, следовательно, сформулировав некоторые предложения, полезно заменить их затем на противоположные и использовать при проведении анализа. Третий — метод морфологического ящика (ММЯ), нашедший наиболее широкое распространение. Идея ММЯ состоит в определении всех «мыслимых» параметров, от которых