Главная страница Случайная страница
Разделы сайта
АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника
Методи індивідуальної та колективної експертизи
|
|
Індивідуальні експертні методи ґрунтуються на використанні думки експертів-фахівців відповідного профілю незалежно один від одного.
Найчастіше застосовують такі два методи формування прогнозу: інтерв’ю та аналітичні експертні оцінки.
¨ Метод інтерв’ю здійснюється шляхом розповсюдження поштових листівок, телефонних дзвінків або особистих інтерв’ю, він передбачає бесіду прогнозиста з експертом, під час якої прогнозист відповідно до заздалегідь розробленої програми ставить експерту питання стосовно об’єкта дослідження.
Головний недолік методу — залежність одержаних даних від суб’єктивізму й відповідальності респондентів, які можуть давати недостатньо продумані відповіді, особливо коли гарантовано анонімність, і респондент не зазнає збитків унаслідок неправильного прогнозу. Часто виникають проблеми ідентифікації респондентів, недвозначного формулювання запитань та одержання достатньої кількості відповідей. Метод ґрунтується на припущенні, що об’єкти опитування сформулювали свої плани на майбутнє, і не трапиться нічого, що могло б змінити ці плани.
¨ Аналітичні експертні оцінки передбачають тривалу й ретельну самостійну роботу експерта над аналізом тенденції, оцінювання стану та шляхів розвитку прогнозованого об’єкта. Цей метод дає можливість експерту використати всю потрібну йому інформацію про об’єкт прогнозу. Свої думки експерт оформлює у вигляді доповідної записки.
Головними перевагами розглянутих методів є можливість максимального використання індивідуальних здібностей експертів і незначний психологічний тиск на окремого виконавця. Однак ці методи майже не придатні для прогнозування найзагальніших стратегій через обмеженість знань одного фахівця-експерта про розвиток суміжних галузей науки.
Методи колективних експертних оцінок. Сутність колективної експертної оцінки для розроблення прогнозів полягає у визначенні узгоджених думок експертів щодо перспективних напрямів розвитку об’єкта прогнозування, сформульовані раніше окремими фахівцями, а також в оцінюванні напрямів розвитку об’єкта, які не можна визначити іншими методами (наприклад, аналітичним розрахунком, експериментом тощо).
¨ У наш час значного поширення набули експертні методи, основані на роботі спеціальних комісій, коли групи експертів за «круглим столом» обговорюють конкретну проблему, щоб узгодити думки й виробити спільне судження. Недолік цього методу полягає у тому, що група експертів у своїх узагальненнях здебільшого керується логікою компромісу.
¨ Метод колективної генерації ідей («мозкова атака»). Завдання прогнозування, які вирішують із використанням методів експертних оцінок, містять два формально не пов’язані між собою елементи: визначення можливих варіантів розвиткуоб’єкта прогнозування та їхню оцінку. Застосування «мозкових атак» у визначенні можливих варіантів розвитку дає змогу швидко одержати продуктивні результати і залучити всіх експертів до активного творчого процесу.
Методи «мозкових атак» можна класифікувати за ознакою існування або відсутності зворотного зв’язку між керівником і учасниками «мозкової атаки» в процесі розв’язання певної проблемної ситуації. Наявністьзворотного зв’язку дає змогу учасникам концентрувати увагу суто на варіантах, корисних за тим чи тим критерієм для розв’язання проблемної ситуації. Однак штучне введення обмежень унеможливлює бачення всього багатоманіття підходів, тож з рештою можна пропустити оригінальні думки, які мають потенційну, але поки не усвідомлену цінність. Відсутність зворотного зв’язку, тобто максимальна стимуляція висловлювань, передбачає складну й більшу за обсягом роботу на етапі оцінювання їх.
Один із варіантів методу «мозкової атаки» — деструктивна відносна оцінка (ДВО) — забезпечує якісне й досить швидке оцінювання варіантів, не обмежуючись при цьому їхньою кількістю.
Сутність цього методу полягає в актуалізації творчого потенціалу фахівців під час «мозкової атаки» проблемної ситуації, що реалізує спочатку генерацію ідей і подальше спростування або критику із формулюванням контрідей.
¨ Дельфійський метод певною мірою вможливлює організацію статистичного оброблення думок експертів-фахівців і досягнення ними більш або менш узгодженої думки. Цей метод розроблено американською пошуковою корпорацією РЕНД. Свою вона отримала від грецького міста Дельфи, відомого завдяки розташуванню тут храму, жерці якого передбачали майбутнє.
Дельфійський метод побудований за принципом, згідно з яким у гуманітарних науках думки експертів та суб’єктивні судження мають замінити точні закони причинності природознавчих наук.
Підґрунтя цього методу становить багатоетапне узгодження думок групи експертів. Спочатку з’ясовують індивідуальні думки кожного члена групи стосовно ймовірності настання деякої події, наприклад, зростання безробіття в країні впродовж наступних п’яти років. Експерти можуть працювати разом або бути незалежними. Результати опитування збирають і обговорюють провідні фахівці. Авторам найнижчого та найвищого рівнів прогнозу пропонують переглянути свої думки. Після дискусії здійснюють друге опитування із подальшим обговоренням. Процес може повторюватися доти, доки не з’явиться узгоджений прогноз, прийнятний для всіх експертів. В альтернативній версії експерти ніколи не зустрічаються, а їхні думки надсилають поштою (зокрема й електронною) разом зі стислим викладом аргументів. Експертам пропонують переглянути свої прогнози з урахуванням точки зору інших, аж поки не буде досягнуто консенсусу, що, може статися лише після кількох раундів.
Дельфійський метод характеризується трьома особливостями, які вирізняють його серед звичайних методів групової взаємодії експертів, а саме:
1. Анонімність експертів, яка полягає в тому, що в процесі процедури експертного оцінювання прогнозованого явища учасники експертної групи не знають один одного. При цьому взаємодія членів групи під час заповнення анкет цілком виключається. У такому разі автор відповіді може змінити свою думку, не оголошуючи про це.
2. Використання результатів попереднього туру опитування. Ця система дає можливість групі фахівців зосередитися на початкових завданнях, а не вигадувати щоразу щось нове. Оскільки групова взаємодія здійснюється безпосередньо шляхом відповіді на анкету, фахівець або організація, які проводять дослідження за дельфійським методом, дістають з анкет лише ту інформацію, яка стосується цієї проблеми. Фахівець-прогнозист враховує «за» та «проти» експертів стосовно кожної точки зору. Головний результат функціонування цієї системи полягає в тому, щоб запобігти досягненню групою власних мети й завдань.
3. С татистична характеристика групової відповіді полягає в тому, що група фахівців складає прогноз, який містить точку зору більшості експертів. При цьому використовують статистичні характеристики відповіді, яка відображає думку всієї групи. Групова відповідь може бути подана у вигляді медіани та двох квартилів, тобто таким числом, яке перевищує оцінки однієї половини групи та менше за оцінки другої.
Члени журі змінюють свої оцінки за умови переконливих доказів їхніх колег, у противному разі вони дотримуються власних точок зору.
Метод має кілька недоліків.
1. На кінцевий результат впливають особисті риси експертів, зокрема наполегливість в обстоюванні своїх думок.
2. Застосування методу може вимагати значних коштів, а кінцевий результат не завжди задовольняє всіх експертів.
3. Немає згоди щодо того, чи варто використовувати саме фахівців. Як розуміти термін «експерт» (чи має журі складатися з фахівців різних спеціальностей) або яким обсягом інформації треба обмінюватися на першому етапі (медіани можуть зумовити зсув до центру розподілу).
Побудова сценаріїв. Сценарій можна визначити як «виклад альтернативних варіантів майбутнього» або «передбачувану послідовність подій за допустимих умов». Він виглядає як хронологія майбутніх змін, зокрема містить деталі зовнішнього середовища, стратегії конкурентів, нові відкриття та дії уряду. Сценарії формулюють як реалістичні можливості, часто із використанням переконливої мови та багатої уяви. Метод аналізу сценаріїв полягає у розгляді кількох різних сценаріїв, які характеризують імовірні шляхи розвитку ситуації. Намір переконати особу, яка приймає рішення, передбачає зваження на чинник невизначеності й розроблення стратегії, придатної за будь-яких обставин. Під час розгляду цілого набору можливостей зменшується ймовірність непередбаченої ситуації. Крім того, експерт усвідомлює внутрішню невизначеність процесу прогнозування, тому остаточно не впевнений у доцільності жодного із варіантів.
6.2. Процедура проведення експертизи
й аналіз експертних оцінок
Для проведення якісної експертизи необхідні такі умови.
· Наявність експертної комісії, яка складається з фахівців, знайомих із об’єктом експертизи, котрі мають досвід експертної роботи.
· Існування аналітичної групи, яка професійно володіє технологією організації та проведення експертиз, методами отримання й аналізу експертної інформації.
· Отримання надійної експертної інформації.
· Коректне оброблення й аналіз експертної інформації.
Відокремлюють такі основні етапи експертизи:
1. Формулювання мети експертизи.
2. Побудова об’єктів оцінювання або їхніх характеристик (до початку експертизи цей етап уже може бути виконаний).
3. Створення експертної групи.
4. Визначення способу експертного оцінювання та способу подання експертних оцінок.
5. Проведення експертизи.
6. Оброблення й аналіз результатів експертизи.
7. Повторний тур експертизи, якщо виникає потреба в уточненні або зближенні думок експертів.
8. Формування варіантів рекомендацій.
Види експертних оцінок. Експертиза, тобто вимірювання та порівняння об’єктів, пов’язана з певним оцінюванням об’єктів. Оцінки бувають різних видів. На відміну від кількісних, які зазвичай відповідають об’єктивним вимірюванням об’єктивних показників, в експертизі використовують бальні оцінки. Вони характеризують суб’єктивні думки. Бальна шкала являє собою обмежений ряд рівновіддалених одне від одного чисел. Бальні оцінки бувають двох видів:
1) оцінки першого виду здійснюють згідно з об’єктивним критерієм, загальноприйнятим еталоном і відповідно до градацій цього еталона. Чим точніше характеристика й оцінка відхилення від еталону, тим більшою є довіра до нього. Отже, оцінювання здійснюють за бальною шкалою;
2) бальну оцінку другого виду застосовують, коли бракує не тільки загальноприйнятих еталонів, а й навіть сумнівною є наявність одного об’єктивного критерію, що забезпечує суб’єктивні відображення у вигляді оцінок. У цьому разі йдеться про порядкову (або рангову) шкалу. Такі оцінки можна порівнювати за принципом «більше-менше».
Наступний вид оцінювання — ранжування. Це впорядкування об’єктів за зменшенням віддання переваги (допускається рівноцінність об’єктів та їхніх оцінок).
Існує метод попарного порівняння, який іноді здається легшим для якісного порівняння двох об’єктів, ніж оцінювання їх за бальною або ранговою шкалою. Для впорядкування об’єктів на підставі якісного критерію подеколи доцільним є метод середньої точки: обирають кращий і гірший об’єкти; потім об’єкт, який може розташовуватися посередині між ними, потім об’єкти, які можна розташувати посередині між гіршим і раніше знайденим середнім, а також посередині між кращим і середнім, тощо.
Для отримання й оброблення кількісними методами якісної експертної інформації використовують вербально-числові шкали зі змістовними найменуваннями певних градацій і відповідними їм числовими значеннями або діапазонами числових значень.
Відома вербально-числова шкала Харрінгтона, яка має такий
вигляд:
| Найменування градації | Числові інтервали |
| Дуже висока | 1, 0—0, 8 |
| Висока | 0, 8—0, 63 |
| Середня | 0, 63—0, 37 |
| Низька | 0, 37—0, 2 |
| Дуже низька | 0, 2—0, 0 |
Оцінки відносної важливості характеризують:
а) узагальнену думку групи експертів стосовно відносної важливості розвитку різних об’єктів;
б) рівень узгодженості думок експертів;
в) «активність» експертів (міра їхньої участі в оцінюванні різних об’єктів);
г) компетентність експертів з кожного із запропонованих питань.
Дані експертизи являють собою сукупність оцінок, наданих кожним експертом кожному з оцінюваних ним об’єктів прогнозування. Ці оцінки виражають у балах (наприклад, від 0 до 100).
¨ Показниками узагальненої думки експертів можуть бути: середнє статистичне значення Мі, величини оцінки певного i-го об’єкта (в балах). Його обчислюють за формулою
, (6.2.1)
де xij — оцінка і -го об’єкта j -м експертом;
п — кількість експертів у групі.
Мі визначають для кожного із m об’єктів експертизи. При цьому воно може коливатися у межах від 0 до 100 балів. Чим більше значення Mi, тим вагомішим є об’єкт i.
Частоту k 100 і максимально можливих оцінок (100 балів), отриманих за i-м напрямом досліджень, обчислюють за формулою:
, (6.2.2)
де п 100 і — кількість 100-бальних оцінок, наданих і -му об’єкту.
Цю величину розраховують для кожного з п напрямів досліджень, вона може коливатися у межах від 0 до 1. Нижня межа відповідає випадку, коли серед оцінок, одержаних i -м напрямом досліджень, немає максимально можливих (100 балів)
оцінок, а верхня — випадку, коли всі оцінки, одержані i -м напрямом досліджень, є максимально можливими. Важливість розвитку i- го напряму досліджень зростає в разі змінення k 100 і від 0 до 1. Цей показник слід розглядати як додатковий до основного показника важливості Mi. Він характеризує значущість об’єкта i з точки зору кількості присуджених йому «перших місць».
Поряд із середнім статистичним (Mi) і частотою максимально можливих оцінок (k 100 і), судження про важливість того чи іншого напряму досліджень дає сума рангів оцінок, одержаних i-м напрямом досліджень (Sі), яку використовують також у визначенні рівня узгодженості думок експертів. Суму рангів Si, наданих n експертами об’єкту i, визначають за формулою:
, (6.2.3)
де Rij — ранг наданий j -м експертом об’єкту i.
Очевидно, що під час порівняння значущості різних об’єктів найважливішим слід вважати той, що характеризується найбільшим значенням Si.
¨ Поряд із показниками відносної важливості суттєвим є визначення рівня узгодженості думок експертів.
Шляхом обчислення дисперсії 
оцінок i -го напряму досліджень і середньоквадратичного відхилення цих оцінок визначають коефіцієнт варіації Vi:
, (6.2.4)
, (6.2.5)
. (6.2.6)
Коефіцієнт варіації Vi визначають для кожного напряму досліджень, він характеризує рівень узгодженості думок експертів стосовно відносної важливості i- го об’єкта. Чим менше значення Vi, тим вищий рівень узгодженості думок стосовно відносної важливості i- го об’єкта.
Показником рівня узгодженості думок експертів стосовно відносної важливості сукупності всіх запропонованих до оцінювання об’єктів слугує коефіцієнт конкордації w. Його визначають для кожного питання на кшталт «оцінка важливості» шляхом обчислення таких показників:
— середньої арифметичної 
сум рангів оцінок, одержаних усіма об’єктами:
; (6.2.7)
де 
— кількість об’єктів експертизи, 
;
— відхилень di суми рангів оцінок, одержаних об’єктом i від середньої арифметичної сум рангів оцінок, одержаних усіма об’єктами:
; (6.2.8)
— показників Тj однакових рангів оцінок, наданих j -м експертом. Якщо всі m рангів оцінок, наданих j -м експертом, різні, то Tj = 0; якщо серед рангів оцінок трапляються однакові, тоді:
, (6.2.9)
де Lj — кількість груп однакових рангів;
тlj — кількість об’єктів, які утворюють l -у групу однакових рангів.
Потім обчислюють коефіцієнт конкордації w за формулою:
. (6.2.10)
Коефіцієнт конкордації коливається в межах від 0 до 1. За цілковитої узгодженості поглядів експертів w = 1. Зміна w від 0 до 1 відповідає зростанню рівня узгодженості поглядів експертів.
Якщо значення коефіцієнта конкордації w невелике, спостерігається незначна узгодженість поглядів експертів. Причини тут можуть бути різні: або в досліджуваній сукупності експертів справді немає спільності поглядів, або серед сукупності експертів існують групи з великою узгодженістю поглядів, однак їхні узагальнені думки протилежні.
Рівень узгодженості поглядів кожного експерта з рештою експертів унаочнює багатокутник, кожна вершина якого відповідає певному експерту, а лінії, що з’єднують певну вершину з іншими, — коефіцієнтам парної рангової кореляції. Коефіцієнт парної рангової кореляції між оцінками двох будь-яких експертів α і b визначають за формулою:
, (6.2.11)
де j i — різниця (за модулем) величин рангів оцінок i -го напряму досліджень, заданою експертами а і b, 
;
— показники однакових рангів оцінок експертів а і b.
Коефіцієнт парної рангової кореляціїможе набувати значення – 1 £ r ≤ l. Значення r = + 1 відповідає цілковитій узгодженості поглядів двох експертів. Значення r = – 1 показує, що думка одного експерта є протилежною погляду іншого.
Багатокутник також дає змогу визначити групи експертів, усередині яких узгодженість поглядів велика, тоді як між групами існує неузгодженість.
Чим нижчий рівень статистичної значущості показника узгодженості поглядів експертів, тим більшою є імовірність існування невипадкової узгодженості поглядів експертів.
Для визначення довірчої імовірності коефіцієнтів wта rвикористовують критерій 
з (т – 1) ступенями свободи:
(6.2.12)
¨ Показник активності експертів kаеi визначають таким чином:
, (6.2.13)
де пі — кількість експертів, котрі оцінювали об’єкт і;
— загальна кількість експертів.
Чим більше kаеi, тим більша кількість експертів вважають себе компетентними в оцінюванні i -го напряму досліджень.
¨ Аналіз компетентності, як правило, здійснюють за допомогою спеціальних анкет. У відповідях на них кандидати в експерти мають продемонструвати свої ділові і фахові якості, а також аналітичні здібності.
Для визначення відповідності потенційного експерта названим вимогам використовують анкетне опитування. Додатково ще вдаються до самооцінювання компетентності експерта. Коли експерт визначає міру своєї обізнаності з досліджуваного питання. Оброблення даних дає можливість одержати кількісну оцінку компетентності потенційного експерта за такою формулою:
, (6.2.14)
де vi — вага показника, закресленого експертом стосовно i -ї характеристики в анкеті у балах;
vimax — максимальна вага (межа шкали) i- ої характеристики в балах;
т — загальна кількість характеристик компетентності в анкеті;
l — вага клітинки, закресленої експертом у шкалі самооцінки в балах;
р — межа шкали самооцінки експерта в балах.
Показником компетентності експерта може слугувати такий коефіцієнт:
, (6.2.15)
де kk —коефіцієнт компетентності експерта;
kз —коефіцієнт міри ознайомлення експерта з обговорюваною проблемою. Він визначається шляхом самооцінки експерта за десятибальною шкалою. Значення балів для самооцінки:
0 — експерт не розуміється на питанні;
1, 2, 3 — експерт мало розуміється на питанні, але воно належить до кола його інтересів;
4, 5, 6 — експерт задовільно розуміється на питанні, але не бере безпосередньої участі в практичному розв’язанні його;
7, 8, 9 — експерт добре розуміється на питанні, бере участь у практичному розв’язанні його;
10 — питання належить до кола вузької спеціалізації експерта. Експерту пропонують самому оцінити міру обізнаності з питанням і підкреслити відповідний бал, який потім помножують на 0, 1 і отримують коефіцієнт kз;
ka — коефіцієнт аргументації, який розраховують як су-
му балів еталонної таблиці [7]. У цій таблиці експерт оцінює джерело інформації за градаціями: В (висока), С (середня), Н (низька).
|
|