Точность модели

Критерии

Четыре критерия используются для определения качества оценки трудозатрат и графика разработки моделью. Этими критериями являются скорректированное R2 (Adj-R2), расчетное среднее отклонение (σ), прогнозирование на уровне L (PRED(L)). Скорректированное R2 это коэффициент смешанной корреляции, R2 скорректированный для количества параметров стоимости и количества экспериментов. R2 вычисляет пропорцию вариации, которая учитывается моделью.

Просчитываемое среднее отклонение является индикатором вариации в ошибке прогнозирования. Оно основано на разнице между известным значением трудозатрат для завершения проекта по разработке ПО и оценочным значением трудозатрат с использованием модели.

PRED(L) – это процент значений, полученных в результате оценки, которые уложились в рамки L-процентов от фактических значений. Например, PRED(.25) выдает процент оценочных значений, которые уложились в рамки 25% от фактических значений. Эта величина зависит от точности измерений. Эта точность измерений определяется пропорциональной ошибкой.

Пропорциональная ошибка это величина относительной погрешности, которая используется для вычисления PRED(L). С увеличением оценочных значений для больших проектов разница между известным значением трудозатрат, требуемых для завершения проекта, и оценочным значением трудозатрат нормализируется по размеру проекта. Уравнение 6 описывает эту нормализацию.

3.3.2.5.2. Результати
Під всіх 83 експериментах 10% скоригованих значень параметрів моделі COCOMO II давали на виході розрахункові значення трудозатрат, наведені в Таблиці 6. У даній таблиці є дві основні колонки: до стратифікації і після стратифікації.Перша колонка демонструє точність результатів при використанні одних і тих же константи А і параметрів вартості для всіх експериментів. Друга ж колонка демонструє точність результатів при використанні різних значень константи А і різних значень фіксованої експоненти для кожної з організацій, які надавали вихідні дані. Як видно з таблиці, результати краще для моделі з використанням стратифікації. Середнє відхилення (σ) для фактичного значення трудозатрат дорівнює 1953 людино-місяцях. Видно, що σ для оціночних значень для стратифікованої моделі краще, ніж σ для фактичних значень.

Такі результати звичайно гірше, ніж для моделі COCOMO 81.Але це, скоріше, наслідок невеликих обсягів вихідних даних, використаних для калібрування моделі. Але очевидно, що калібрування моделі до локальних умов підвищує точність результатів.
3.3.2.6. Висновки
Стратифікація дає дуже хороші результати. Як і в попередніх моделях сімейства COCOMO, калібрування значення константи А та фіксованого експоненти (1.01) до локальних умов настійно рекомендована.
У нових формах для збору експертних даних тепер присутній варіант «Я не знаю». Це значення відображає парадокс спроби створення вартісної моделі для майбутніх проектів, використовуючи дані з минулого. Такі параметри вартості як RUSE відображають підходи, які раніше не враховувалися в історичних даних по проектам.
3.3.3. Похідні моделі-розширення.
Після випуску першої моделі COCOMO в 1981 з'явилося ціле сімейство похідних і допоміжних моделей. На такій схемі (Мал. 3.3.3.1) показана еволюція сімейства моделей COCOMO, поділених на категорії: вартісні моделі, розширення ПО і незалежні моделі. Більш старі моделі були відкалібровані, використовуючи, як історичні дані, так і експертні (Delphi) дані.Більш нові моделі були відкалібровані тільки на основі експертних даних.

Рисунок 3.3.3.1

Таблиця 3.3.3.1 відображає статус розвитку дванадцяти моделей, що входять в сімейство COCOMO. Всі ці моделі були розроблені з використанням 7-крокової методології. Основні кроки розвитку моделі оцінки вартості:
1) аналіз існуючої літератури;
2) виконання поведінкового аналізу;
3) визначення типу (форми) моделі і відносної важливості параметрів;
4) виконання експертної оцінки та застосування методу Делфі (Delphi);
5) збір проектних даних;
6) визначення байєсівської апостеріорної корекції;
7) подальший збір даних; уточнення моделі.
У Таблиці 3.3.3.1 зазначено, які кроки вже пройдені для кожної з моделей. На кроці 4 звичайно може знадобитися багаторазовий опитування за методом Делфі, що дає розробникам більш детальне розуміння того, як впливають параметри моделі на трудовитрати, необхідні для виконання проекту. Крок 5 включає в себе збір історичних даних по проекту для обгрунтування та підтвердження кошторисних зв'язків (ССВ). Цей процес залежить від відповідності інформації, наданої членами CSE, калібруемой моделі.Найбільший обсяг даних має модель COCOMO, оскільки вона є однією з найбільш старих, але, тим не менш, однією з найточніших і перевірених. Крок 6 включає в себе об'єднання даних за проектами та експертних оцінок з метою отримання відкалібрований моделі. Для цього використовується байєсівської підхід (метод) для зіставлення експертних оцінок та історичних даних.
Опитування за методом Делфі - це спроба визначити те, що, на думку експертів, має найбільший вплив на значення трудовитрат при виконанні проекту.

Таблица 3.3.3.1

Перші три моделі (COCOMO II, COINCOMO, DBA COCOMO) є фактично однією і тією ж моделлю, але оптимізованої під різні умови розробки ПЗ. На додаток, такі продукти як Costar і Cost Xpert надають додаткові можливості з оцінки ПЗ. COQUALMO використовується для оцінки числа залишкових дефектів у програмному продукті, а також дозволяє оцінити необхідні фінансові вкладення в якість. iDAVE дозволяє оцінювати і відслідковувати залежність процесу розробки ПЗ від значення коефіцієнта окупності інвестицій. COPLIMO підтримує оцінку вартості лінійки програмних продуктів і дозволяє аналізувати значення коефіцієнт повернення інвестицій. COPSEMO надає розподіл по фазах ЖЦ трудовитрат для забезпечення швидкісної розробки додатків і зазвичай використовується в зв'язці з CORADMO. COPROMO дозволяє прогнозувати найбільш вигідні вкладення інвестиційних ресурсів в нові технології, спрямовані на збільшення продуктивності. Всі вищеописані моделі є похідними моделі COCOMO, тому що вони залежать від вихідних даних моделі COCOMO і можуть їх змінювати в деяких ситуаціях.
Останні три моделі є незалежними розширеннями моделі COCOMO, вимагають власних вхідних даних і можуть використовуватися в зв'язці з COCOMO при необхідності.COCOTS дозволяє оцінювати трудовитрати на інтеграцію комерційних коробкових програмних продуктів. COSYSMO дозволяє оцінювати трудовитрати на системне проектування протягом усього ЖЦ системи. COSOSIMO оцінює трудовитрати провідного системного інтегратора, пов'язані з визначенням та інтеграцією програмно насичених компонентів складних систем.
Ключем до розуміння вихідних даних моделі та спільного застосування декількох моделей є розуміння методологій, що лежать в їх основі. Усі вартісні моделі, що грунтуються на моделі СОСОМО, використовують рівняння такого вигляду:, де PM - кількість людино-місяців; A - калібрувальний коефіцієнт; Size - міра функціонального розміру ПЗ, що має адитивний ефект на трудовитрати по розробці ПЗ; B - масштабуючі коефіцієнти, які мають експоненційний або нелінійне вплив на значення трудозатрат; EM - множники трудовитрат, які впливають на значення трудозатрат.
Кожен коефіцієнт у рівнянні може бути представлений одним чи кількома значеннями в залежності від призначення коефіцієнта. Наприклад, коефіцієнт Size може використовувати програмні рядки або функціональні точки для оцінки розміру проекту, але не два одночасно. З іншого боку, характеристики проекту можуть задаватися набором множників трудовитрат. СОСОМО II використовує один адитивний, 5 експоненціальних і 17 мультиплікативних коефіцієнтів. Інші моделі містять іншу кількість факторів, залежно від області розгляду трудовитрат в кожній конкретній моделі. Число коефіцієнтів для кожної з моделей показано в Таблиці 3.3.3.2.
Тип коефіцієнта (адитивний, експонентний або мультиплікативний) визначають наступним чином:
1) Коефіцієнт, який впливає на одну частину системи, таку як розмір ПЗ, має локальний вплив. Наприклад, додавання ще однієї інструкції в коді, однієї функціональної сутності, модуля, інтерфейсу або алгоритму робить на систему більшою мірою локальний вплив з точки зору трудовитрат.
2) Коефіцієнт є мультиплікативним або експоненціальним, якщо він впливає на всю систему. Наприклад, додавання ще одного рівня експлуатаційних вимог або розташування команди розробників зазвичай надає глобальне мультиплікативне або експоненціальне вплив. Якщо розмір проекту збільшується вдвічі і пропорційно результат від впливу коефіцієнта подвоюється, то цей коефіцієнт є мультиплікативним. Якщо результат від впливу коефіцієнта менш або більш значний для великих проектів (через обсягів повторної роботи, у зв'язку зі зміною архітектури платформи, проблемами ефективної роботи колективу чи готовності до інтеграції зі складними програмними системами), то такий коефіцієнт розглядається як експонентний.
Ці правила застосовувалися при розробці моделі СОСОМО та інших супутніх і похідних моделей, які розроблялися CSE.Допущення, прийняті для ССВ в цих моделях, мають на увазі не тільки їх знаходження, а й подальше обгрунтування на основі історичних даних про проект. Ключовим у розробці цих моделей є знаходження представницьких даних, які можуть бути використані для калібрування розміру, множника і експоненціальних коефіцієнтів, що застосовуються в моделях.Вид рівняння моделі СОСОМО є припущенням, перевіреним реальними даними. Наприклад, аналіз даних для моделі COCOTS показав, що вид рівняння моделі СОСОМО підходить для оцінки інтеграційних процесів комерційних коробкових програмних продуктів, але для атестації та адаптації COTS потрібні інші види рівнянь.
У Таблиці 3.3.3.2 наведено коефіцієнти для різних незалежних моделей COCOMO. Рішення використовувати відмінне від базового число коефіцієнтів визначається результатами опитування за методикою Delphi і підтверджується результатами аналізу отриманих даних, кожний з яких може, як збільшувати, так і зменшувати число коефіцієнтів у моделі. Тим не менш, ті ж самі критерії для типів коефіцієнтів використовуються у всіх моделях. Розширення COCOMO II (див. Малюнок 1) розроблені на основі первісних оцінок за допомогою COCOMO II з додатковими коефіцієнтами, включених для характеристики різних особливостей програмного забезпечення.

Таблица 3.3.3.2

Розуміння сфери застосування кожної з моделей є також ключовим елементом у розумінні одержуваних результатів. У сімействі моделей COCOMO використовується спеціалізований набір показників, які враховують конкретні аспекти розвитку програмного забезпечення для програмно насичених систем. Користувачі COCOMO зараз починають застосовувати безліч моделей паралельно при виконанні оцінок, які охоплюють більш широку сферу, що виступає за рамки традиційної розробки ПЗ. У цьому випадку, в моделі з сімейства COCOMO надають набір інструментів, які дозволяють виконувати більш повні оцінки вартості. Тим не менше, існують деякі обмеження, які існують при використанні декількох моделей одночасно.
3.3.3.1. Використання сучасних моделей разом.
Існує безліч переваг сумісного використання декількох моделей. Переваги полягають у більш повному наборі показників, які краще відображають справжні трудовитрати, пов'язані з розробкою ПЗ. Трудовитрати, що не враховуються моделлю COCOMO, можуть бути оцінені іншими моделями, такими як модель COTS інтеграції (COCOTS), системного проектування (COSYSMO) та інтеграції складних систем (COSOSIMO). Також, вони дають можливість оцінювачу виконувати оцінку системи з різних точок зору.
Однак деякі ускладнення можуть виникати в тих випадках, коли будь-яка з двох спільно використовуваних моделей була розроблена як незалежна. Подібно до того, як спільнота моделей процесів прийшло до висновку, що проектування ПЗ, розробка ПЗ, системне проектування та інші види діяльності взаємопов'язані, і не можуть належним чином виконуватися і оптимізуватися незалежно один від одного, співтовариство оцінювачів також встановило, що ці види діяльності не можутьоцінюватися незалежно один від одного для багатьох масштабних програмних проектів і складних програмних систем.