Критерії функціональної ефективності навчання СПР

Логарифмічна статистична інформаційна міра Кульбака [7] дозволяє оцінювати диференційну інформативність ознак розпізнавання. Здобудемо робочу формулу для обчислення міри Кульбака та встановимо її зв’язок з точнісними характеристиками процесу навчання за МФСВ. Введемо логарифмічне відношення повної ймовірності правильного прийняття рішень про належність реалізацій класів і k -му контейнеру , побудованому на k -му кроці навчання СПР розпізнавати реалізації класу , до повної ймовірності помилкового прийняття рішень , яке для двоальтернативної системи оцінок рішення має такий вигляд:

де , – гіпотези про належність контейнеру реалізацій відповідно до класів і

При допущенні, що , загальна міра Кульбака остаточно набуває вигляду

(4.2.2.1)

Нормовану модифікацію критерію Кульбака можна подати у вигляді

, (4.2.2.2)

де – значення критерію при і для формули (4.2.2.1).

Нормування критеріїв оптимізації є доцільним при порівняльному аналізі результатів досліджень і при оцінці ступеня близькості реальної СПР до потенційної.

4.2.3 Обчислення інформаційного КФЕ

Обчислювальний аспект оцінювання функціональної ефективності машинного навчання набуває важливого значення у задачах інформаційного синтезу СПР і потребує врахування специфіки як їх функціонування, так і їх призначення. Розглянемо процедуру обчислення інформаційного КФЕ в рамках алгоритму навчання за МФСВ.

Оскільки інформаційний критерій є мірою різноманітності не менше ніж двох об¢ єктів, то для його обчислення потрібна навчальна матриця, яка складається із векторів-реалізацій двох класів: і Нехай клас є основним, тобто найбільш бажаним для ОПР. Тоді належність вектора-реалізації із навчальної матриці класу береться за основну гіпотезу g ₁ , а неналежність – за альтернативну гіпотезу g₂. Алгоритм зчитування навчальної матриці може бути побудовано двома способами. За першим способом послідовно зчитуються реалізації , а потім – реалізації . За іншим способом при кожному випробуванні обробляються реалізації обох класів.

Розглянемо обчислення модифікації ентропійного інформаційного КФЕ за Шенноном для двоальтернативного рішення при рівноймовірних гіпотезах згідно з формулою (4.2.2). Оскільки інформаційний критерій є функціоналом від точнісних характеристик, то при обмеженому обсязі навчальних вибірок слід користуватися їх оцінками

; ; , (4.2.3.1)

де , - кількість подій, які означають відповідно належність та неналежність реалізацій образу контейнеру , якщо дійсно ; , - кількість подій, які означають відповідно належність і неналежність реалізацій контейнеру , якщо вони насправді належать класу ; n _min - мінімальний обсяг репрезентативної навчальної вибірки.

Після підстановки відповідних позначень (4.2.3.1) в (4.2.1.6), отримаємо робочу формулу для обчислення ентропійного КФЕ навчання СПР розпізнаванню реалізацій класу для двоальтернативного рішення і при рівноймовірних гіпотезах:

. (4.2.3.2)

Структурну схему алгоритму обчислення критерію (4.2.3.2) за паралельним способом оброблення навчальної матриці в процесі побудови у радіальному базисі оптимального контейнера класу подано на рис. 3. Тут наведено такі вхідні дані: Х 1, Х 2 - еталонні двійкові вектори класів і відповідно; – навчальна матриця, яка складається з реалізацій цих класів; N = , де NM -обсяг репрезентативної навчальної вибірки; D – радіус контейнера класу . Вихідні дані: Е – значення КФЕ; А, В, D 1, D 2- значення точнісних характеристик процессу навчання СПР: помилки першого і другого родів,

Рисунок 3 – Структурна схема обчислення інформаційного КФЕ

перша і друга достовірності відповідно. За схемою, що розглядається, блок 5 обчислює при кожному випробуванні кодову відстань D (N)шляхом складання за модулем два вектора Х 1з поточним вектором-реалізацією X (N)і підрахунку кількості одиниць в одержаній сумі.

При кожному непарному випробуванні визначається відстань D (N) між вектором Х 1 і реалізацією свого класу, а на кожному парному - між вектором Х 1 і реалізацією іншого класу. Обчислення коефіцієнтів К 1, К2, К 3і К 4 здійснюється за таким алгоритмом (блоки 6 – 12):

а) порівняння (блок 6): якщо D (N) £ D (реалізація належить області класу ), то при непарному випробуванні обчислюється К1: = К1 +1(² своя² реалізація), а при парному - К 3: = К 3+1 (² чужа² реалізація). Визначення парності або непарності реалізацій здійснюють блоки 7 і 8, які перевіряють виконання умови N/ 2 =F, де F – ціле число. Якщо умова виконується, то випробування парне, інакше - непарне. Якщо D (N) > D (реалізація не належить області класу ), то при непарному випробуванні обчислюється коефіцієнт К2: = К2 +1(² своя² реалізація), а при парному – К 4: = К 4+1 (² чужа² реалізація);

б) порівняння (блок 13): якщо N = NM, то обчислюються оцінки точнісних характеристик за (4.2.3.1), інакше обробляється наступна реалізація;

в) при виконанні умови блока 15: (D 1> 0, 5 і D2> 0, 5) обчислюється інформаційний критерій, наприклад, за формулою (4.2.1.6), інакше видається повідомлення «КФЕ не визначено».

Знання точнісних характеристик процесу навчання дозволяє визначати робочу область значень КФЕ. Виходячи із вимоги практичної цінності рішень, які приймаються СПР, на робочу область визначення функції інформаційного КФЕ необхідно вводити обмеження знизу. Так, для двоальтернативного рішення такими обмеженнями є: D₁ > 0, 5 і D₂ > 0, 5, тобто значення першої та другої достовірностей у робочій області не можуть бути менше значень відповідних помилок.

Після відповідної підстановки (4.2.3.1) у (4.2.2.1) отримаємо робочу формулу для обчислення міри Кульбака:

, (4.2.3.3)

де r - число цифр у мантисі значення критерію .

Зрозуміло, що залежно від величини числа r будуть змінюватися значення критерію (4.2.3.3), але це не впливає на положення глобального максимуму в робочій області визначення їх функцій.