Пошук зображень за їх ключами

На рис. 5.2 і рис. 5.3 зображено відповідно архітектуру процесів індексування та пошуку візуальних образів. Таким чином запропоновано використати дві бази даних: одну базу даних для зображень, другу − для ключів. Кожна з них «ділиться» в процесі класифікації на відповідні класи зображень, наприклад: структурні зображення, слабкоструктурні медичні образи, лінійчасті спектри, текстурні зображення тощо. Використання дерева згортання ключів дає змогу обійти процес його формування при кожному пошуку образів.

Алгоритм індексування зображень:

Крок 1. Перевірка наявності ключа образу в базі даних ключів. Якщо такого ключа немає, то перехід на Крок 2, інакше − завершення алгоритму.

Крок 2. Застосування до вхідного образу 3-ступеневого алгоритму кластеризації.

Крок 3. Формування ключа на основі отриманих структурних властивостей на коефіцієнтів.

Крок 4. Класифікація образу та його запис у відповідну базу даних образів.

Крок 5. Запис ключа образу у відповідну базу даних ключів, що

Відповіда класу вхідного образу

Рис. 5.2. Архітектура процесу індексування візуальних образів

Алгоритм пошуку зображень:

Крок 1. Перевірка наявності ключа образу в базі даних ключів. Якщо такого ключа немає, то перехід на Крок 2, інакше − на Крок 4.

Крок 2. До образу-запиту застосовується алгоритм кластеризації для отримання структурних коефіцієнтів та властивостей.

Крок 3. За отриманими структурними властивостями визначається клас образу.

Крок 4. Отримання ієрархічного піддерева ключів у відповідній базі ключів на основі ключа та класу вхідного образу-запиту.

Крок 5. За знайденими ключами повертаються візуальні образи як результат запиту користувача.

Рис. 5.3. Архітектура процесу пошуку візуальних образів

Автоматизована класифікація образів Розглядаємо три способи автоматизованої класифікації образів:

1) Сортування суми місць образів, отриманих класифікацією тільки за один із параметрів;

2) Поділ на класи за градієнтами функції, яка виражає структурний коефіцієнт;

3) Згортання ключів образів і поділ на класи, відсіканням піддерев на передостанніх рівнях дерева згортання.

Приклади образів для дослідження алгоритмів та структурних коефіцієнтів подано на рис. 5.4.

Рис. 5.4. Пронумеровані зразки досліджуваних образів

В першому способі шукається функція f за якою здійснюється класифікація зображень на класи:

, (5.1)

де с ₁, с ₂, с ₃ – вагові коефіцієнти, IA – кількість регіонів, і –коефіцієнти структуризації.

При розгляді статистичних властивостей фрагментів образів, а саме: середнього розміру фрагмента M (IA) та дисперсію розмірів фрагментів D (IA), функцію f запишемо наступним чином:

. (5.2)

Результати декомпозиції образів з рис. 5.4 та їх сортування за параметрами IA, та зведені у табл. 5.1. Інтегральна класифікація образів у таблиці отримана сортуванням суми місць образів, отриманих класифікацією тільки за одним із параметрів IA, , , тобто за функцією з (5.3). Результуюча інтегральна класифікація зображень приведена на рис. 5.5.

З таблиці отримуємо співпадіння класифікації деяких образів. Це означає, що є можливість однозначно класифікувати образи текстур, медичні зразки, ландшафти або архітектурні комплекси. Комбінуючи структурні коефіцієнти та параметри об’єктів – фрагментів образів можна створити правила класифікації медичних зображень, структур матеріалів тощо. Приймаючи до уваги параметри образу M (IA) та D (IA), а також знаходячи функцію (5.4), на рис. 5.5 клас С можна розбити на окремий клас зображення клітин крові (зображення № 1) та зображення текстур (зображення № 3, 9).

Вибираючи різне значення параметру інтенсивності кластера отримуємо різні результати класифікації. Для системи пошуку зображень важливим є автоматичний вибір даного параметру. Зокрема, беручи до уваги гістограму зображень, параметр b може бути визначений автоматично.

В таблицях табл. 5.2 і табл. 5.3 приведено відповідно результати декомпозиції образів для параметру b = 85% і b = 100%. Їх інтегральні класифікації образів зображено відповідно на рис. 5.6 і рис. 5.7.

Таблиця 5.1.
Класифікація образів за структурними характеристиками, b = 75 %

Рис. 5.5. Інтегральна класифікація візуальних образів, b = 75%

Таблиця 5.2.
Класифікація образів за структурними характеристиками, b = 85%

Рис. 5.6. Інтегральна класифікація візуальних образів, b = 85%

Таблиця 5.3.
Класифікація образів за структурними характеристиками, b = 100%

Рис. 5.7. Інтегральна класифікація візуальних образів, b = 100%

Рис. 5.8 ілюструє інтегральну класифікацію зображень на класи зображень текстурних і нетекстурних. Класифікація отримана сортуванням суми місць образів, отриманих тільки за одним із параметрів IA, , , M (IA)/ D (IA), тобто шукаючи функцію (5.4).

Рис. 5.8. Розбиття образів на класи текстур і зображення ландшафту, b = 85%

Другий спосіб отримання класифікації образів полягає в пошуку градієнтів функції, яка виражає структурний коефіцієнт образів. На місці градієнта образи діляться на класи. Приклад поділу на класи для структурного коефіцієнта R_I (IA) наведено на рис. 5.9. Результуюча інтегральна класифікація зображена на рис. 5.10.

Рис. 5.9. Поділ на класи за градієнтом

Нетекстурні зображення

Текстурні зображення

Рис. 5.10. Інтегральна класифікація за градієнтом

Третій спосіб отримання класифікації складається з двох етапів: на першому згортають ключі образів, отримуючи при цьому дерево згортання; на другому відсікають піддерева на передостанніх рівнях, отримуючи при цьому необхідну кількість класів зображень. На рис. 5.11 пунктирною лінією здійснюємо відсікання піддерев дерева згортання. Приклади результатів такої класифікації подано в підрозділі 4.12.

Рис. 5.11. Класифікація образів згортанням їх ключів

система пошуку зображень Існує два підходи для оцінки методу індексування зображень. Перший підхід оцінює отримані результати у пошуковій системі образів. Другий ґрунтується на його застосуванні у автоматичній класифікації. Доцільність вибору як ключа образу структурних коефіцієнтів підтверджено експериментально у процесі автоматичної класифікації.

Для якісної оцінки виконання запропонованого підходу, використовуємо визначені у [126] наступні критерії:

Точність пошуку (precision) P характеризує долю зображень, подібних на зразок, серед результатів пошуку:

. (5.3)

Ефективність пошуку (recall) R показує, яка доля зображень, схожих на зразок, була включена у склад результатів пошуку:

. (5.4)

Для перевірки коректної роботи алгоритмів, а також для отримання кількісних та якісних характеристик пошуку необхідна база зображень, на якій, звичайно, перевіряються інші реалізації пошуку. З цією метою була обрана база зображень Ванга [127], що містить 1000 образів, згрупованих у 10 сематичних груп: людина, пейзаж, архітектура, автобуси, динозаври, слони, квіти, коні, гори, їжа. Кожна група містить в собі 100 24-бітних зображень у форматі JPEG розміром 256× 384 пікселів. Однак для того, щоб показати якісні характеристики пошуку, необхідні експертні оцінки, бо саме точка зору людини є останньою метою пошуку зображень. З цією метою база даних була зменшена до 200 зображень, зберігаючи свій кількісний склад у пропорції. Крім цього, групи «людина» і «пейзаж» замінили на медичні образи і зображення текстури.

Для роботи алгоритму, кольорові зображення попередньо конвертуються у сірі за допомогою алгоритму BT.709 із наступними коефіцієнтами R, G, B:

R = 0, 2125; G = 0, 7154; B = 0, 0721. (5.5)

Для ілюстрації роботи алгоритму у якості ключа візуального образу для дослідження процесу пошуку образів запропоновано використати наступні два набори із 6 його структурних коефіцієнтів:

A: IA, (MC), M (IA), D (IA), R (IA), R_i (IA);

B: IA, , , , (MC), R_i (IA).

На рис. 5.12 наведено приклади роботи пакету на якому перше зображення є образом-запитом.

Дослідження показали доцільність використання структурних властивостей для розділення зображень за формою та контрастом. Для промислового використання методика вимагає проведення подальших досліджень ефективності індексування та пошуку за структурними коефіцієнтами.

а б в г

Рис. 5.12. Приклади пошуку образів із використанням абсолютного (а, в) та відносного (б, г) критеріїв згортання ключів для набору структурних властивостей А (а, б) та В (в, г)