Огляд існуючих систем пошуку зображень на основі їх вмісту. Схема архітектури існуючих CBIR-систем представлена на рис

Схема архітектури існуючих CBIR-систем представлена на рис. 1.1 [1]. Інтерфейс користувача (UI, User Interface), як правило, складається з двох частин: формування запиту і візуалізація результатів виконання запиту.

Роботи [1, 7, 17, 20, 21, 22, 25, 55, 67] містять огляд сучасних CBIR-систем. Зокрема, в роботі [1] для кожної системи розглянуто види властивостей зображень, що використовуються для пошуку, процес формування запиту, етап порівняння, індексування та представлення результатів. Табл. в Додатку Г містить інформацію про деякі CBIR-системи та їх пошукові властивості зображень [1].

Більшість CBIR-систем є результатами досліджень, і підкреслюють один з аспектів пошуку на основі вмісту. Іноді це можливість представлення результатів у вигляді ескізів у користувацькому інтерфейсі, іноді це використання нової структури даних для індексування. Деякі системи існують у дослідницьких, комерційних версіях та версіях для виробництва.
Комерційні версії, як правило, володіють більш стандартними пошуковими можливостями. Деякі системи надають користувачеві інтерфейс, який дозволяє більш гнучко формулювати запити.

Властивості зображень, які використовують сучасні CBIR-системи класифікують на властивості низького рівня (колір, текстура, форма) та властивості високого рівня (розташування та знаходження обличчя). Крім цього, CBIR-системи можуть використовувати ключові слова в якості властивостей.

Рис. 1.1. Архітектура CBIR-систем

До спеціалізованих систем пошуку зображень за ключовими словами відносять наступні CBIR-системи: ADL [40, 73], Amore [45, 46], BDLP [10], Chabot [49], Diogenes [74], ImageRover [57, 68], Lycos [77], MARS [50], MetaSEEk [4], MIR [64, 65], PicHunter [15], QBIC [48], Shoebox [43], TODAI [42], VIR [3], WebSEEk [60], WebSeer [66] та ін. Такі CBIR-системи використовують ключові слова для зменшення розмірності задачі пошуку, вибираючи за ними конкретну графічну базу даних, а сам пошук відбувається за певними властивостями зображень.

До сучасних комерційних систем пошуку зображень за ключовими словами, графічні бази даних яких містять сотні тисяч образів належать: Alipr [78], AltaVista [75], DeviantArt [84], Every Stock Photo [86], Flickr [89], Google images [87], Inmagine [83], Morgue File [85], Photo laboratory [80], Photos.com [81], Stock.xchng [79], Stockvault [82], Yahoo! 's Image Surfer [76] та ін.

Прикладами сучасних комерційних CBIR-систем, які дозволяють знайти подібні зображення до користувацького є наступні: BYO Image Search Lab [97], Gazopa Similar Image Search [90], TinEye [91], SIMPLIcity [171], RetrievR [92] та ін.

Наступні комерційні CBIR-системи дозволяють знайти подібні зображення до вибраного користувачем: Bing [94], Flickr, Fragrantica [101], Google Similar Images [88], Incogna [99], Like.com [102], Live Image search (Live.com) [95], Terra Galleria Photography [100], Tiltomo [93], Xcavator [98] та ін.

Прикладами комерційних CBIR-систем, які в якості ознак використовують вміст образу (обличчя, пейзаж, фото) або колір, є наступні: Etsy [108], Exalead [103], Face Search [105], PicItUp [104], PicSearch [106], Snap.com [107] та ін.

Розроблено бібліотеку The Puzzle library [96], призначену для організації пошуку зображень на основі їх вмісту.

Більшість CBIR-систем для пошуку використовують різні властивості низького рівня, однак існують спеціалізовані системи, що використовують лише одну ознаку для пошуку: FIR [71], RETIN [18], SIMBA [59], WISE [72] та ін.

Чим простіше властивість може бути отримана із зображення, тим легше її впровадити в систему, і тим легше використовувати цю властивість. Наприклад, властивості кольору для пошуку образів здебільшого ефективні, оскільки їх не важко отримати і впровадити в систему. Однак, властивості форми, які є більш стійкі до шуму, беруть більш активну участь у CBIR-системах. Як результат, використовуються дуже прості функції, які часто є малоефективними.

Приклади CBIR-систем, що використовують в якості ознак зображення колірні гістограми: ASSERT [58], Blobworld [11], C-bird [34, 35], CBVQ [61], Circus [53, 54], Compass [8], FIDS [5], FOCUS [16], ImageRETRO [69], MIDSS [13], NETRA [38, 39], Photobook [52], Quicklook [14], SMURF [70], Viper [63] та ін.

Ознаки форми використовують такі CBIR-системи: DrawSearch [56], FRIP [28], iPURE [2], PicToSeek [19], SQUID [44], Surimage [47], VP [26] та ін.

Більшість систем використовують ознаки кольору і текстури, меншість – ознаки форми та розташування. Результатом пошуку за кольором зазвичай є зображення зі схожими кольорами. Результатом пошуку за текстурою не завжди є зображення із подібною текстурою, якщо база даних містить багато зображень із домінуючими текстурами. Результати пошуку за формою часто є несподіваними. Тому вони не є найбільш ефективними властивостями.

Дуже незначна кількість CBIR-систем використовує для пошуку знаходження обличчя. Це, зокрема, такі системи: Diogenes, ImageScape [9, 32], MIR, Photobook, WebSeer та ін.

Ознаки текстури використовують такі CBIR-системи: CANDID [27], ImageFinder [24], Jacob [12], KIWI [36, 37] та ін.

Структури даних для індексування здебільшого не використовуються у CBIR-системах. Дійсно, для невеликих колекцій зображень, індексування структури даних не потрібне, а лінійний пошук може бути досить швидким. Сучасні комп’ютери можуть виконувати просте зіставлення сотень зображень у режимі близькому до реального часу.

Прикладами CBIR-систем, які використовують індексування є наступні: AltaVista, Amore [23], ASSERT, BDLP, Blobworld, CBVQ, Chabot, CHROMA [31], Circus, Excalibur, FIDS, FOCUS, ImageMiner [29], ImageRover, LCPD [33], MARS, MetaSEEk, NETRA, Picasso [6, 51], PicSOM [30], QBIC, Shoebox, SYNAPSE [41], VisualSEEk [62] та ін.

Для оцінки результатів пошуку для CBIR-систем існують поняття точності (співвідношення між відповідними зображеннями до загальної кількості отриманих зображень) і ефективності (відсоток відповідних зображень до усіх можливих відповідних зображень).

CBIR-cистеми використовують у різних галузях науки та сферах людської діяльності. Зокрема, важливим напрямком колекцій системи ADL є інформаційна підтримка фундаментальних наук, в тому числі про Землю та соціальні науки. Графічні бази даних цієї системи містять цифрові моделі рельєфу, цифрову растрову графіку, відскановані аерофотознімки, зображення пейзажів, набори сейсмічних даних тощо. Система ASSERT призначена для пошуку зображень комп’ютерної томографії легенів з високою роздільною здатністю. Одним із використанням системи CANDID є пошук багатоспектральних супутникових зображень. Система Diogenes призначена для пошуку широко відомих осіб в мережі Інтернет, таких як знаменитостей. Програмне забезпечення Excalibur Visual RetrievalWare інтегроване в систему Image Surfer, яка використовується пошуковими двигунами Yahoo! та InfoseekWWW. Система ImageRover використовується як пошуковий двигун для WWW. Система Jacob використовується для пошуку у відеосховищах даних. Система LCPD використовується для пошуку студійних портретів. Сховища даних системи MARS містять зображення стародавніх африканських артефактів з музею Історії культури в Лос-Анджелесі. Технологія розпізнавання особи системи Photobook реалізована в пакеті Viisage FaceID, який використовується в кількох поліцейських департаментах США. Система Picasso використовується для електронної каталогізації творів живопису та скульптури з музеїв і галерей в центральній Італії. Система Shoebox використовується як інструмент управління власними колекціями фотографій. Система VIR Image Engine інтегрована в бази даних Sybase, Object Design, і Objectivity, і додана як компонента до СКБД Oracle. Система WISE використовується в бібліотеці Стенфордського університета для сприяння навчанню та дослідницьких проектах в області мистецтва.

Більшість з наведених систем пошуку зображень характеризвуються низькою точністю та ефективністю пошуку, і головним недоліком всіх практичних реалізацій є заміна пошуку сортуванням всієї БД за зменшенням схожості зображень з образом-запитом, і, як наслідок, низька швидкодія і неможливість отримання відповіді на запит в реальному масштабі часу.