Описательный мультимедиа-стандарт MPEG-7

Спецификация разработана на пути использования методов и достижений интеллектуальных информационных систем в мультимедийных приложениях. Попытки решения данной зада­чи известны уже давно — ситуационное моделирование (Ю. И. Клыков, 1974 г.), RX-коды (1969 г.), проект PIPS (Pattern information processing system), программная среда и язык распо­знавания и генерации сцен NAL1G — Native language interprator of graphics (Япония, 1980 г.) и др.

MPEG-7 формально называется «Мультимедиа-интерфейс для описания содержимого» (Multimedia Content Description Interface), он имеет целью стандартизовать описание мультиме­дийного материала, поддерживающего некоторый уровень ин­терпретации смысла информации, которая может быть передана для обработки ЭВМ. Стандарт MPEG-7 не ориентирован на ка­кое-то конкретное приложение, он стандартизует некоторые элементы, которые рассчитаны на поддержку как можно более широкого круга приложений. Следовательно, средства MPEG-7 позволят формировать описания (т. е. наборы схем описания и соответствующих дескрипторов по желанию пользователя) мате­риала, который может содержать:

• информацию, описывающую процессы создания и произ­водства материала (указатель, заголовок, короткометраж­ный игровой фильм);

• информацию, относящуюся к использованию материала (указатели авторского права, история использования, рас­писание вещания);

• информацию о характеристиках записи материала (формат записи, кодирование);

• структурную информацию о пространственных, временных или пространственно-временных компонентах материала (разрезы сцены, сегментация областей, отслеживание перемещения областей);

• информацию о характеристиках материала нижнего уровня (цвета, текстуры, тембры звука, описание мелодии);

• концептуальную информацию о реальном содержании материала (объекты и события, взаимодействие объектов);

• информацию о том, как эффективно просматривать материал (конспекты, вариации, пространственные и частотные субдиапазоны и пр.);

• информацию о собрании объектов;

• информацию о взаимодействии пользователя с материалом (предпочтения пользователя, история использования).

MPEG-7 сконструирован так, чтобы учесть все подходы учитывающие требования основных стандартов, таких, как SMPTE Metadata Dictionary, Dublin Силие, EBU P/Meta и TV Anytime. Эти стандарты ориентированы на специфические приложения и области применения, в то время как MPEG-7 пы­тается быть как можно более универсальным. MPEG-7 исполь­зует также схему XML в качестве языка выбора текстуального представления описания материала. Главными элементами стан­дарта MPEG-7 являются (рис. 3.23):

• дескрипторы (D) — представление характеристик, ко­торые определяют синтаксис и семантику представления каждой из характеристик;

• схемы описания DS (description scheme), которые спе­цифицируют структуру и семантику взаимодействия между компонентами. Эти компоненты могут быть дескриптора­ми и схемами описания;

• язык описания определений DDL (description definition language), позволяющий создавать новые схемы описания и, возможно, дескрипторы, и обеспечивающий расширение и модификацию существующих схем описания;

• системные средства служат для поддержки мультип­лексирования описаний, синхронизации описаний и мате­риала, механизмов передачи, кодовых представлений (как текстуальных, так и двоичных форматов) для эффективной записи и передачи, управления и защиты интеллектуальной собственности в описаниях MPEG-7.

В принципе, любой тип аудиовизуального материала может быть получен с помощью любой разновидности материала в за­просе. Это означает, например, что видеоматериал может быть запрошен с помощью видео, музыки, голоса и т. д. Ниже приве­дены примеры запросов:

• проиграйте несколько нот на клавиатуре, и вы получите список музыкальных отрывков, сходных с проигранной мелодией, или изображений, соответствую­щих некоторым образом нотам, например, в эмоциональ­ном плане;

• нарисуйте несколько линий на экране, и вы найдете набор изображений, содержащих похожие графи­ческие образы, логотипы, идеограммы;

• определите объекты, включая цветовые пят­на или текстуры, и вы получите образцы, среди кото­рых сможете выбрать интересующие вас объекты;

• опишите действия и получите список сценариев, со­держащих эти действия;

• используя фрагмент голоса Паваротти, полу­чите список его записей, видеоклипов, где Паваротти поет, и графический материал, имеющий отношение к этому певцу.

Рассмотрим пример описания визуального материала (рис.3.24, а) графовыми представлениями (рис. 3.24, б).

Этот пример демонстрирует момент футбольного матча. Определены два видеосегмента, одна стационарная область и три движущиеся области. Граф, описывающий структуру материала, показан на рис. 3.24, б.

Видсосегмент Dribble& Kick (Обводка и удар) включает в себя вратаря и игрока. Мяч остается рядом с игроком, движущимся к вратарю. Игрок появляется справа от вратаря.

Видеосегмент гол включает в себя те же подвижные области юс стационарную область ворота. В этой части последовательности игрок находится слева от вратаря, а мяч движется к воротам.

Этот простой пример иллюстрирует гибкость данного вида педставления. Заметим, что это описание в основном представ­ляется структурным, так как отношения, специфицированные ребрами графа, являются чисто физическими, а узлы представ­ляют объекты, которые описываются данными о создании, ин­формацией об использовании и медиаданными, а также деск­рипторами низкого уровня, такими, как цвет, форма, движение. В семантически явном виде доступна только информация из текстовой аннотации (где могут быть специфицированы ключе­вые слова мяч, игрок или вратарь).