Передача стереоскопических изображений с учетом корреляции между кадрами стереопары.

В этой группе можно выделить три варианта передачи:

1. один из кадров стереопары (для совместимости) плюс разностный кадр;

2. один из кадров стереопары плюс векторы параллакса;

3. один из кадров стереопары плюс карта глубины.

Первый вариант предполагает, что вместо одного из кадров стереопары передается разница (разностный сигнал) между ними (рис. 6). Под разностным сигналом или сигналом параллактических разностей (СПР) понимается разность (по яркостной и по цветоразностной компонентам) между двумя сигналами, образующими изображения стереопары E СПР= E пр - E л или E СПР= E л - E пр, где E СПР – СПР; E пр, E л – сигналы соответственно правого и левого изображений.

Рис. 6: Передача стереопары с формированием СПР.

Формирование пространственного образа в сознании наблюдателя определяют в большей степени яркостные перепады. Цветовая составляющая изображения при этом играет второстепенную роль и повышает качественный уровень изображения. На основании этого можно полагать, что при образовании СПР информация о пространственном расположении объектов заключена в яркостной составляющей. Тем не менее, цветоразностные данные также должны присутствовать в СПР. Это позволяет на приемной стороне синтезировать второй кадр в цвете и исключить уменьшение насыщенности объемной модели сцены.

Известно, что телевизионные сигналы обладают значительной избыточностью. Большая часть изображения обычно приходится на поля, имеющие постоянную или мало меняющуюся яркость, а резкие световые переходы и детали малых размеров занимают малую долю площади изображения. Очевидно, что это распространяется и на стереоскопические изображения. В результате, СПР содержит контуры предметов и разности тех элементов, которых нет в обоих кадрах стереопары. Толщина контуров объектов изменяется в зависимости от величины параллакса. Рассматривая динамический диапазон СПР можно отметить, что в целом СПР близок к нулевому значению и редко значительно отклоняется от нуля.

Поскольку СПР имеет в основном нулевое значение, то распределение плотности вероятностей амплитуд рассматриваемого сигнала выгодно отличается от распределения плотности вероятностей значений сигналов стереопары, а именно, имеет неравномерный характер с максимумом в области нулевых значений.

Известно, что:

1. Если вероятность одного из символов равна единице (т.е. вероятности всех других символов равны

нулю), то энтропия равна нулю.

2. Энтропия максимальна при равенстве вероятностей всех символов.

Из этого следует, что, чем более неравномерно распределение вероятностей, тем меньше энтропия. На основании этого можно полагать, что энтропия передаваемого СПР меньше энтропии исходных сигналов, образующих левое и правое изображения стереопары. Сравнение по энтропии одного из изображений стереопары и изображения, образованного СПР для разных сюжетов, показывает, что СПР биполярен и имеет больший динамический диапазон по сравнению с исходными сигналами. Для его кодирования необходимо либо использовать двоично-дополнительный код, либо осуществлять некоторое преобразование СПР, позволяющее заключить его в диапазон, предусмотренный для цифровых телевизионных сигналов " плоского" телевидения. Лучше использовать второй способ, поскольку двоично-дополнительный код приводит к передаче дополнительных бит. При кодировании отсчетов телевизионного сигнала 8-битовой длиной кодового слова, динамический диапазон составляет [0…255]. Однако на практике для яркостного сигнала используется диапазон [16…235], а для цветоразностных сигналов – [16…240]. Формирование СПР с диапазоном [0…255] возможно за счет использования коэффициента компрессии 2 и смещения на 128.

Таким образом, обусловленное СПР изображение представляет собой полноправное изображение со значительной частью равномерного серого фона, соответствующего нулевому уровню, не являющемуся информационным. Разностное изображение имеет пространственную избыточность. Передача динамических стереоскопических ТВ изображений приводит также и к временной избыточности.

Вторым вариантом передачи стереоскопических изображений является метод с оценкой и компенсацией параллакса (рис. 7).

Рис. 7: Передача стереопары с оценкой и компенсацией параллакса.

Очевидно, что имеется близкая аналогия между изображениями двумерного телевидения, отличающимися временным интервалом, в которых изменение содержания определяется как движением камеры, так и движением объектов, и изображениями, составляющими стереопару. Этот факт позволяет распространить идею устранения временной избыточности, которая осуществляется на основе ДИКМ с компенсацией движения на стереоскопические изображения, для устранения бинокулярной избыточности. В этом случае речь идет уже о ДИКМ с компенсацией параллакса. Таким образом, процесс компенсации параллакса состоит из двух этапов:

1) определение величины параллакса различных участков стереопары. Результатом является совокупность векторов параллакса – векторное поле;

2) по полученным векторам осуществляется предсказание одного из кадров стереопары и формирование ошибки предсказания.

Вектор параллакса может быть определен как для отдельных элементов изображения, так и для группы элементов или объектов, составляющих стереоскопическое изображение (случай объектно-ориентированного кодирования), т.е. оценка параллакса может быть осуществлена сопоставлением точек, фрагментов или объектов левого и правого изображений.

Процедура нахождения параллакса требует значительных вычислительных затрат, поэтому основным требованием при ее осуществлении является быстродействие, сопровождающееся точным обнаружением параллактических смещений объектов сцены. Быстродействие можно обеспечить, применяя, например, метод фазовой корреляции для оценки параллакса.

Рассмотрим принцип фазовой корреляции с позиции выявления параллактических сдвигов между кадрами стереопары. Ядром фазовой корреляции является преобразование Фурье. Пусть отсчеты левого и правого изображений будут обозначены соответственно через f л(x, y) и f пр(x, y). Тогда,

где O F{∙ } - оператор преобразования Фурье; u, v –координаты в частотной области; x, y - координаты в пространственной области.

Полагая для простоты, что f л(x, y)= f пр(x+p, y),

где p – линейный горизонтальный параллакс, можно записать, опираясь на свойство сдвига преобразования Фурье,

где N – размер области преобразования.

При этом

Для выделения фазовой информации умножим комплексно сопряженный продукт преобразования левого изображения на продукт преобразования правого изображения и разделим на модуль их произведения:

Применяя обратное преобразование Фурье к последнему выражению, получим:

Две последние формулы определяют сущность метода фазовой корреляции. В результате работы метода на корреляционной поверхности P(x, y) образуются пики, положение которых соответствует смещениям между участками изображений. Величина смещения определяет значение параллакса.

Особенность спектрального преобразования в том, что при точном измерении расстояния и направления смещения точно определить область изображения, где происходит смещение, не удается. Поэтому требуется дополнительный анализ, позволяющий идентифицировать смещенные объекты и присвоить каждому из них свой параллактический вектор. Этот анализ производится уже с помощью найденных на предыдущем этапе значений параллаксов, что в отличие от метода полного перебора ограничивает число возможных перемещений. В случае передвижения нескольких объектов, как это бывает при параллактическом смещении между кадрами стереопары, рассматриваемый метод позволяет существенно снизить вычислительные затраты. Необходимо отметить, что при наличии нескольких объектов, имеющих разную величину параллакса, на корреляционной поверхности образуются несколько пиков, каждый из которых смещен в соответствующем направлении (по горизонтали) и на соответствующую каждому объекту величину параллакса. При нулевом параллаксе между кадрами стереопары фазовых различий нет, и корреляционная поверхность содержит только один пик, находящийся в месте, принятом за начало координат и соответствующей нулевой диспаратности.

Главное достоинство фазовой корреляции состоит в том, что осуществляется фактическое измерение величины параллакса, а не его оценка, полученная в результате поиска или экстраполяции. Изъятие из процесса пространственного анализа амплитудной информации дает возможность сохранить работоспособность метода при локальных яркостных различиях, образованных как спецификой съемки, так и шумами.

Однако вычислительная сложность, связанная с преобразованием Фурье, резко возрастает с увеличением размеров преобразуемого участка изображения, в общем случае (без использования быстрых алгоритмов) для одностороннего преобразования необходимо выполнить – N ⁴ операций с комплексными числами, где N * N элементов – размер обрабатываемой области.

Кроме того, вследствие принципа неопределенности метода фазовой корреляции, не позволяющего однозначно определить, какому из объектов соответствует найденный вектор параллакса, оперирование всей областью изображения является нецелесообразным. В связи с этим метод фазовой корреляции необходимо применять для фрагментов изображений, размер которых для двумерного телевидения варьируется от 32*32  до 128*128 элементов. Для стереоскопических изображений, из-за наличия только горизонтального параллакса, использование квадратных участков может привести к ложному присваиванию векторов параллакса. Для исключения этого явления форма участка преобразования или зоны анализа должна быть прямоугольной.

Большое значение имеет и размер области присваивания найденных векторов параллакса. Величина зоны анализа зависит от размера области присваивания. После нахождения вектора параллакса необходимо его присвоить определенной области изображения. Это означает, что все элементы этой области имеют одно и то же значение параллакса. В действительности каждый элемент изображения имеет свою диспаратность, которая, в зависимости от того, принадлежит ли она к одному или разным объектам сцены, может совпадать или не совпадать с соседними элементами. Очевидно, что объединение элементов в группу и присваивание ей только одного вектора вносит некоторую погрешность в представление пространственного расположения объектов сцены. Однако при сжатии стереоскопических изображений не требуется точное нахождение величины параллакса. Кроме того, присваивание области только одного вектора уменьшает количество передаваемых данных. Рассматривая создание системы стереоскопического телевидения на основе вещательного стандарта H.264/AVC, относящегося к стандартам с блочной обработкой[U1], форму области присваивания целесообразно выбрать в виде квадратного блока. Размер этого блока, с одной стороны, должен быть такой, чтобы наилучшим образом формировать кадр с предсказанием (предсказание используется для компенсации параллакса при передаче стереоскопических изображений), т.е. величина среднеквадратической ошибки между фактическим кадром и его предсказанием должна быть минимальна. Логично предположить, что с уменьшением размера блока предсказание улучшается, т.к. вероятность, что левое и правое изображения имеют аналогичные большие блоки, мала. С другой стороны, уменьшение размера блока вызывает повышение количества векторов и - как результат - повышение скорости цифрового потока.

Поскольку в кодере имеется возможность регулирования скорости потока, то в силу различных причин скорость дополнительного потока, которая несет данные о глубинном расположении объектов сцены, может быть установлена ниже рекомендованной. Действие механизма адаптивного квантования приведет к возникновению искажений именно со стороны ошибки предсказания. В данном случае применение небольшого размера блока приведет к лучшим качественным показателям восстановленного кадра стереопары.

Третьим фактором является совместимость со структурными элементами вещательного стандарта, т. е. использование стандартных элементов для оценки параллакса позволяет исключить усложнение алгоритма обработки и кодера в целом.

Исходя из вышесказанного, в качестве области присваивания векторов параллакса может быть выбран блок размером 8*8 отсчетов. Не исключается и адаптация размера блока к различным участкам изображений стереопары. Определив размер области присваивания, необходимо найти и размеры зоны анализа, принимая ее форму прямоугольной.

Разделение изображений стереопары на зоны может сопровождаться тем, что в соответствующие зоны анализа, т.е. зоны анализа, имеющие идентичные координаты как в левом, так и в правом изображениях, могут не попасть исследуемые на параллактическое смещение объекты. Для устранения этого зоны делают с перекрытием. На рис. 8 показана структурная схема блока оценки параллакса на основе фазовой корреляции.

Рис. 8: Структурная схема блока определения величины параллакса на основе фазовой корреляции.

Левое и правое изображения одновременно поступают на формирователь прямоугольных зон анализа, которые затем подвергаются преобразованию Фурье. Обычно в спектральном анализе для улучшения качества обработки используют оконные (взвешивающие) функции. Поэтому в формирователе происходит также умножение выделенных зон анализа на взвешивающую функцию, в качестве которой может быть использована, например, функция Кайзера. Полученные на выходе формирователя взвешенные прямоугольные участки изображений преобразуются с помощью БПФ в частотную область и после нормирования, позволяющего выделить фазовую информацию, осуществляется обратное БПФ. Эти три операции (БПФ, нормирование и ОБПФ) выполняются согласно приведенным выше выражениям, результатом которых служит корреляционная поверхность, имеющая один или несколько пиков, положение которых указывает на направление и величину смещения объектов в анализируемой зоне. Когда в зону попадает только малая часть объекта, корреляционная поверхность содержит малый по своей величине пик, который может быть пропущен. Поскольку зоны анализа сделаны перекрывающимися, то смещенный объект появляется более чем в одной зоне, что приводит к повышению амплитуды пика в других окнах. Однако из-за специфики спектрального преобразования неизвестно, каким объектам в зоне принадлежат найденные пики. Для установления этого служат блоки смещения и отбора участков изображений. Работа блока смещения заключается в том, что зона анализа одного из изображений разбивается на участки, размером 8 8 элементов. Каждый такой участок последовательно смещается на ту величину, которая была определена на предыдущем этапе, и сравнивается с фрагментами другого изображения. Поскольку в зону анализа могут попасть несколько объектов, имеющих разную величину параллакса, то это вызовет появление нескольких пиков с разной величиной смещения. Поэтому обработка производится для всех пиков, превышающих некоторое установленное пороговое значение. В качестве критерия сравнения рекомендуется использование суммы абсолютной разности (SAD) как обладающей минимальным количеством арифметических операций. На основании рассчитанных значений SAD далее происходит отбор подходящих участков изображений и присваивание им соответствующих векторов параллакса.

Необходимо отметить, что операция нахождения и присваивания векторов фрагментам изображений представляет собой некоторую форму перебора, поскольку позволяет обнаруживать похожие значения яркости в анализируемых зонах. Однако этот процесс выполняется после оценивания параллаксов – когда они уже известны, в то время как перебор используется для оценивания величины параллакса. Следовательно, количество корреляций, которые нужно вычислить для полного перебора, весьма велико по сравнению с дополнительным анализом, осуществляемым в методе фазовой корреляции.

Рассмотренный подход к оценке параллакса на основе фазовой корреляции позволяет по отношению к методу полного перебора сократить время выполнения анализа и, как следствие, ослабить аппаратные требования при создании кодирующих устройств. Вместе с этим, использование фазовой корреляции обеспечивает нечувствительность к яркостным изменениям, которые характерны для стереоскопических изображений, и уменьшение количества ошибок в случае периодических структур.

Стереоскопические изображения могут быть также представлены в виде одного из кадров стереопары и карты глубины. Карта глубины – это черно-белое изображение, по размеру совпадающее с изображениями стереопары и несущее в себе информацию о глубине объектов сцены. Удаленность по глубине представлена на карте как изменение яркости элементов изображения.

Существуют различные методы получения карты глубины. Кодирование стереоскопических изображений, представленных согласно этому методу, может осуществляться в виде формирования двух цифровых потоков: один поток – левая или правая видеопоследовательность (для совместимости с " двумерным" телевидением), второй – видеопоследовательность карт глубины. На приемной стороне происходит синтез второго кадра стереопары. Существуют телевизионные приемники, на вход которых можно подавать декомпрессированные потоки одного из изображений стереопары и карту глубин.

Приемник восстановит второй кадр и представит трехмерное изображение, которое можно наблюдать без вспомогательных очков. Исследования показывают, что при передаче программы объемного телевидения с использованием корреляционной связи между кадрами стереопары дополнительный поток (СПР, ошибка предсказания и векторы параллакса, карта глубины) дает примерно 20 % прирост по скорости по отношению к передаче обычной " плоской" программы телевидения.