Межкадровое кодирование

Цель межкадрового кодирования – сокращение временной избыточности телевизионного изображения. Представим, что мы смотрим трансляцию чемпионата по бильярду. На экране – катящийся шар на фоне зеленого сукна. А теперь представим соседние кадры этого изображения. Они отличаются только местоположением шара. Это и есть временная избыточность телевизионного изображения (соседние кадры очень похожи друг на друга).

Схема, сокращающая скорость цифрового потока по этому алгоритму, показана на рисунке 11.7.

Рис. 11.7 Дифференциальная импульсно-кодовая модуляция

Схемы на рисунке 11.7 отличаются от предыдущих только наличием обратных ветвей, предназначенных для получения предыдущих изображений. Вычитатель в кодере необходим для формирования разностного кадра, а сумматоры для получения текущих кадров. Текущие кадры задерживаются в предсказателе П (линия задержки на один кадр) и превращаются в предыдущие (во время действия следующего кадра).

Надо заметить, что в такой системе необходимо передавать и целые кадры (опорные, кодированные только внутрикадрово), в нашем примере I₀. Сигналы, действующие на блоках схем во время интервала времени кадра I₀, указаны в скобках, а во время следующего кадра I₁ – без скобок.

И так, во время передачи опорного кадра I₀ предсказатель выключается, на выходе вычитателя действует I₀=I₀-0. Он внутрикадрово кодируется и передается по каналу связи. Здесь же он проходит операции декодирования (деквантование и инверсное дискретно-косинусное преобразование) и поступает в предсказатель (I₀+0=I₀). В это время в приемнике предсказатель также отключается, и на выходе сумматора действует кадр I₀=I₀+0. Во время действия кадра I₁ на выходе предсказателя появляется кадр I₀, и внутрикадровому кодированию подвергается разностный кадр I₁-I₀. Он передается по каналу связи, а на приемном конце складывается с предыдущим кадром, формируя текущий I₁=I₁-I₀+I₀. То же самое происходит и на передающем конце. К моменту времени кадра I₂ кадр I₁ перейдет на выход предсказателя. Как видно, на приемном конце получаются исходные кадры, а количество передаваемой информации намного меньше.

Недостатком систем с передачей разностных изображений является накопление ошибок. Если в передаваемых изображениях I₀ и I₁-I₀ произошло по N ошибок, то в полученном кадре I₁ ошибок будет в два раза больше: I₁-I₀+N+I₀+N=I₁+2N. Именно поэтому для получения разностного кадра в кодере используется обратное ДКП, хотя его можно было бы взять прямо с вычитателя. Но при этом предыдущие кадры в кодере и декодере отличались бы шумами квантования, появившимися при вычислении коэффициентов ДКП. А эти кадры должны быть совершенно одинаковые для правильного декодирования текущего кадра в декодере. Также накопление ошибок является причиной необходимости регулярной передачи по каналу связи опорных кадров (см. группы изображений).

Рассмотренная система эффективна при движении объекта на неподвижном фоне (камера неподвижна). В случае, если камера двигается, следит за объектом, передвигающимся на неоднородном фоне, все элементы изображения в соседних кадрах будут сдвинуты. Разностный кадр будет содержать большое количество информации. Вернемся к нашему примеру с бильярдом. Можно передать только два числа, характеризующих передвижение шара по вертикали и горизонтали. Эти числа X и Y называются вектором движения. Конечно, вместе с вектором движения необходимо передать и разностный кадр, т.к. в противном случае появится эффект скольжения, но он будет минимален по объему информации.

Есть три метода расчета векторов движения:

1. Метод согласования блоков – макроблок текущего изображения проецируется на макроблоки предыдущего в некоторой зоне поиска. Макроблок, наименее отличающийся от текущего, принимается за опорный.

2. Логарифмический метод происходит за несколько этапов. На каждом из этапов макроблок текущего изображения проецируется на макроблоки предыдущего в девяти контрольных точках. Вокруг точки, в которой макроблоки наименее отличаются друг от друга, организуется следующий, более точный этап поиска. Например, логарифмический метод 4: 2: 1. Первый этап с точностью в 4 элемента изображения, второй – в 2 и третий – в 1 элемент изображения. Этот метод позволяет найти вектор движения на площади изображения 15*15 элементов изображения с помощью всего 27 расчетов 3*9=27.

3. Телескопический метод заключается в том, что, если объект двигался в каком-то направлении с какой-то скоростью, то с высокой степенью вероятности можно предположить, что он будет двигаться дальше в том же направлении и с той же скоростью. За начальное значение вектора движения принимается вектор движения для этого блока из предыдущего кадра, а вокруг получившейся точки образуется небольшая зона поиска.

Вектора движения рассчитываются для каждого макроблока и передаются в одном потоке с разностным изображением. Схемы кодера и декодера, работающих с использованием векторов движения, показаны на рисунке 11.8.

Рис. 11.8 Система компрессии MPEG

Схема кодера отличается от предыдущей наличием определителя вектора движения ОВД, компенсатора вектора движения КВД, еще одного кодера с переменной длинной слова КПДС и мультиплексора М. Во время передачи опорного кадра I₀ КВД отключен, и на выходе вычитателя действует I₀. Во время передачи I₁ в ОВД сравниваются текущий I₁ и предыдущий I₀ кадры, и рассчитываются вектора движения для каждого макроблока. В КВД все блоки изображения в предыдущем кадре I₀ переставляются согласно рассчитанным векторам движения, формируется кадр I₀+ВД. Теперь сравним I₁ и I₀+ВД: они очень похожи, т.к. все элементы изображения в кадре I₀+ВД находятся там же, где и в кадре I₁ (движение скомпенсировано). Разностный кадр I₁-I₀-ВД имеет большое количество нулевых зон и при внутрикадровом кодировании будет описан минимумом информации. Вектора движения так же кодируются с переменной длинной слова и в мультиплексоре замешиваются в единый цифровой поток. В декодере вектора движения выделяются из общего потока в демультиплексоре Дм. В КВД блоки предыдущего изображения переставляются, согласно им формируется I₀+ВД, а в сумматоре складывается с I₁-I₀-ВД (формируется кадр I1). Передаваемое изображение сформировано при минимуме переданной информации.

Стандарты с сокращением временной избыточности носят название MPEG (Moving Picture Experts Group). MPEG – общее название стандартов, определяющих компрессию последовательностей динамических изображений.

Как видно из рисунка 11.8, система MPEG ассиметрична (кодирующая часть намного сложнее декодирующей). Текущее изображение может кодироваться на основе предыдущего, последующего, а также на основе обоих одновременно. При отсутствии выигрыша при межкадровом кодировании кадр будет закодирован внутрикадрово. Кодер должен обладать мощной вычислительной базой для определения оптимального метода кодирования в реальном времени. Информация о методе кодирования включается в общий поток и передается декодеру для правильного восстановления изображения.