Технологии искусственного интеллекта. Классификация образов в рамках статистического подхода. Байесовский подход к распознаванию образов

В статистическом подходе, напротив, полагается, что объект может принадлежать любому из классов, но с некоторой вероятностью. Сами же образы рассматриваются как отсчеты некоторого случайного вектора x =(x ₁, …, x_N), принимающего значения из множества всех возможных образов Χ и характеризующегося плотностью распределения вероятностей p (x). Статистический подход также позволяет определять вероятность ошибочной классификации, с помощью которой и оценивается качество классификации.

Со статистической точки зрения оптимальному качеству классификации соответствует байесовский классификатор. Запишем правило Байеса для данной задачи:

.

Здесь A ={ a ₁, …, a_d } – множество классов (также называемое алфавитом классов), – апостериорная вероятность класса a_i, то есть вероятность того, что наблюдаемый образ x принадлежит классу a_i. Вероятность P (a_i) – это априорная вероятность получения образа, принадлежащего классу a_i, а p (x | a_i) – плотность распределения вероятностей образов класса a_i или правдоподобие того, что из класса a_i будет выбран образ x.

Рассмотрим простой пример байесовской классификации в одномерном пространстве признаков. Пусть для каждого из двух классов a ₁ и a ₂ есть возможность вычислить их апостериорные вероятности для каждого образа . И пусть все образы, для которых значение признака меньше некоторого порога x < x ₀, относятся к классу a ₁, а образы со значением признака x > x ₀ – к классу a ₂. Тогда величина P ₁ (площадь под соответствующим графиком) характеризует вероятность ошибочного отнесения объекта второго класса к первому классу (или вероятность ложной тревоги, если класс a ₁ отвечает понятию «цель»). Вероятность P ₂ – это вероятность ошибочного отнесения объекта первого класса ко второму классу (вероятность пропуска цели).

Естественно, эти два события (пропуск цели и ложная тревога) могут быть неравнозначными. В связи с этим построение байесовского классификатора в общем случае означает минимизацию среднего риска, для чего привлекается матрица потерь R. Элементы матрицы потерь r_ij, означают потери, которые возникают при классификации объекта класса a_i как объект класса a_j. Если задана матрица потерь, то в байесовском классификаторе выбирается не класс, для которого максимальна апостериорная вероятность , а класс, для которого минимизируются ожидаемые потери. Для класса a_j потери примут форму:

.

Задача классификации будет рассматриваться как поиск такого класса a_i ∈ Α, для которого максимальна апостериорная вероятность . При этом разделяющие поверхности задаются уравнениями .

Поскольку величина p(x) в правиле Байеса не влияет на выбор класса, ее обычно не рассматривают. При классификации считается, что априорные вероятности P (a_i) известны, а значения правдоподобий p (x | a_i) могут быть вычислены. Для этого они должны быть представлены в некотором удобном для вычисления виде. Одним из простейших способов, использующихся для построения байесовских классификаторов, является представление плотностей распределений условных вероятностей в виде нормального закона:

.

где – среднее, а – ковариационная матрица распределения p (x | a_i), которые в задаче классификации считаются известными. Величина | C_i | обозначает определитель соответствующей матрицы.

Если плотности распределений действительно распределены по нормальному закону, то никакие поверхности другого вида не будут в среднем давать лучшего качества классификации. На самом деле, этот результат верен и для более общего случая: если плотности распределения p (x | a₁) и p (x | a₂) являются симметричными и монотонно убывающими от центра симметрии, то байесовская граница, разделяющая классы a ₁ и a ₂, является поверхностью не более чем второго порядка.

Коль скоро есть возможность вычислить плотности распределения вероятностей p (x | a_i), и известны априорные вероятности P (a_i), решить задачу классификации нового образа в рамках байесовского подхода не представляет сложности. Гораздо труднее является задача распознавания образов. В статистическом подходе эта задача сводится к оценке плотностей распределения условных вероятностей p (x | a_i). Существуют параметрические и непараметрические методы оценивания плотностей распределения вероятностей по конечному набору испытаний.

Общий метод оценивания параметров основывается на правиле Байеса (или его упрощении – методе максимального правдоподобия), но примененном на этот раз к самим плотностям распределения вероятностей. В общем случае пришлось бы рассматривать плотность вероятностей как случайную функцию и искать наиболее вероятную ее реализацию. В задаче распознавания, однако, очень часто пользуются предположением о том, что векторы обучающей выборки, принадлежащие одному классу, статистически независимы и одинаково распределены. Тогда им соответствует единственная плотность распределения вероятностей p (x | w) (заданного вида, но с неизвестными параметрами w, которые требуется оценить. Естественно также считать, что плотности вероятностей, описывающие разные классы, независимы, и можно оценивать их параметры отдельно. Пусть x ₁, …, x_M – векторы обучающей выборки, принадлежащие одному классу, тогда согласно теореме Байеса величина

является апостериорной вероятностью для вектора w. Статистическая независимость x_i влечет

,

а оптимальное значение вектора параметров будет определяться как

.

Удобнее работать не с самой вероятностью, а с ее логарифмом (являющимся оценкой количества информации):

.

Приравняв нулю частные производные количества информации, взятые по параметрам плотности распределения вероятностей, можно получить систему линейных уравнений.

Часто возможна такая ситуация, что никаких предположений о виде плотности распределения сделать нельзя. В этом случае используют непараметрические методы оценивания. Однако и в этих методах все же необходимо делать некоторые априорные допущения, такие, как, например, непрерывность или симметрия плотности распределения вероятностей. Один из широко распространенных подходов к непараметрическому оцениванию заключается в представлении неизвестной плотности в виде линейной комбинации плотностей известного (параметрического) вида – смеси. Мы рассмотрим конечные смеси, которые представляются в виде:

,

где m – число компонентов смеси. Чтобы подчеркнуть, что величины P (w_i) являются численными коэффициентами, мы будем использовать обозначение P_i = P (w_i). Поскольку они имеют смысл вероятностей, то для них должны выполняться ограничения 0≤ P_i ≤ 1, P_i +…+ P_m =1.

Таким образом, смесь представляет собой взвешенную сумму некоторого количества различных распределений. Обычно (но вовсе не обязательно) распределения принадлежат одному и тому же параметрическому семейству и различаются лишь значениями параметров. Поскольку нас интересует оценивание плотностей распределения вероятностей, как векторы параметров m w ₁, …, w_m, так и коэффициенты P_i, …, P_m являются неизвестными. В связи с этим необходимо писать:

В общем случае неизвестным может быть и число компонентов смеси m.

В распознавании образов смеси актуальны еще и по следующей причине. Каждый класс a_i имеет свою модель, выражающуюся через плотность вероятностей p (x | a_i), а также вероятность P (a_i) того, что произвольно взятый вектор будет принадлежать этому классу. Тогда верно

.

Таким образом, наличие нескольких классов, каждый из которых имеет собственную плотность вероятностей, естественным образом порождает смесь. В отличие от оценивания параметров распределения для каждого класса в отдельности, привлечение модели смеси для работы со всеми классами одновременно позволяет получать также величины P_i, которые в данном случае являются ни чем иным, как априорными вероятностями классов, используемых в байесовском классификаторе.

Одной из наиболее популярных смесей является смесь нормальных плотностей, получающаяся подстановкой нормального распределения в смесь вместо плотностей p (x | w_i) с различными ковариационными матрицами и векторами средних. Эта смесь имеет тесную связь с методами, базирующимися на функциях расстояния. Каждый компонент смеси задает положение некоторого эталонного образа с локально оцененной метрикой. Однако проблема выбора количества эталонных образов (или компонентов смеси) остается и в чистом статистическом подходе.

В частном случае для аппроксимации плотности распределения элементов одного класса можно жестко задать параметры смеси следующим образом. Количество m компонентов смеси равно числу эталонных образов M. Ковариационные матрицы всех компонентов являются единичными матрицами. Вектор средних x _{0 i} i -го компонента смеси равен i -му образу обучающей выборки x _{0 i} = x_i, а коэффициенты смеси P_i =1/ М. Иными словами, в каждую точку обучающей выборки «помещается» нормальное распределение с единичной ковариационной матрицей.