Математико-статистические идеи метода

Классы, на которые разбито множество объектов, можно представить как значения некоторой классифицирующей («зависимой») переменной, измерен­ной в шкале наименований. Дискриминантные переменные представлены в числовой шкале. Основная задача дискриминантного анализа заключается в том, чтобы по значениям дискриминантных переменных для объектов полу­чить значения классифицирующей переменной, то есть определить классы, в которые попадают эти объекты.

Дискриминантные переменные, количество которых равно Р, можно пред­ставить себе как ортогональные оси Р -мерного евклидова пространства. Тог­да каждый объект будет являться точкой в этом пространстве, положение ко­торой задано значениями дискриминантных переменных для этого объекта как его координатами. Так, если переменных две, то объект может быть изображен на плоскости в месте пересечения координат, соответствующих значениям этих двух переменных для данного объекта. Если переменных три, то объект представляет собой точку в трехмерном пространстве, и т. д.

Множество объектов в пространстве Р признаков можно представить как скопление точек. Чем более объекты похожи друг на друга по данным признакам, тем плотнее будет скопление точек. Если несколько классов объектов отличаются друг от друга по дискриминантный переменным, то их можно представить как соответствующие классам скопления точек в некоторых областях P -мерного пространства признаков. Чем больше объекты внутри каждого класса похожи друг на друга и отличаются от объектов из другого класса, тем меньше пересечений соответствующих классам «территорий».

Для каждого класса в пространстве признаков можно определить положение центроида — точки, координаты которой есть средние значения дискриминантных переменных для данного класса. Центроид — это место типичных наблюдений для данного класса, его можно использовать как для описания различий между классами, так и для определения принадлежности «неизвес­тных» объектов к одному из классов.

Из геометрической интерпретации задачи дискриминантного анализа следует правило классификации объектов: объект приписывается к тому классу, к центроиду которого он ближе всего. Соответственно, сама задача классифи­кации объектов сводится к определению расстояний от каждого объекта до центроидов каждого класса по известным значениям дискриминантаых пе­ременных.

В современных компьютерных программах задача классификации решается с помощью канонических дискриминантных функций. Канонические функции — это ортогональные оси, в максимальной степени различающие центроиды классов, Началом координат для канонических функций явля­ется «главный центроид» — точка, координаты которой есть средние значе­ния всех дискриминантных переменных. Первая каноническая ось ориен­тирована в направлении, в котором центроиды классов различаются в максимальной степени. Если классов больше двух, то вторая ось ориенти­рована перпендикулярно первой в направлении максимального различия классов и т. д. Максимальное число таких функций равно числу классов за вычетом единицы. Так, для различения двух центроидов (классов) доста­точно одной оси, для различения трех классов — двух канонических функ­ций, и т. д. Таким образом, канонические функции позволяют преобразо­вать P -мерное пространство исходных признаков в Q -мерное пространство дискриминантных функций (Q = G— 1, где G — число классов). Обсужде­ние процедуры получения канонических функций выходит за рамки этой книги. Отметим лишь, что в ее основе лежит анализ ковариационных и кор­реляционных матриц, а процедура их получения и результат весьма напо­минают факторный анализ.

Канонические функции и дискриминантные переменные связывают стандартизированные канонические коэффициенты, которые позволяют оценить относительный вклад переменных в каждую каноническую функцию. В от­личие от них, структурные коэффициенты канонических функций — это кор­реляции канонических функций и дискриминантных переменных. Как и фак­торные нагрузки в факторном анализе, структурные коэффициенты отражают связь дискриминантных переменных с каноническими функциями. Струк­турные коэффициенты канонических функций показывают вклад каждой дискриминантной переменной в различительную способность соответствующей функции. Таким образом, каждая каноническая функция может быть проинтерпретирована через переменные, вносящие в нее наибольший по аб­солютной величине вклад — подобно интерпретации факторов по фактор­ным нагрузкам в факторном анализе.

Анализ канонических функций сопровождается получением важных статис­тических показателей качества классификации. Основными из них являют­ся: собственное значение канонической функции, -Вилкса и -тeст.

Собственное значение канонической функции, как и в факторном анализе, есть показатель информативности функции. Сумма всех собственных значе­ний равна числу классов. Соответственно, собственное значение для данной канонической функции, деленное на количество классов, есть показатель ее информативности — доли суммарной дисперсии всех объектов по всем пере­менным, которая исчерпывается этой канонической функцией.

-Вилкса выполняет ту же функцию, что и в MANOVA, то есть является мерой достоверности различения классов при помощи данного набора переменных. -Вилкса — это мера остаточной дискриминативной способности переменных при учете данного набора канонических функций. Следователь­но, чем меньше -Вилкса, тем лучше данная каноническая функция (или весь их набор) различает объекты. -тест позволяет определить статистическую достоверность такого различения.

ПРИМЕР

Предположим, в результате дискриминантного анализа для трех классов были по­лучены две канонические функции. Основные их показатели приведены ниже в таблице.

Функции	Собственное значение	% дисперсии	-Вилкса		p -уровень
	2, 794	95, 6	0, 233	22, 549	0, 004
	0, 129	4, 4	0, 886	1, 879	0, 598

Первая каноническая функция обладает 95, 6% общих дискриминативных возмож­ностей, а вторая — всего 4, 4%. Величина = 0, 233 для первой канонической функ­ции показывает остаточную дискриминативную способность после учета всех ка­нонических функций, а величина = 0, 886 — остаточную дискриминативную способность при учете только второй канонической функции. Общая дискриминативная способность канонических функций достоверна на высоком уровне ста­тистической значимости (р = 0, 004), а статистическая значимость второй канонической функции явно мала (р = 0, 598). Таким образом, различие классов по второй канонической функции не подлежит содержательной интерпретации. В принципе, ее можно исключить из анализа, но при условии, что качество классификации при этом сохранится на приемлемом для исследователя уровне.

Значения канонических функций вычисляются для каждого объекта по фор­муле, которая идентична по виду линейному уравнению множественной рег­рессии:

где Y_ik — значение канонической функции k для объекта i, а , …, канонические коэффициенты для каждой из дискриминантных переменных. Значе­ния канонических функций вычисляются для каждого центроида и каждого объекта, в том числе — «неизвестного», для которого не известна принадлежность к классу, и интерпретируются как их координаты в пространстве кано­нических функций. В этом пространстве малой размерности можно получить наглядное отображение всех объектов вместе с центроидами классов.

Принадлежность объекта к классу в большинстве компьютерных программ дискриминантного анализа определяется по расстоянию этого объекта до цен­троида соответствующего класса в пространстве канонических функций. Объект причисляется к тому клас­су, к центроиду которого он ближе всего. Однако надо помнить, что если расстояние объекта до класса велико (то есть профиль объекта мало похож на среднегрупповой), то объект может быть причислен к данному классу, поскольку до ос­тальных классов он еще дальше.

Определение принадлежности неизвест­ных объектов

Производной от расстояния является еще одна мера классификации — апостериорная вероятность принадлежности к классу. Априорная вероятность («до опыта») принадлежности «нового» объекта к классу равна численности «известных» объектов этого класса, деленной на все «известные» объекты. Эта вероятность известна и без дискриминантного анализа, «до опыта». Апосте­риорная вероятность («после опыта») вычисляется исходя из расстояний дан­ного объекта до центроидов каждого класса в предположении, что он при­надлежит к одному из этих классов. Для любого объекта, следовательно, сумма этих вероятностей по всем классам равна 1. И чем меньше расстояние этого объекта до центроида класса, тем выше апостериорная вероятность его при­надлежности к этому классу. Отнесение объекта к классу на основе наиболь­шей из вероятностей, таким образом, эквивалентно использованию наимень­шего расстояния до центроида этого класса.

Вычисленные расстояния или апостериорные вероятности для известных объектов позволяют определить точность классификации и проанализиро­вать ошибки, а для неизвестных — отнести объекты к одному из классов.

Анализ дискриминантных переменных позволяет, если это необходимо, отсеять несущественные для предсказания дискриминантные переменные. Наиболее важными показателями в этом анализе являются: критерий F-Фишера, толерантность и статистика F-удаления. Значимость каждой перемен­ной для разделения классов определяется по F -Фишера по модели дисперси­онного анализа. Толерантность равна единице минус квадрат коэффициента множественной корреляции этой переменной со всеми остальными. Если толерантность равна нулю, то эта переменная является линейной комбина­цией одной или нескольких других переменных и ее нельзя включать в ана­лиз, равно как и переменные с очень малой толерантностью (скажем, меньше 0, 001). Статистика F- удаления оценивает ухудшение разделения классов при удалении данной переменной из набора. Следовательно, чем больше значе­ние этой статистики, тем более значима данная переменная для различения классов. На величину статистики F -удаления влияет не только различитель­ная способность самой этой переменной (как в модели дисперсионного ана­лиза), но и ее связь с другими переменными: чем сильнее она связана с други­ми переменными, тем меньше статистика F -удаления, тем меньше значение данной переменной.

Компьютерные программы позволяют автоматически отсеять малозначимые для дискриминантного анализа переменные. Во-первых, программа (SPSS) автоматически исключает из анализа переменные с низкой толерант­ностью. Во-вторых, возможен пошаговый дискриминантный анализ. При по­шаговом методе переменные удаляются из анализа или включаются в него на основе улучшения (ухудшения) качества различения классов (обычно — по - Вилкса). Критериями для включения и удаления переменной являются ста­тистики F -включения и F -удаления, которые показывают степень улучше­ния и ухудшения различения классов при включении и удалении данной переменной. Численные значения этих статистик могут быть заданы пользо­вателем программы.

Дополнением к задаче классификации является анализ расстояний между классами. Программы обычно вычисляют значения F -критерия Фишера и p- уровень статистической значимости расстояния. Анализ расстояний позволяет определить, насколько существенно различаются классы по выбранным для анализа дискриминантный переменным.

Несмотря на обилие статистических критериев и показателей качества классификации, основным ориентиром для исследователя должно все же являться сопоставление действительной классификации «известных» объектов и их классификации при помощи канонических функций. Таким образом, основным показателем качества является процент совпадения этих двух классификаций.

Дискриминантный анализ относится к наиболее сложным методам, поэтому здесь мы ограничились лишь минимумом сведений, необходимых для понимания его основ. Более детальную информацию о порядке интерпрета­ции основных показателей дискриминантного анализа можно почерпнуть в последнем разделе этой главы, где разбирается конкретный пример приме­нения этого метода.