Алгоритм метода главных факторов

Найдем матрицу факторного отображения А. Будем считать, что нам известна матрица коэффициентов корреляции исходных признаков R и известны общности , , а, следовательно, известна редуцированная матрица . Начнем с нахождения первого столбца матрица A, т.е. с построения первого главного фактора.

Первый главный фактор будем строить таким образом, чтобы максимизировать его вклад в суммарную общность всех исходных признаков:

.

Так как , то на элементы и в том числе на необходимо наложить следующие ограничения:

Таким образом, максимизация вклада первого главного фактора в суммарную общность исходных признаков осуществляется при «наилучшем» восстановлении корреляционных связей между исходными признаками. Оптимизационная задача для построения первого главного фактора имеет вид:

(5.13)

Для решения задачи (5.13) воспользуемся методом множителей Лагранжа. Составим функцию Лагранжа:

,

где – множители Лагранжа.

Воспользуемся необходимым условием существования экстремума функции:

, ; (5.14)

, , . (5.15)

Выражения (5.14) и (5.15) можно объединить следующим образом:

, , , (5.16)

где – символ Кронекера.

Получили систему уравнений вида:

, , . (5.17)

Умножим обе части выражения (5.17) на и просуммируем по i:

, .

Согласно (5.14) . Тогда предыдущее выражение принимает вид:

, . (5.18)

Умножим обе части выражения (5.18) на и просуммируем по r:

, . (5.19)

В выражении (5.19) , а . Обозначим , тогда (5.19) принимает вид:

или , . (5.20)

Учитывая, что , получаем систему уравнений:

(5.21)

Систему (5.21) можно записать в векторно-матричном виде:

. (5.22)

Система (5.22) – это однородная система k -линейных уравнений с k неизвестными и одним параметром . Для того, чтобы существовало ненулевое решение системы (5.22), матрица должна быть вырожденной:

. (5.23)

Уравнение (5.23) называется характеристическим для матрицы и имеет k вещественных неотрицательных корней , называемых собственными значениями матрицы . Так как есть величина , которую согласно задаче (5.13) необходимо максимизировать, то для построения первого главного фактора необходимо выбрать наибольшее собственное число . Далее подставляется в систему (5.22) и система решается относительно вектора . Решением системы (5.22) является собственный вектор матрицы , соответствующий наибольшему собственному числу . Обозначим решение системы (5.22) через . Для того, чтобы было выполнено требование , проводят нормировку вектора . Тогда искомый вектор определяется следующим образом: .

Далее необходимо решить задачу построения второго главного фактора, обеспечивающего максимальный вклад в остаточную общность. Для решения этой задачи рассчитывается матрица остаточных коэффициентов корреляции : , где – корреляционная матрица, вычисленная с учетом только первого главного фактора. Тогда для нахождения вектора коэффициентов при втором главном факторе необходимо решить оптимизационную задачу вида:

(5.24)

Решая задачу (5.24) аналогично задаче (5.13), приходят к системе уравнений вида: , где определяют как нормированный собственный вектор матрицы , соответствующий наибольшему собственному значению . Построение главных факторов продолжается до тех пор, пока сумма собственных чисел не начнёт превосходить суммарную общность, равную следу матрицы , или до тех пор, пока элементы матрицы остаточных коэффициентов корреляции не будут близки к нулю.

В отличие от метода главных компонент в рассмотренном алгоритме построение главных факторов происходит поэтапно. Однако можно показать, что главные факторы можно построить, используя алгоритм метода главных компонент к редуцированной матрице [25].

Пусть , , …, – нормированные собственные векторы матрицы . Выясним, не будут ли они совпадать с собственными векторами матрицы . Умножим обе части выражения справа на : . Так как – это собственный вектор матрицы , соответствующий собственному значению , то можно записать: . Тогда получаем выражение: .

Если , то согласно (5.18) и . Таким образом, собственный вектор , соответствующий наибольшему собственному значению матрицы , является и собственным вектором матрицы , но соответствующее ему собственное значение равно нулю. Если , то согласно (5.18) и . Следовательно, за исключением собственные значения и собственные векторы матрицы равны соответствующим собственным значениям и собственным векторам матрицы . Несмотря на полученный результат, с вычислительной точки зрения предпочтение отдается итерационному алгоритму построения главных факторов, требующему нахождения не всех собственный значений и собственных векторов матрицы , а только одного (наибольшего) собственного числа и соответствующего ему собственного вектора матрицы на каждой итерации алгоритма.