Вырожденные задачи наименьших квадратов

До сих пор при инимизации функции предполагалось, что - матрица полного ранга. Что произойдет, если ранг матрицы не полон или же близка к матрице неполного ранга? Такие задачи возникают во многих реальных ситуациях, например, при выделении сигнала из зашумленных данных, решении некоторых типов интегральных уравнений, цифровом восстановлении изображений и т.д. эти задачи часто плохо обусловлены и чтобы превратить их в хорошо обусловленные, приходится накладывать дополнительные ограничения на их решения. Превращение плохо обусловленной задачи в хорошо обусловленную путем наложения дополнительных условий на решение называется регуляризацией.

Теорема. Пусть - матрица размера , причем и пусть ранг матрицы меньше . Тогда множество векторов , минимизирующих , образуют -мерное линейное подпространство.

Данная теорема говорит о том, что для матрицы , имеющей (в точной арифметике) неполный ранг, решение задачи наименьших квадратов не единственно.

Вследствие ошибок в элементах матрицы или округлений при вычислениях у , как правило, не будет сингулярных чисел, в точности равных 0, но будут одно или несколько очень малых сингулярных чисел (т.е. будет близка к матрице неполного ранга). Можно показать, что единственное решение задачи наименьших квадратов вэтом случае будет очень велико и обязательно является очень чувствительным к погрешностям в . Регуляризация задачи осуществляется путем наложения некоторых условий на решение.