Лекция 23. Метод главных компонентов в задаче сжатия
Идея сжатия сигнала на основе разложения по ортогональному базису была изложена выше. Рассмотренные базисы являются универсальными и не учитывают особенность сигнала. Когда имеется набор сигналов одной природы, возникает вопрос о выборе оптимального базиса, пригодного для сжатия всего семейства. Эта задача решается с помощью метода главных компонентов. Сначала нам понадобится вспомогательное утверждение из линейной алгебры.
Предложение 1. Пусть имеется вещественная симметрическая матрица и натуральное , меньше чем размер матрицы. Среди матриц вида , где - ортогональная матрица, выбирается такая, в которой сумма первых диагональный элементов максимальна. Тогда эта сумма совпадает с суммой наибольших корней .
Доказательство. Очевидно, что максимум достигается на некоторой матрице . Положим - элементарный поворот, затрагивающий строки и столбцы с номерами . Обозначим через сумму первых диагональных элементов матрицы . По определению при . Очевидно, что при . В этих обозначениях производная в нуле принимает вид . Взяв индексы , получим, что . Это означает, что искомая матрица . Поскольку набор корней матриц исчерпывает множество корней , отсюда следует утверждение.
Постановка задачи
Перейдем к постановке задачи о выборе оптимального базиса. Имеются векторов . Требуется найти систему из ортонормированных векторов таких, что выполнено условие
(1)
Его содержательный смысл - сумма квадратов отклонений от проекций на плоскость, порожденную векторами минимальна. Перепишем (1) в виде
. Поскольку первое слагаемое от векторов не зависит, последнее заменяется условием , (2)
где . Условие (2) сводится к ситуации, описанной Предложением 1. В частности, в качестве векторов можно выбирать собственные векторы, отвечающие наибольшим собственным значениям матрицы . Следует отметить, что любой ортонормированный базис в пространстве, порожденном этими собственными векторами, обладает нужными свойствами.
Отметим, что сумма квадратов отклонений совпадает с суммой оставшихся собственных значений матрицы , которая в нашем случае является неотрицательно определенной.