Корреляция, ковариация и девиация (часть 3)
В первой части мы рассказали о сути преобразования девиации и его применении к матрице квадратов расстояний. Во второй немного напустили туману на спектры простых геометрических наборов.
В данной статье мы постараемся раскрыть смысл преобразования девиации, для чего обратимся к прикладным задачам, связанным с обработкой и анализом данных. Покажем, как связано преобразование девиации матрицы расстояний со статистикой — с дисперсией, корреляцией и ковариацией.
7. Центрирование и нормирование одномерных координат
Разминку проведем на простом и всем понятном — центрировании и нормировании данных. Пусть у нас есть ряд чисел . Тогда операция центрирования сводится к нахождению среднего (центроида набора)
и построению нового набора как разности между исходными числами и их центроидом (средним):
Центрирование — это первый шаг к собственной системе координат (ССК) исходного набора, поскольку сумма центрированных координат равна 0. Вторым шагом является нормирование суммы квадратов центрированных координат к 1. Для выполнения данной операции нам нужно вычислить эту сумму (точнее среднее):
Теперь мы можем построить ССК исходного набора как совокупность собственного числа S и нормированных чисел (координат):
Квадраты расстояний между точками исходного набора определяются как разности квадратов компонент собственного вектора, умноженные на собственное число. Обратим внимание на то, что собственное число S оказалось равно дисперсии исходного набора (7.3).
Итак, для любого набора чисел можно определить собственную систему координат, то есть выделить значение собственного числа (она же дисперсия) и рассчитать координаты собственного вектора путем центрирования и нормирования исходных чисел. Круто.
Упражнение для тех, кто любит «щупать руками». Построить ССК для набора {1, 2, 3, 4}.
Собственное число (дисперсия): 1.25.
Собственный вектор: {-1.342, -0.447, 0.447, 1.342}.
8. Центрирование и ортонормирование многомерных координат
Что, если вместо набора чисел нам задан набор векторов — пар, троек и прочих размерностей чисел. То есть точка (узел) задается не одной координатой, а несколькими. Как в этом случае построить ССК?
Да, можно построить матрицу квадратов расстояний, потом определить матрицу девиации и рассчитать для нее спектр. Но об этом мы узнали не так давно. Обычно поступали (и поступают) по другому.
Введем обозначение компонент набора. Нам заданы точки (узлы, переменные, векторы, кортежи) и каждая точка характеризуется числовыми компонентами
. Обращаем внимание, что второй индекс
— это номер компоненты (столбцы матрицы), а первый индекс
— номер точки (узла) набора (строки матрицы).
Что мы делаем дальше? Правильно — центрируем компоненты. То есть для каждого столбца (компоненты) находим центроид (среднее) и вычитаем его из значения компоненты:
Мы получили матрицу центрированных данных (МЦД) .
Следующим шагом нам как будто бы надо вычислить дисперсию для каждой компоненты и их нормировать. Но мы этого делать не будем. Потому что хотя таким образом мы действительно получим нормированные векторы, но нам-то нужно, чтобы эти векторы были независимыми, то есть ортонормированными. Операция нормирования не поворачивает вектора (а лишь меняет их длину), а нам нужно развернуть векторы перпендикулярно друг другу. Как это сделать?
Правильный (но пока бесполезный) ответ — рассчитать собственные вектора и числа (спектр). Бесполезный потому, что мы не построили матрицу, для которой можно считать спектр. Наша матрица центрированных данных (МЦД) не является квадратной — для нее собственные числа не рассчитаешь. Соответственно, нам надо на основе МЦД построить некую квадратную матрицу. Это можно сделать умножением МЦД на саму себя (возвести в квадрат).
Но тут — внимание! Неквадратную матрицу можно возвести в квадрат двумя способами — умножением исходной на транспонированную. И наоборот — умножением транспонированной на исходную. Размерность и смысл двух полученных матриц — разный.
Умножая МЦД на транспонированную, мы получаем матрицу корреляции:
Из данного определения (есть и другие) следует, что элементы матрицы корреляции являются скалярными произведениями центрированных векторов. Соответственно, элементы главной диагонали отражают квадрат длины данных векторов.
Значения матрицы — не нормированы (обычно их нормируют, но для наших целей этого не нужно). Размерность матрицы корреляции совпадает с количеством исходных точек (векторов).
Теперь переставим перемножаемые в (8.1) матрицы местами и получим матрицу ковариации (опять же опускаем множитель 1/(1-n), которым обычно нормируют значения ковариации):
Здесь перемножаются компоненты (а не векторы). Соответственно, размерность матрицы ковариации равна количеству исходных компонент. Для пар чисел матрица ковариации имеет размерность 2×2, для троек — 3×3 и т.д.
Почему важна размерность матриц корреляции и ковариации? Фишка в том, что поскольку матрицы корреляции и ковариации происходят из произведения одного и того же вектора, то они имеют один и тот же набор собственных чисел, один и тот же ранг (количество независимых размерностей) матрицы. Как правило, количество векторов (точек) намного превышает количество компонент. Поэтому о ранге матриц судят по размерности матрицы ковариации.
Диагональные элементы ковариации отражают дисперсию компонент. Как мы видели выше, дисперсия и собственные числа тесно связаны. Поэтому можно сказать, что в первом приближении собственные числа матрицы ковариации (а значит, и корреляции) равны диагональным элементам (а если межкомпонентная дисперсия отсутствует, то равны в любом приближении).
Если стоит задача найти просто спектр матриц (собственные числа), то удобнее ее решать для матрицы ковариации, поскольку, как правило, их размерность небольшая. Но если нам необходимо найти еще и собственные вектора (определить собственную систему координат) для исходного набора, то необходимо работать с матрицей корреляции, поскольку именно она отражает перемножение векторов. Возможно, что оптимальным алгоритмом является сочетание диагонализаций двух матриц — сначала нашли собственные числа для ковариации и потом на их основе определили собственные вектора матрицы корреляции.
Ну и раз уж мы так далеко зашли, то упомянем, что пресловутый метод главных компонент как раз и состоит в расчете спектра матрицы ковариации/корреляции для заданного набора векторных данных. Найденные компоненты спектра располагаются вдоль главных осей эллипсоида данных. Из нашего рассмотрения это вытекает потому, что главные оси — это и есть те оси, дисперсия (разброс) данных по которым максимален, а значит, и максимально значение спектра.
Правда, могут быть и отрицательные дисперсии, и тогда аналогия с эллипсоидом (псевдоэллипсоидом?) уже не очевидна.
9. Матрица девиации расстояний — это матрица корреляции векторов
Все это прекрасно, но причем здесь преобразование девиации?
Рассмотрим ситуацию, когда нам известен не набор чисел (векторов), характеризующих некоторые точки (узлы), а набор расстояний между точками (причем между всеми). Достаточно ли данной информации для определения ССК (собственной системы координат) набора?
Ответ мы дали в первой части — да, вполне. Здесь же мы покажем, что построенная по формуле (1.3') матрица девиации квадратов расстояний и определенная нами выше матрица корреляции центрированных векторов (8.1) — это одна и та же матрица.
Как такое получилось? Сами в шоке. Чтобы в этом убедиться, надо подставить выражение для элемента матрицы квадратов расстояний
в формулу преобразования девиации:
Отметим, что среднее значение матрицы квадратов расстояний отражает дисперсию исходного набора (при условии, что расстояния в наборе — это сумма квадратов компонент):
Подставляя (9.1) и (9.3) в (9.2), после несложных сокращений приходим к выражению для матрицы корреляции (8.1):
Итак, мы убедились, что применяя операцию девиации к матрице евклидовых расстояний, мы получаем известную матрицу корреляции. Ранг матрицы корреляции совпадает с рангом матрицы ковариации (количеством компонент евклидового пространства). Именно это обстоятельство позволяет нам строить спектр и собственную систему координат для исходных точек на основе матрицы расстояний.
Для произвольной матрицы расстояний (необязательно евклидовой) потенциальный ранг (количество измерений) на единицу меньше количества исходных векторов. Расчет спектра (собственной системы координат) позволяет определить основные (главные) компоненты, влияющие на расстояния между точками (векторами).
Матрица расстояний между городами, например, заведомо неевклидова, — никаких компонент (характеристик городов) не задано. Преобразование девиации тем не менее позволяет определить спектр такой матрицы и собственные координаты городов.
Но уже не в этой статье. Здесь пока все, спасибо за уделенное время.
