Про корреляцию и не только
Иногда, имея на руках данные, чувствуешь нехватку стандартных инструментов. Особенно это касается случаев, когда за числами стоит динамический процесс, который постоянно норовит сменить внутреннее состояние.Под катом автор постарается показать, как, используя нехитрый трюк, из обычных данных можно вытащить горы разнообразной информации. В этих горах можно обнаружить самые сокровенные подробности изучаемого процесса, вопрос лишь в любознательности и некоторой доле везения.В качестве исходных данных возьмем две незатейливые кривые — средние скорости для некоторых категорий дорог в паре городов нашей необъятной Родины.
Просто для информации, мы видим срез данных за неделю с шагом в 15 минут.
Что можно было бы предпринять с помощью стандартных средств? Пройтись скользящим средним, построить распределение, найти дисперсии, ко-вариацию/корреляцию, сделать свёртку. Это даст нам несколько чисел, несколько новых кривых. А если этого не достаточно, чтобы понять, что же там в действительности происходит?
Вспомним, что у нас на руках два интервала, каждый из которых может дать кучу под-интервалов. Сравнение двух под-интервалов в свою очередь может дать нам число (или числа). Выбирая способы генерации под-интервалов двух исходных кривых мы начинаем порождать как минимум двухмерные данные. Например:
Зафиксируем размер под-интервалов
По оси абсцисс будем откладывать расстояние от начала интервала до начала кривой
По оси ординат то же, но для другой кривой
Значением будем считать корреляцию двух под-интервалов
Вот, например, картина для под-интервалов с шириной 45 точек: 
А вот то же, но для ширины в 127 точек: 
Под спойлером можно увидеть анимированную картину плавного расширения под-интервалов
Теперь добавим немного шума к исходным данным, Зафиксируем размер под-интервалов в 127 и будем подмешивать к данным шум с возрастающей амплитудой. Вот, например, картина для шума с амплитудой 9
А вот с амплитудой 69: 
Под этим спойлером лежит анимация нарастания шума.
Напоследок посмотрим еще на соотношение амплитуд основной гармоники (соответствующей дневному циклу) после фурьирования с окнами в 256 точек
и на разницу фаз основных гармоник после фурьирования с окнами в 512 точек
Мораль. Хм… да, мораль.Не ленитесь искать черную кошку в темной комнате. Там и помимо кошки может быть кое-что интересное.
