Использование скользящей дисперсии для анализа результатов бенчмарка СУБД
Задача
Проанализировать результаты бенчмарка СУБД с использованием скользящей дисперсии.
Реализация
Описание методики сбора данных по бенчмарку СУБД
Статистический анализ результатов benchmark PostgreSQL / Хабр
Расчет скользящей дисперсии
По каждой точке t вычисляется дисперсия по выборке для входных значений (квадрат отклонения по выборке) за период [ t; t-60 минут].
Использование дисперсии при анализе производительности СУБД. Точка излома графика дисперсии / Хабр
Статистические результаты
Рис. 1. Статистически показатели производительности СУБД — результат бенчмарка
Рис. 2 Таблица частотной диаграммы производительности СУБД — результат бенчмарка
Рис. 3. График частотной диаграммы производительности СУБД
Рис. 4. График изменения производительности СУБД за весь период теста. Желтые точки — результат бенчмарка
Рис. 5. График скользящей дисперсии за период теста
Рис. 6 Дифференцирование значений скользящей средней с периодом 1ms
Статистические показатели результативного периода
Рис. 7. Производительность СУБД за результативный период
Рис. 8. Скользящая дисперсия за результативный период
Рис. 9 Дифференцирование значений скользящей дисперсии с периодом 1ms
Итоги и выводы
Использование скользящей дисперсии позволяет оценить неоднородность показателей производительности СУБД и исключить из рассмотрения данные в которых влияние внешних факторов сильно влияет на результат
Скользящую дисперсию можно использовать для оценки изменения нагрузки на СУБД при продуктивной нагрузке. Результаты будут интересные и наверное позволят сделать вывод о переходе продуктивной СУБД в нештатный режим работы.
