Тест Уилкоксона: золотая середина для практиков17.03.2021 13:33

В практике обработки результатов наблюдений распределение генеральной совокупности неизвестно либо (для непрерывных случайных величин) отличается от нормального распределения, так что применение классических статистических методов необоснованно и может привести к ошибкам. В этом случае применяют методы, не зависящие (или свободные) от распределения генеральной совокупности — непараметрические методы.

В статье с единой точки зрения обсуждаются три часто встречающихся на практике одновыборочных теста: тест знаков, t-тест и тест Уилкоксона (Signed-Rank Wilcoxon test) — непараметрической процедуры, мощность которой сравнима с мощностью t-теста в случае нормально распределенной выборки, и превышает мощность t-теста в случае, если распределение выборки имеет «более тяжелые хвосты» по сравнению с нормальным распределением.

1. Определим модель для параметра положения (location model) следующим образом. Пусть $X_1, X_2,\ldots,X_n$ — обозначает случайную выборку, полученную по следующему закону

$X_i=\theta+e_i,$

где предполагается, что случайные ошибки $e_1,e_2,\ldots,e_n$ — это независимые и одинаково распределенные случайные величины с непрерывной плотностью распределения f(t) , симметричной относительно нуля.

2. При условии симметрии любой параметр положения X_i , включая среднее и медиану, равен $\theta$ . Рассмотрим гипотезу

$H_0:\theta=0,~~~H_a:\theta>0.» src=«https://habrastorage.org/getpro/habr/upload_files/508/a69/418/508a694187f211753fabd5a65d1e939e.svg» />3. Для проверки данной гипотезы рассмотрим три часто используемых на практике теста: тест знаков, t-тест и тест Уилкоксона.3.1. Классический тест знаков (sign test) основан на статистике <img alt=$

где sign(t)=-1,0,1 для t<0,t=0,t>0» src=«https://habrastorage.org/getpro/habr/upload_files/c9b/c85/a19/c9bc85a19b1e1696206ef3bc693cba96.svg» />соответственно. Пусть<img alt= 0\}.» src=«https://habrastorage.org/getpro/habr/upload_files/880/4ff/783/8804ff783552092215bdc2e01fb0be74.svg» />

Тогда S=2S^+-n . Здесь предполагается, что ни одно из значений X_i не равно нулю (на практике, равные нулю значения из выборки исключают, а объем выборки корректируют). При условии H_0 , статистика S^+ имеет биномиальное распределение с числом испытаний и вероятностью успеха 1/2 . Пусть s^+ — наблюдаемая величина S^+ тогда p-value для теста знаков равно $P_{H_0}(S^+\geq s^+)=1-F_B(s^+-1;n;0.5)$ , где F_B(t;n;p) — функция биномиального распределения с параметрами и (R функция pbinom возвращает значения cdf для биномиального распределения).

Заметим, что в тесте знаков распределение статистики при нулевой гипотезе H_0 не зависит (свободно) от вида распределения f(t) .

3.2. Следующий традиционный t-тест (t-test) основан на сумме наблюдений. По аналогии можно записать

$T=\sum_{i=1}^nsign(X_i)\cdot|X_i|.$

Заметим, что распределение статистики зависит от плотности распределения f(t) . Обычно t-тест записывают в форме t-отношения

$t=\frac{\bar{X}}{s/\sqrt{n}},$

где $\bar{X}$ и соответственно, выборочное среднее и стандартное отклонение. Если выборка получена из нормального распределения, то статистика имеет t-распределение Стьюдента с n-1 степенью свободы. Пусть t_0 наблюдаемое по выборке значение . Тогда p-value для t-теста равно $P_{H_0}(t\geq t_0)=1-F_T(t_0;n-1)$ , где $F_T(t;\nu)$ — функция t-распределения Стьюдента c $\nu$ степенью свободы (R функция pt возвращает значения cdf для t-распределения). Это точное значение p-value в случае нормального распределения, в противном случае это аппроксимация.

3.3. Отличие t-теста от теста знаков состоит в том, что статистика t-теста является функцией расстояний элементов выборки относительно нуля в дополнение к их знакам.

Выбранная нами статистика теста Уилкоксона (signed-rank Wilcoxon test) хороша тем, что использует лишь ранги этих расстояний. Обозначим R|X_i| ранг X_i среди всех $|X_1|,\ldots,|X_n|$ , упорядоченных от меньшего значения к большему. Тогда статистика Уилкоксона имеет вид

$W=\sum_{i=1}^nsign(X_i)\cdot R|X_i|.$

В противоположность статистике t-теста, статистика , также как и рассмотренная ранее статистика при условии нулевой гипотезы H_0 не зависит от вида f(t) .

Распределение статистики не может быть выведено в виде законченной формулы и при ее расчете используется итерационный алгоритм. Обычно, наряду со статистикой , составляют сумму рангов положительных элементов выборки W^+ , то есть

$W^+=\sum_{X_i>0}R|X_i|=\frac{1}{2}W+\frac{n (n+1)}{4}.» src=«https://habrastorage.org/getpro/habr/upload_files/4e5/4c3/e01/4e54c3e018692435a04a2f346beab51c.svg» />Тогда p-value для теста Уилкоксона равно <img alt=$ , где $F_{W^+}(x;n)$ — функция распределения статистики Уилкоксона для выборки размера

(R функция psignrank возвращает значения cdf распределения W^+

).

4. Техника построения доверительных интервалов широко используется при решении практических задач. Каждый из рассмотренных выше тестов: тест знаков, t-тест и тест Уилкоксона имеет соответствующую оценку и доверительный интервал для параметра положения $\theta$ . Рассмотрим далее имеющиеся результаты.

4.1. Оценкой параметра положения $\theta$ , связанной с тестом знаков является выборочная медиана

$\hat{\theta}=med\{X_1,X_2,\ldots,X_n\}.$

Для $0<\alpha<1$ соответствующий доверительный интервал для $\theta$ с доверительной вероятностью $(1-\alpha)100\%$ задается в виде $\left(X_{(c_1+1)},X_{(n-c_1)}\right)$ , где $X_{(i)}$ — -ая порядковая статистика выборки, c_1 – $\alpha/2$ квантиль биномиального распределения с параметрами и p=1/2 . Этот доверительный интервал не зависит от вида распределения ошибок e_i . Отметим, что из-за дискретности биномиального распределения для каждого значения существует ограниченный набор значений $\alpha$ .

4.2. Оценкой параметра положения $\theta$ , связанной с t-тестом является выборочное среднее $\bar{X}$ . Классический доверительный интервал в этом случае имеет вид $\bar{X}\pm t_{\alpha/2,n-1}\cdot[s/\sqrt{n}]$ , где $t_{\alpha/2,n-1}$ — $\alpha/2$ квантиль t-распределения Стьюдента с n-1 степенью свободы. Данный доверительный интервал зависит от вида распределения ошибок e_i .

4.3. Оценкой параметра положения $\theta$ , связанной с тестом Уилкоксона является оценка Ходжеса-Лемана (Hodges-Lehmann)

$\hat{\theta}_W=med_{i\leq j}\left\{\frac{X_i+X_j}{2}\right\}.$

Парные средние $A_{ij}=(X_i+X_j)/2$ , $i\leq j$ называются средними Уолша (Walsh averages) выборки. Пусть $A_{(1)}<\cdots<A_{(n(n+1)/2)}$ упорядоченный набор средних Уолша. Тогда $(1-\alpha)100\%$ доверительный интервал для $\theta$ имеет вид $\left(A_{(c_2+1)}, A_{(n(n+1)/2-c2)}\right)$ , где c_2 — $\alpha/2$ квантиль signed-rank Wilcoxon распределения. Этот доверительный интервал не зависит от вида распределения ошибок e_i при условии их симметрии относительно нуля. Отметим, что размах значений W^+ — множество $\left\{0,1,…,n(n+1)/2\right\}$ имеет порядок n^2 . Поэтому, для умеренных по размеру выборок, тест Уилкоксона менее зависим от дискретного характера распределения статистики критерия, то есть выбранный уровень значимости $\alpha$ в этом случае ближе к найденному.

5. В качестве практического примера рассмотрим данные об объеме продаж (в штуках) для восьми товарных позиций в двух магазинах A и B за неделю. Ответим на вопрос, в каком магазине спрос на товары выше?

Составим выборку, каждый элемент которой представляет собой разницу в продажах соответствующей товарной позиции в магазинах A и B. Пусть $\theta$ характеризует центральное значение выборки. Следующая R сессия показывает результат применения теста Уилкоксона и t-теста для проверки правосторонней гипотезы $H_0:\theta=0,H_a:\theta>0.» src=«https://habrastorage.org/getpro/habr/upload_files/e57/b9a/2de/e57b9a2def806ec38d5b2d32b3ee695b.svg» /><pre><code class=$ > Store_A <- c(82, 69, 73, 43, 58, 56, 76, 65) > Store_B <- c(63, 42, 74, 37, 51, 43, 80, 62) > response <- Store_A - Store_B > wilcox.test(response, alternative = "greater", conf.int = TRUE) Wilcoxon signed rank exact test data: response V = 32, p-value = 0.02734 alternative hypothesis: true location is greater than 0 95 percent confidence interval: 1 Inf sample estimates: (pseudo)median 7.75 > t.test(response, alternative = "greater", conf.int = TRUE) One Sample t-test data: response t = 2.3791, df = 7, p-value = 0.02447 alternative hypothesis: true mean is greater than 0 95 percent confidence interval: 1.781971 Inf sample estimates: mean of x 8.75

Тест Уилкоксона wilcox.test() возвращает статистику W^+ , p-value теста, оценку Ходжеса-Лемана для $\theta$ и $95\%$ доверительный интервал для $\theta$ . Т-тест t.test() имеет аналогичный синтаксис и результаты. Как видно, обе процедуры отвергают нулевую гипотезу на уровне 0.05 , то есть можно сказать, что спрос на продукцию в магазине A выше.

Подведем итог, из трёх рассмотренных в статье тестов для практического применения рекомендуется тест Уилкоксона. Он требует минимум предположений о характере распределения генеральной совокупности, сравним по мощности с t-тестом в случае нормального распределения и превышает мощность t-теста в случае симметричного непрерывного распределения с «более тяжелыми хвостами» по сравнению с нормальным распределением.