Большие массивы данных и непараметрические методы

Непараметрические методы наиболее приемлемы, когда объем выборок мал. Если данных много (например, n > 100), то не имеет смысла использовать непараметрические статистики. Центральная предельная теорема состоит в том, что когда выборки становятся очень большими, то выборочные средние подчиняются нормальному закону, даже если исходная переменная не является нормальной или измерена с погрешностью. Таким образом, параметрические методы, являющиеся более чувствительными (имеют большую статистическую мощность), всегда подходят для больших выборок. Большинство критериев значимости многих непараметрических статистик, описанных далее, основываются на асимптотической теории (больших выборок) поэтому соответствующие тесты часто не выполняются, если размер выборки становится слишком малым.

Рассмотрим критерии проверки гипотез об идентичности распределений H ₀: F (X) = G (X) в случае отсутствия предположений о виде законов F (X) и G (X). Для этого применяют непараметрические критерии, которые не связаны с определенными параметрами распределений. Большинство из них основано на анализе ранжированного ряда измеренных значений, причем в качестве центра распределения целесообразно использовать медиану, в качестве характеристики вариабельности – интерквантильный рамах распределения.

Непараметрические методы применяются:

- для качественных данных, представленных в номинальной шкале;

- для данных, измеряемых в порядковой шкале (т.е. представленных в виде рангов);

- для количественных данных в том случае, когда распределение генеральной совокупности неизвестно.

При решении конкретной задачи необходимо выбрать тот или иной метод. Первым критерием для выбора метода является вид шкалы, в которой представлены исходные данные. Вторым критерием является вид выборок (независимые или связанные) и их количество.

Связанные (зависимые) выборки характеризуются тем, что измерения проводятся на одной и той же группе, состоящей из n объектов, находящихся в различных условиях. Например, спрос на продукцию фирмы до и после рекламной кампании, частота сердечных сокращений до и после физической нагрузки и т.п. В случае если каждый из n объектов подвергается k воздействиям, то результаты наблюдений представляют k связанных выборок объема n. В связанных выборках количество наблюдений одинаково. Независимые (несвязанные) выборки такими свойствами не обладают.

Таким образом, рассматриваемые ниже методы можно классифицировать следующим образом:

1. Исходные данные: две независимые выборки объемов и .

Проверяемая гипотеза H ₀: выборки принадлежат однородным генеральным совокупностям[1].

Методы:

- критерий серий Вальда-Вольфовица;

- критерий Манна-Уитни;

- двухвыборочный критерий Колмогорова-Смирнова.

2. Исходные данные: пары наблюдений двух признаков X и Y, измеренных в порядковых или количественных шкалах.

Проверяемая гипотеза H ₀: признаки X и Y некоррелированны.

Меры статистической зависимости:

- ранговый коэффициент корреляции Спирмена;

- коэффициент корреляции Кендалла.

3. Исходные данные: k независимых выборок объемов .

Проверяемая гипотеза H ₀: выборки принадлежат однородным генеральным совокупностям.

Методы:

- однофакторный дисперсионный анализ Краскела-Уоллиса;

- медианный критерий.

4. Исходные данные: две связанные выборки объемов n.

Проверяемая гипотеза H ₀: выборки принадлежат однородным генеральным совокупностям.

Методы:

- критерий знаков;

- критерий Вилкоксона.

5. Исходные данные: k связанных выборок объемов n.

Проверяемая гипотеза H ₀: выборки принадлежат однородным генеральным совокупностям.

Методы: двухфакторный анализ Фридмана.

Меры связи: коэффициент конкордации Кендалла.

6. Связанные выборки, измеряемые в номинальной шкале.

1) Исходные данные: две связанные выборки объемов n переменных X и Y, каждая из которых принимает два значения (0, 1; +, – и т.д.).

Проверяемая гипотеза H ₀: эффект воздействия отсутствует.

Метод: критерий Макнимара.

2) Исходные данные: две связанные выборки объемов n переменных , каждая из которых принимает два значения (0, 1; +, – и т.д.).

Проверяемая гипотеза H ₀: эффект воздействия отсутствует.

Метод: критерий Кокрена.

7. Выборки, измеряемые в номинальной шкале.

1) Исходные данные: выборки двух случайных объемов n переменных X и Y, каждая из которых принимает два значения (0, 1; +, – и т.д.).

Проверяемая гипотеза H ₀: X и Y независимы.

Метод: анализ таблицы сопряженности (точный критерий Фишера, критерий c²).

2) Исходные данные: выборки двух переменных X и Y. X принимает k значений, Y – r значений.

Проверяемая гипотеза H ₀: X и Y независимы.

Метод: анализ таблицы сопряженности k × r (критерий c²).