Критерии согласия χ2 Фишера для сложной гипотезы

Для проверки сложных гипотез может быть использована и соответствующая модификация критерия хи-квадрат Пирсона. Главные заслуги здесь принадлежат Р. Фишеру. Приведу одну из его теорем (сохраняя обозначения из теоремы К. Пирсона).

Теорема Фишера. Пусть n – число независимых повторений опыта, который может заканчиваться одним из r (r – произвольное натуральное число) элементарных исходов, скажем, А₁, …, А_r. Пусть вероятности этих элементарных исходов известны с точностью до некоторого неопределенного, скажем, k-мерного параметра = ( ₁, …, _k). Тогда эти вероятности являются функциями от : Р(А_і) = р_і(). Будем предполагать, что функции р₁(), …, р_r() заданы, дифференцируемы, для всякого , а параметр изменяется в ограниченной области пространства. Тогда при n → ∞ статистика:

(4.1)

асимптотически распределена по закону χ² с r – k – l степенями свободы.

Существует много вариантов этой теоремы. Например, такое же, как выше, предельное распределение имеет статистика

(4.2)

где _n – оценка наибольшего правдоподобия для параметра _, найденная по частотам т₁, …, т_r. Поэтому значение (4.2) в дальнейшем можно использовать вместо (4.1). Далее, знаменатели пр_і в (4.1) и (4.2) можно заменить на т_і, і = 1, …, r, и это не отразится на асимптотическом распределении χ². Есть и другие возможности.

Статистика χ² из (4.1) (и ее варианты) называется статистикой хи-квадрат Фишера для сложной гипотезы.

Статистику (4.1) (и ее варианты) можно использовать для проверки описанной выше сложной гипотезы о параметрическом виде вероятностей в схеме Бернулли

где р₁(·), …, р_r(·) – заданы, а параметр изменяется в заданной ограниченной области. Это можно делать так же, как мы делали с помощью статистики χ² в случае простой гипотезы.

А именно, по наблюденным частотам т₁, …, т_r надо вычислить значение χ² (4.1) либо (4.2) и затем сравнить его с критическими значениями распределения χ² с числом степеней свободы (r – k – l), либо вычислить Р(χ²> χ²). Однако для использования аппроксимации хи-квадрат для распределения χ² необходимо, чтобы число наблюдений было достаточно велико, и тем самым ожидаемые частоты пр_і() не были малыми.

Как следует из формулировки теоремы, объект ее применения – испытания с конечным числом исходов. Чтобы использовать ее в условиях другого эксперимента – например, для проверки гипотезы о типе непрерывного или дискретного распределения с бесконечным (или конечным, но большим) числом исходов – этот эксперимент надо предварительно превратить в схему Бернулли. Раньше уже говорилось, как это делается обычно – путем разбиения выборочного пространства на непересекающиеся области. Параметрический (зависящий от параметра ) закон распределения вероятностей во всем пространстве, соответствие которого нашей выборке мы хотим проверить, превращается при этом в параметрическое распределение вероятностей между выбранными r областями.

Понятно, что результат последующего применения критерия хи-квадрат (принять гипотезу, отвергнуть гипотезу) сильно зависит от описанного перехода. К этому следует добавить условие применимости распределения χ², которое требует, чтобы ожидаемые частоты были достаточно большими. (условие на ожидаемые частоты часто приходиться заменять требованием, чтобы не были малы наблюдаемые частоты т₁, …, т_r.) становится ясно, что подготовка к применению критерия хи-квадрат в несвойственных ему составляет деликатную и не всегда простую проблему. Возникает даже опасность невольной подгонки выбираемого разбиения к желательному результату. Поэтому, строго говоря, разбиение пространства на области должно идти вне зависимости от результатов случайного эксперимента, т.е. вне влияния подлежащей обработке выборки.

Как же после всех этих предостережений можно применить теорему Фишера к проверке гипотезы о типе выборки? Обсудим это на примере нормального распределения, параметры которого (а, σ²) неизвестны.

Итак, есть выборка х₁, …, х_п большого объема, проверить нормальность которой мы хотим с помощью (4.1) или (4.2) или их модификаций. Прежде всего мы должны разбить числовую прямую на r непересекающихся областей, а еще прежде – выбрать само число r. Сейчас существует убеждение (подкрепленное асимптотическими исследованиями), что против гладкой альтернативы лучше брать r небольшим – несколько единиц. Если же конкурируют с нормальным распределением все другие возможности, число r стоит взять таким большим, какое позволяет последующее использование аппроксимации хи-квадрат.

Допустим, что r уже выбрано, и можно переходить к разбиению пространства на области. При этом надо позаботится о том, чтобы ожидаемые частоты этих областей были достаточно велики для того, чтобы для χ² действовала аппроксимация χ². поскольку истинное распределение вероятностей неизвестно, приходится опираться на какую-либо его оценку. В данном примере – на оценку

истинной функции распределения

Чтобы не ломать бесплодно голову над вопросом, какими должны быть вероятности этих областей, а точнее в данном случае – их приближенные значения, возьмем их одинаковыми. Иными словами, в качестве границ интервалов используем решения уравнений

,

Замечу, что в качестве оценки функций распределения можно использовать и выборочную функцию распределения F_n(х), и другие возможности. В этом случае границами интервалов разбиения будут служить выборочные квантили (порядковые статистики).

После того, как мы определили интервалы разбиения числовой прямой, подсчитываем частоты т₁, …, т_r, по которым будем вычислять потом статистику χ² (4.1) или (4.2) или какую- либо эквивалентную.

Следует подчеркнуть, что согласно теореме Фишера, для вычисления участвующих в этих формулах вероятностей р_і() следует использовать частоты т₁, …, т_r, и только их. Никакой другой информацией пользоваться нельзя! Нельзя, например, использовать составлены по всей выборке,а должны быть – по частотам т_і.

Можно даже сказать, какие последствия повлечет за собой нарушение этого запрета. Статистика χ² не будет (асимптотически) следовать распределению χ² с r – l степенями свободы (как было бы при точно известных параметрах). Ее функция распределения пройдет несколько выше. В качестве иллюстрации на рис. 4.1 приведе6м графики функций распределения хи-квадрат с 8, 10, 18 и 20 степенями свободы. Графики, соответствующие первым двум распределениям, выделяют область в которой будет проходить график функции распределения χ² при r = 11, если для вычисления р_і() использовались оценки . Последние два графика задают область нахождения функции распределения χ² при r = 21.

Рис. 4.1 функции распределения хи-квадрат с8,10,18 и 20 степенями свободы.

При больших r относительное развитие между квантилями распределений χ² с (r – 3) и (r – 1) степенями свободы невелико. Поэтому последствия такой ошибки не опасны. Но при r следует действовать «по теории».

Из-за всех этих сложностей, условий и оговорок можно сделать вывод, что для проверки гипотезы о нормальности выборки критерий Р. Фишера подходит плохо. Правильнее вместо этого использовать модификации критериев Колмогорова или омега-квадрат. Но для многих распределений вероятностей (например – дискретных) другой возможности, чем обсуждаемый критерий хи-квадрат Фишера, просто нет.