Оценка качества построенной модели

Модель считается хорошей со статистической точки зрения, если она адекватна и достаточно точна.
Провека адекватности модели реальному явлению является важным этапом прогнозирования социально - экономических процессов. Для этого исследуют ряд остатков , т.е. отклонения расчетных значений от фактических данных.
Для оценки адекватности построенных моделей исследуются свойства остаточной компоненты, т.е. расхождения уровней, рассчитанных по модели, и фактических наблюдений. Наиболее важными свойствами остаточной компоненты являются независимость уровней ряда остатков, их случайность и соответствие нормальномузакону распределения.
Проверка равенства математического ожидания уровней ряда остатков нулю осуществляется в ходе проверки соответствующей нулевой гипотезы . С этой целью строится t-статистика:
, (3.4.22)
где - среднее арифметическое значение уровней ряда остатков ; а - среднеквадратическое отклонение для этой последовательности, рассчитанное по формуле для малой выборки.

На уровне значимости гипотеза отклоняется, если , где – критерий распределения Стьюдента с доверительной вероятностью (1 – ) и степенями свободы .
Проверка условия случайности возникновения отдельных отклонений от тренда.
Для проверки случайности уровней ряда могут быть использованы критерий серий и критерий поворотных точек.
Критерий “восходящих” и “нисходящих” серий был описан ранее (см. Предварительный анализ данных)
Критерий «пиков», или критерий поворотных точек. Значение случайной переменной считается поворотной точкой, если оно одновременно больше (меньше) соседних с ним элементов. Если остатки случайны, то поворотная точка приходится примерно на каждые 1,5 наблюдения. Если их больше, то возмущения быстро колеблются и это не может быть объяснено только случайностью. Если же их меньше, то последовательные значения случайного компонента положительно коррелированны.
Критерий случайности отклонений от тренда при уровне вероятности 0,95 можно представить как

где р – фактическое количество поворотных точек в случайном ряду; 1,96 – квантиль нормального распределения для 5%-го уровня значимости. Квадратные скобки здесь так же означают, что от результата вычисления следует взять целую часть.
Если неравенство не соблюдается, то ряд остатков нельзя считать случайным (т.е. он содержит регулярную компоненту) и, стало быть, модель не является адекватной.
Наличие (отсутствие) автокорреляции в отклонениях от модели роста проверяют с помощью критерия Дарбина – Уотсона
Соответствие ряда остатков нормальному закону распределения важно с точки зрения правомерности построения доверительных интервалов прогноза. Наиболее существенными свойствами ряда отклонений являются их симметричность относительно модели и преобладание малых по абсолютной величине ошибок над большими ошибками. В этой связи определяется близость к соответствующим параметрам нормального закона распределения коэффициентов асимметрии - A (мера скошенности) и эксцесса Э (мера “скученности”) наблюдений около модели:

,
— среднеквадратическая ошибка выборочной характеристики асимметрии, — среднеквадратическая ошибка выборочной характеристики эксцесса..
Если одновременно выполняются неравенства

то гипотеза о нормальном характере распределения случайного компонента не отвергается.
Если выполняется хотя бы одно из неравенств:

то гипотеза о нормальном характере распределения отвергается
В случае попадания коэффициентов асимметрии и эксцесса в зону неопределенности (между полутора и двумя СКО) используются другие критерии, частности RS- критерий:

где и соответственно максимальный и минимальный уровни ряда остатков; - среднеквадратическое отклонение ряда остатков
Если расчетное значение ^ RS попадает между табулированными границами с заданным уровнем вероятности, то гипотеза о нормальном распределении ряда остатков принимается. (Для n = 10 и 5%-ного уровня значимости этот интервал равен 2,7 - 3,7). В этом случае допустимо строить доверительный интервал прогноза.

Если все пункты проверки дают положительный результат, то выбранная трендовая модель является адекватной реальному ряду экономической динамики, и, следовательно, ее можно использовать для построения прогнозных оценок. В противном случае – модель надо улучшать.
Оценка точности модели
В статистическом анализе известно большое число характеристик точности. Наиболее часто в практической работе, кроме среднеквадратического отклонения, используются:
максимальная по абсолютной величине ошибка

E_max = max| |;
относительная максимальная ошибка
Е_отн = Е_max / Y_ср *100%
средняя по модулю ошибка
|Е_ср| = (e(1) +... + e(n))/n
средняя относительная по модулю ошибка
|Е_ср| _отн = |Е_ср| / Y_ср* 100% (3.4.25)
Эти показатели дают представление об абсолютной величине ошибки модели и о доле ошибки в процентном отношении к среднему значению результативного признака.
При использовании ретропрогноза - подхода, когда несколько последних уровней ряда оставляются в качестве проверочной последовательности - точность прогнозных оценок определяется на основе этих же показателей.
Лучшей по точности считается та модель, у которой все перечисленные характеристики имеют меньшую величину. Однако эти показатели по-разному отражают степень точности модели и потому нередко дают противоречивые выводы. Для однозначного выбора лучшей модели исследователь должен воспользоваться либо одним основным показателем, либо обобщенным критерием.