Заполнение пропусков

Если присутствуют пропуски в матрице, необходим специальный механизм заполнения этих пропусков, чтобы они не могли исказить реальные закономерности.

В исследованиях одним из этапов исследования является этап верификации (проверки) и коррекции данных (удаление неправдоподобных, ошибочных, замена пропущенных значений).

В статистических программах используется специальный механизм Missing Values (пропущенные данные – при наличии пропуска вместо него вставляется специальный код, который идентифицирует ситуацию и позволяет скорректировать алгоритмы вычислений).

Методы правдоподобного заполнения пропусков (некоторые)

- метод экспертной оценки пропущенного значения

- метод сглаживания (замена пропущенного значения одной из статистик центральной тенденции – среднее, медиана, мода, выбор зависит от шкалы и параметров распределения)

- метод одномерной регрессии (значение переменной прогнозируется по значению переменной, которая имеет достаточно сильную корреляцию с искомой методом одномерной - однофакторной регрессии – далее мы остановимся на этом методе)

- метод множественной регрессии

- метод, основанный на подборе ближайшего соседа без пропусков (находим объект без пропусков, который наиболее близок к объекту с пропуском – например, с помощью кластерного анализа)

Основные схемы формирования данных типа «объект–признак»

Формирование матрицы измерений связано с определенным временным периодом и тем, как собирались данные

Синхронная схема – наблюдение и фиксация значений происходит в определенный момент времени, считающийся достаточно коротким (в более общей постановке – с неизменным сдвигом по времени), данные получаются одномоментно. Под моментом времени подразумевается такой период времени, в течение которого не может произойти изменение объекта исследования, его параметров.

Диахронная схема – учитывается изменение данных от времени при этом различают фиксацию во времени одного признака объекта, всех признаков объекта и всех признаков всех объектов.

Виды схем формирования данных

Временные ряды – один из вариантов диахронного анализа, выделение одной строки в схеме 1. Получаем временной ряд вида (t_i, x_i), при этом каждому из моментов времени соответствует значение переменной для фиксированного объекта.

Модель может быть расширена за счет введения в рассмотрение нескольких объектов, фиксации нескольких значений переменных.

Предполагается, что наблюдения доступны в дискретные (равноотстоящие?) моменты времени. Например, в проблеме прогнозирования сбыта сбыт z_t в текущем месяце t и сбыт z_t-1, z_t-2, z_t-3 в предыдущие месяцы могут быть использованы для прогноза сбыта с упреждением l=1,2,3,…12 месяцев. Обозначим через сделанный в момент t прогноз сбыта z_t+l в некоторый момент t+l в будущем, т. е. с упреждением l.

Функция , l = 1, 2,… дающая в момент времени прогнозы для всех будущих времен упреждения, будет называться прогнозирующей функцией в момент времени t. Наша цель – получить такую прогнозирующую функцию, у которой среднее значение квадрата отклонения истинного от прогнозируемого значения является наименьшим для каждого упреждения l.

В дополнение к вычислению наилучшего прогноза необходимо также указать его точность, чтобы, например, можно было оценить риск, связанный с решениями, основанными на прогнозировании. Точность прогноза может быть выражена вероятностными пределами по обе стороны от каждого прогнозируемого значения, Эти пределы можно вычислить для любого удобного набора вероятностей, например для 50 и 90%. Смысл этих пределов в том, что значения временного ряда, которое появится в соответствующее время, с указанной вероятностью будет лежать внутри этих пределов. Для иллюстрации на рис. 1.1. показаны 20 последних значений временного ряда, обрывающегося на времени t. Там же показаны прогнозируемые величины на момент t для упреждений l=1,2,…,13 вместе с 50%-ными вероятностными пределами.