Множественная регрессия

Взаимовлияния в лесных объектах обусловливают широкое применение множественной регрессии, т. е. регрессионных уравнений с несколькими аргументами.

Если x₁, х₂,..., х_k - k независимых переменных или факторов, а у - функция (или отклик), то множественное линейное (относительно коэффициентов и независимых переменных) регрессионное уравнение имеет вид:

у=a₀+a₁х₁ + a₂x₂ +... +a_kx_k, (7.32)

где

a₀ - свободный член;

a₁, a₂, …, a_k - коэффициенты регрессии.

Модели со многими переменными, нелинейно связанными с откликом у, как правило, приводят заменами (если это возможно) к линейному виду

у=a₀+a₁z₁ + a₂z₂ +... +a_kz_k, (7.33)

где

z₁, z₂, …, z_k – некоторые функции от исходных переменных x₁, х₂,..., х_k.

Идеи и методы множественной регрессии являются прямым обобщением методов статистического анализа линейных моделей с одной переменной. Но здесь возникают многочисленные трудности при подборе уравнения, определении количества переменных, их оценке и интерпретации полученных результатов. Причины этих трудностей следующие:

1) набор элементарных функций и их возможные сочетания в уравнении регрессии очень обширны;

2) аргументы, как правило, коррелированы между собой;

3) ориентация на физический смысл и сущность изучаемого явления затруднена; даже если парные регрессии у= f (x_i) высоко значимы, то влияние взаимодействия факторов может менять не только величину коэффициентов регрессии, но и придавать им знаки, противоречащие представлениям специалиста о характере влияния того или иного фактора на отклик;

4) с увеличением количества независимых переменных возрастают сложности с соблюдением основных предпосылок регрессионного анализа. Все это приводит к тому, что в задачах множественной регрессии, как нигде больше в статистическом анализе информации, требуются осторожная и вдумчивая оценка результатов чисто статистических процедур и весьма частое внесение корректив, продиктованных пониманием сути исследуемого явления.

Рассмотрение основ теории и вычислительных схем множественной регрессии при числе независимых переменных больше двух требует очень громоздких вычислений и практически невозможно без применения матричной алгебры. Множественная регрессия, особенно при большом числе наблюдений, является исключительно сферой использования ЭВМ, следовательно, в лесном деле при использовании множественных регрессионных моделей основное внимание должно быть уделено интерпретации результатов и оценке адекватности и корректности модели.

В настоящее время есть много программ множественной регрессии на ЭВМ. Порядок практической работы по расчету и оценке уравнений в значительной мере зависит от структуры машинной программы. Ниже на реальном примере показаны основные способы обоснования регрессионных уравнений с многими переменными при работе на ЭВМ.

Данные для использования в ЭВМ могут представляться по-разному. Некоторые программы имеют достаточно широкий набор преобразований, выполняемых (по желанию пользователя) непосредственно машиной для каждой переменной, другие предусматривают только стандартную процедуру преобразования всех переменных по одному типу (логарифмическое, степенное, показательное и пр.). В первом случае поиск наилучшего преобразования возможен на машине, во втором—требуется предварительное приведение модели к линейному виду. То же относится и к нелинейным моделям—соответствующие комбинации независимых переменных (х, х ², х ₁ х ₂² и др.) следует вводить в компьютер как значения независимых переменных z _i.

Возможен и другой путь: на ЭВМ оценивают получаемые стандартным путем уравнения регрессии, имеющие только значимые переменные, которые затем улучшаются путем преобразований.

Уравнения со многими переменными. Выбор и оценка переменных.

Наилучшим является такое уравнение регрессии, которое объясняет возможно максимальную долю изменчивости зависимой переменной у; для этой цели используют величину множественного коэффициента детерминации R ² или величину остаточной дисперсии. Однако большое количество независимых переменных требует значительных затрат при сборе информации и затрудняет содержательную трактовку модели. Поэтому будем считать наилучшим такое уравнение, которое обеспечивает устанавливаемый заранее минимум R ² при возможно меньшем количестве переменных.

Переменные, входящие во множественную модель, имеют, как правило, различную ценность. Во-первых, суждения о том, какие переменные предпочтительнее, могут лежать вне статистических соображений. Простота и точность измерений приобретают большую роль в уравнениях, предназначенных для массового практического использования. Например, если нужно сделать выбор между диаметром на высоте 1,3 м и объемом растущего дерева как независимыми переменными, то в любом случае предпочтение отдают диаметру, который легче и надежнее определяется. Во-вторых, переменные могут быть управляемыми и неуправляемыми. Термин этот понимают в широком смысле: количество вносимых удобрений или интенсивность рубок ухода - переменная управляемая; диаметр деревьев в древостое в определенных пределах тоже управляемая величина, по крайней мере, в смысле возможности измерения деревьев различного диаметра. Напротив, средняя температура воздуха в некотором месяце есть величина неуправляемая. По возможности, предпочтение следует отдавать переменным первого вида, особенно в моделях, предназначенных для управления некоторым процессом или объектом.

В моделях связи, разрабатываемых для природных объектов, в частности для леса, переменные большей частью взаимно коррелированы. Наиболее информативными, т. е. первыми «кандидатами» на включение в регрессионное уравнение при прочих равных условиях, являются переменные, во-первых, наиболее коррелированные с откликом у, а во-вторых, с наименьшим числом других переменных. Соблюдение этих условий позволяет уже на предварительном этапе исключить некоторые переменные.

Приведенное обсуждение позволяет еще раз подчеркнуть, что наилучшее уравнение регрессии нельзя выбрать, ориентируясь только на статистические процедуры.

Ряд методов разработан для отбора переменных и обоснования наилучшего уравнения регрессии с использованием ЭВМ:

· метод всех регрессий;

· метод исключения;

· метод включения;

· шаговый регрессионный анализ;

· метод "чистой регрессии";

· каскадный регрессионный анализ и др.

В машинных программах обычно используют комбинации перечисленных методов. Мы остановимся на трех методах, связанных между собой и в совокупности наиболее целесообразных в практической работе: методе исключения, методе включения и методе всех регрессий.

Метод всех регрессий предполагает вычисление всех возможных по данной программе регрессионных уравнений. В чистом виде он непригоден для практического применения из-за большой трудоемкости и значительных затрат машинного времени. Так, если имеется k неизвестных, то, ограничившись только линейной моделью на двух уровнях (переменная х _i включена—переменная х _i исключена), можно вычислить и оценить 2^k уравнений. Для рассматриваемого ниже обычного примера с семью аргументами требуется 2⁷= 128 уравнений; понятно, что самый простой предварительный анализ позволяет значительно сократить это число. В качестве же вспомогательного средства этот метод полезен, поскольку можно рассчитать несколько наиболее полных (т. е. содержащих все переменные) уравнений, которые затем улучшают методами исключения и включения.

Метод исключений на первой стадии использует наиболее полное уравнение, включающее все переменные. Исключение переменных возможно в трех вариантах:

1) если переменные некоррелированы (или слабо коррелированы), то их можно оценить по t -критерию с помощью стандартных ошибок; при тех же условиях заключения о силе влияния x _i на у можно сделать по b-коэффициентам—масштабированным коэффициентам регрессии для нормированных значений;

2) если переменные упорядочены, то их последовательно исключают и на каждом шаге оценивают величину дополнительной суммы квадратов и значимость частичного F -критерия; переменные, для которых F _ф < F _st при заданном уровне значимости, исключают;

3) если переменные равноправны, то на каждом шаге вычисляют частичный F -критерий для каждой переменной при условии, что дополнительную сумму квадратов, связанную с испытуемой переменной, определяют при наличии в уравнении всех остальных переменных. Наименьшее значение частичного F-критерия сравнивают с табличным при уровне значимости α; если оно меньше, соответствующую переменную исключают, после чего продолжают вычисления.

Метод включения использует процедуру, в некотором смысле обратную методу исключения: независимые переменные включают до тех пор, пока регрессионное уравнение обеспечит желаемую точность. Первой вводят переменную, наиболее коррелированную с откликом. Основой для включения следующей переменной служат частные коэффициенты корреляции между вычисленными по полученному парному уравнению расчетными значениями у и еще не включенными переменными. В первую очередь вводят переменную, для которой значение частного коэффициента корреляции наибольшее. После каждого этапа (очередная переменная) вычисляют множественный коэффициент детерминации R ² и частный F -критерий для переменной, введенной последней. По значению F -критерия оценивают дополнительную сумму квадратов, обусловленную введением последней переменной: переменные вводят до тех пор, пока величина частного критерия станет меньше табличной при заданном уровне значимости. Недостаток метода включения заключается в том, что он не оценивает изменения роли ранее введенных переменных, которая, в силу их обычной коррелированности, может существенно меняться. Этот недостаток преодолен в шаговом регрессионном анализе, являющимся развитием метода включения.

7.5. Применение MS Excel для расчета регрессии

Для определенности рассмотрим решение задачи из примера 7.1.

Для вызова программы проведения регрессионного анализа необходимо выбрать команду "Анализ данных" в меню "Сервис". В списке "Инструменты анализа" (рис. 7.9) строку "Регрессия".

В появившееся диалоговое окно (рис. 7.10) последовательно вводим:

· cсылку на диапазон, содержащий анализируемые зависимые данные y (B2:B13);

· cсылку на диапазон, содержащий анализируемые независимые данные x (A2:A13);

· отметку, куда поместить результаты: на новый лист в текущей книге или на первый лист новой книги;

· установить флажок, чтобы построить диаграммы наблюдаемых и предсказанных значений для каждой независимой переменной.

На рис. 7.11 приведены результаты, которые полностью соответствуют результатам, полученным при решении примера 7.1 (см. рис. 7.1).

Рис. 7.9

Рис. 7.10.

Рис.7.11.

7.6. Контрольные вопросы и задания

1. В чем заключается сущность регрессионного анализа?

2. Приведите примеры вычисления численных коэффициентов уравнений регрессии - прямой линии, гиперболы и др.

3. Приведите статистические показатели, характеризующие адекватность уравнений регрессии и их точность.

4. Дайте краткую характеристику методов множественного регрессионного анализа.

5. Какие статистические критерии используются при сравнении уравнений регрессии?

6. Какие нулевые гипотезы следует доказать при сравнении линий регрессии на совпадение?

Часть 2. Исследование операций

Глава 8.

МЕТОДОЛОГИЧЕСКИЕ основы
ИССЛЕДОВАНИЯ ОПЕРАЦИЙ

Общие положения

Лесное дело теснейшим образом связано с совокупностями объектов, которые принято называть сложными системами, характеризующимися многочисленными и разнообразными по типу связями между отдельно существующими элементами системы и наличием у неё функции назначения, которой нет у составляющих ее частей. На первый взгляд, каждая сложная система имеет уникальную организацию. Однако более детальное изучение способно выделить общее в системе команд ЭВМ, в процессах проектирования лесной машины, самолета и космического корабля.

В научно-технической литературе существует ряд терминов, имеющих отношение к исследованию сложных систем.

Наиболее общий термин “ теория систем ” относится ко всевозможным аспектам исследования систем. Ее основными частями являются:

· системный анализ, который понимается как исследование проблемы принятия решения в сложной системе;

· кибернетика, которая рассматривается как наука об управлении и преобразовании информации.

Здесь следует заметить, что понятие управления не совпадает с принятием решения. Условная граница между кибернетикой и системным анализом состоит в том, что первая изучает отдельные и строго формализованные процессы, а системный анализ - совокупность процессов и процедур.

Очень близко к термину “системный анализ” понятие “ исследование операций ”, которое традиционно обозначает математическую дисциплину, охватывающую исследование математических моделей для выбора величин, оптимизирующих заданную математическую конструкцию (критерий). Системный анализ может сводиться к решению ряда задач исследования операций, но обладает свойствами, не охватываемыми этой дисциплиной. Однако в зарубежной литературе термин “исследование операций” не является чисто математическим и приближается к термину “системный анализ”.

Основные понятия системного анализа

Системный анализ - наука, занимающаяся проблемой принятия решения в условиях анализа большого количества информации различной природы.

Из определения следует, что целью применения системного анализа к конкретной проблеме является повышение степени обоснованности принимаемого решения, расширение множества вариантов, среди которых производится выбор с одновременным указанием способов отбрасывания, заведомо уступающим другим.

В системном анализе выделяют:

· методологию;

· аппаратную реализацию;

· практические приложения.

Методология включает определения используемых понятий и принципы системного подхода.

Дадим основные определения системного анализа.

Элемент - некоторый объект (материальный, энергетический, информационный), который обладает рядом важных для нас свойств, но внутреннее строение (содержание) которого безотносительно к цели рассмотрения.

Связь - важный для целей рассмотрения обмен между элементами веществом, энергией, информацией.

Система - совокупность элементов, которая обладает следующими признаками:

· связями, которые позволяют посредством переходов по ним от элемента к элементу соединить два любых элемента совокупности;

· свойством, отличным от свойств отдельных элементов совокупности.

Практически любой объект с определенной точки зрения может быть рассмотрен как система. Вопрос состоит в том, насколько целесообразна такая точка зрения.

Большая система - система, которая включает значительное число однотипных элементов и однотипных связей. В качестве примера можно привести трубопровод, элементами которого будут являться участки между швами или опорами. Для расчетов на прочность по методу конечных элементов элементами системы считаются небольшие участки трубы, а связь имеет силовой (энергетический) характер - каждый элемент действует на соседние.

Сложная система - система, которая состоит из элементов разных типов и обладает разнородными связями между ними. В качестве примера можно привести ЭВМ, биогеоценоз, лесной трактор или судно.

Автоматизированная система - сложная система с определяющей ролью элементов двух типов:

· в виде технических средств;

· в виде действия человека.

Для сложной системы автоматизированный режим считается более предпочтительным, чем автоматический. Например, посадка самолета или захват дерева харвестерной головкой выполняется при участии человека, а автопилот или бортовой компьютер используется лишь на относительно простых операциях. Типична также ситуация, когда решение, выработанное техническими средствами, утверждается к исполнению человеком.

Структура системы - расчленение системы на группы элементов с указанием связей между ними, неизменное на все время рассмотрения и дающее представление о системе в целом. Указанное расчленение может иметь материальную, функциональную, алгоритмическую или другую основу. Пример материальной структуры - структурная схема сборного моста, которая состоит из отдельных, собираемых на месте секций и указывает только эти секции и порядок их соединения. Пример функциональной структуры - деление двигателя внутреннего сгорания на системы питания, смазки, охлаждения, зажигания, пуска. Пример алгоритмической структуры - алгоритм программного средства, указывающего на последовательность действий, или инструкция, которая определяет действия при отыскании неисправности технического устройства.

Структура системы может быть охарактеризована по имеющимся в ней типам связей. Простейшими из них являются последовательное, параллельное соединение и обратная связь (рис.8.1).

Декомпозиция - деление системы на части, удобное для каких-либо операций с этой системой. Примерами будут: разделение объекта на отдельно проектируемые части, зоны обслуживания; рассмотрение физического явления или математическое описание отдельно для данной части системы.

Иерархия - структура с наличием подчиненности, т.е. неравноправных связей между элементами, когда воздействие в одном из направлений оказывает гораздо большее влияние на элемент, чем в другом. Виды иерархических структур разнообразны, но важных для практики иерархических структур всего две - древовидная и ромбовидная (рис.8.2).

Древовидная структура наиболее проста для анализа и реализации. Кроме того, в ней всегда удобно выделять иерархические уровни - группы элементов, находящиеся на одинаковом удалении от верхнего элемента. Пример древовидной структуры - задача проектирования технического объекта от его основных характеристик (верхний уровень) через проектирование основных частей, функциональных систем, групп агрегатов, механизмов до уровня отдельных деталей.

Принципы системного подхода - это положения общего характера, являющиеся обобщением опыта работы человека со сложными системами. Их часто считают ядром методологии. Известно около двух десятков таких принципов, ряд из которых целесообразно рассмотреть:

· принцип конечной цели - абсолютный приоритет конечной цели;

· принцип единства - совместное рассмотрение системы как целого и как совокупности элементов;

· принцип связности - рассмотрение любой части совместно с ее связями с окружением;

· принцип модульного построения - полезно выделение модулей в системе и рассмотрение ее как совокупности модулей;

· принцип иерархии - полезно введение иерархии элементов и(или) их ранжирование;

· принцип функциональности - совместное рассмотрение структуры и функции с приоритетом функции над структурой;

· принцип развития - учет изменяемости системы, ее способности к развитию, расширению, замене частей, накапливанию информации;

· принцип децентрализации - сочетание в принимаемых решениях и управлении централизации и децентрализации;

· принцип неопределенности - учет неопределенностей и случайностей в системе.

Аппаратная реализация включает стандартные приемы моделирования принятия решения в сложной системе и общие способы работы с этими моделями. Модель строится в виде связных множеств отдельных процедур. Системный анализ исследует как организацию таких множеств, так и вид отдельных процедур, которые максимально приспосабливают для принятия согласующихся и управленческих решений в сложной системе.

Модель принятия решения чаще всего изображается в виде схемы с ячейками, связями между ячейками и логическими переходами. Ячейки содержат конкретные действия - процедуры. Совместное изучение процедур и их организация вытекают из того, что без учета содержания и особенностей ячеек создание схем оказывается невозможным. Эти схемы определяют стратегию принятия решения в сложной системе. Именно с проработки связанного множества основных процедур принято начинать решение конкретной прикладной задачи.

Отдельные же процедуры (операции) принято классифицировать на формализуемые и неформализуемые. В отличие от большинства научных дисциплин, стремящихся к формализации, системный анализ допускает, что в определенных ситуациях неформализуемые решения, принимаемые человеком, являются более предпочтительными. Следовательно, системный анализ рассматривает в совокупности формализуемые и неформализуемые процедуры, и одной из его задач является определение их оптимального соотношения.

Формализуемые стороны отдельных операций лежат в области прикладной математики и использования ЭВМ. В ряде случаев математическими методами исследуется связное множество процедур и производится само моделирование принятие решения. Все это позволяет говорить о математической основе системного анализа. Такие области прикладной математики, как исследование операций и системное программирование, наиболее близки к системной постановке вопросов.

Практическое приложение системного анализа чрезвычайно обширно по содержанию. Важнейшими разделами являются научно-технические разработки и различные задачи экономики. Ссылки на системность исследований, анализа, подхода включают биологию, экологию, военное дело, психологию, социологию, медицину, управление государством и регионом, лесное и сельское хозяйство, обучение и многое другое.

Основные понятия исследования операций

Операцией называется всякое мероприятие (система действий), объединенное единым замыслом и направленное к достижению какой-то цели.

Цель исследования операций - предварительное количественное обоснование оптимальных решений.

Всякий определенный выбор зависящих от нас параметров называется решением. Оптимальными называются решения, по тем или другим признакам предпочтительнее перед другими.

Параметры, совокупность которых образует решение, называются элементами решения.

Множеством допустимых решений называются заданные условия, которые фиксированы и не могут быть нарушены.

Показатель эффективности - количественная мера, позволяющая сравнивать разные решения по эффективности.

Все решения принимаются всегда на основе информации, которой располагает лицо, принимающее решение (ЛПР).

Каждая задача в своей постановке должна отражать структуру и динамику знаний ЛПР о множестве допустимых решений и о показателе эффективности.

Задача называется статической, если принятие решения происходит в наперед известном и не изменяющемся информационном состоянии. Если информационные состояния в ходе принятия решения сменяют друг друга, то задача называется динамической.

По информационному и физическому состояниям задачи следует классифицировать следующим образом:

· если информационное состояние состоит из единственного физического состояния, то задача называется определенной;

· если информационное состояние содержит несколько физических состояний и ЛПР, кроме их множества, знает еще и вероятности каждого из этих физических состояний, то задача называется стохастической (частично неопределенной);

· если информационное состояние содержит несколько физических состояний, но ЛПР, кроме их множества, ничего не знает о вероятности каждого из этих физических состояний, то задача называется неопределенной.