Понятие случайного процесса. Марковские цепи и процессы

Основными для случайных процессов являются понятия состояния и

перехода из одного состояния в другое. Случайный процесс находится в некотором состоянии, если он полностью описывается значениями переменных, которые задают это состояние.

Процесс совершает переход из одного состояния в другое, если описывающие ее переменные изменяются от значений, задающих одно состояние, на значения, которые определяют другое состояние. Случайный процесс состоит в том, что с течением времени процесс переходит из одного состояния в другое заранее не известное cостояние.

Если множество состояний, в которых может находиться процесс счётное, то есть все возможные состояния могут быть пронумерованы, то соответствующий процесс называется случайным процессом с дискретными состояниями или просто дискретным случайным процессом.

Если множество состояний не может быть пронумеровано, то имеем случайный процесс с непрерывными состояниями или просто непрерывный случайный процесс, для которого характерен плавный переход из состояния в состояние и который задаётся в виде непрерывной

ункции времени: E (t) (рис.5.1,б). Например, процесс изменения температуры некоторого объекта может рассматриваться как случайный процесс снепрерывными состояниями.

Рассматриваются случайные процессы с дискретными состояниями S₁, S₂, …, S_n

Случайный процесс в некоторой системе называется марковским, если вероятность перехода системы в новое состояние зависит только от состояния системы в настоящий момент и не зависит от того, когда и каким образом система перешла в это состояние.

По сути то, что процесс – марковский, означает, что описание системы достаточно полное, то есть нет факторов (на которые влияют предшествующие события), от которых зависит поведение системы, но которые не учтены в описании системы.

Параметры:

n Состояния S₁, S₂, …, S_n

n Матрица переходов, содержащая

q вероятности переходов для процессов с дискретным временем q_ij

q интенсивности переходов для процессов с непрерывным временем

n Начальные вероятности p₁(0), … p_n(0)

Зависимость вероятностей от времени:

n Однородные процессы

n Неоднородные процессы

Случайный процесс Z(t) называется случайным процессом с дискретным временем ( стохастическими последовательностями или случайными цепями ), если переходы из состояния в состояние возможны только в строго определенные заранее фиксированные моменты времени, которые можно пронумеровать: t₁, t₂.

Если промежуток времени между переходами из состояния в состояние является случайным и переход возможен в любой заранее не известный момент времени t, то процесс называется случайным процессом с непрерывным временем.