Математическая энциклопедия - маркова цепь

марковский процесс с конечным или счетным множеством состояний. Теория М. ц. возникла на основе исследований А. А. Маркова, к-рый в 1907 положил начало изучению последовательностей зависимых испытаний и связанных с ними сумм случайных величин [1].

Пусть пространство состояний множество натуральных чисел Nили его конечное подмножество. Пусть x(t) состояние М. ц. в момент времени t. Основным для М. Ц. является марковское свойство, к-рое для М. ц. с дискретным временем (т. с. в случае, когда время tпринимает лишь целые неотрицательные значения) определяется следующим образом: для любых t,любых целых неотрицательных t1<t2<...<tk<t и любых натуральных i1, i2, ..., ik имеет место равенство

Марковское свойство (1) можно переформулировать следующим образом. Момент времени tи связанные с ним события вида {x(t)=j}назовем "настоящим" процесса; события, определяемые значениями x(u) с u<t, -"прошлым" процесса; события, определяемые значениями x(u) с u>t, - "будущим" процесса. Тогда свойство (1) равносильно следующему: для любого при фиксированном "настоящем" x(t)=j любые "прошлое" Аи "будущее" Всобытия условно независимы, т. е.

Для вероятностного описания М. ц. x(t) большую роль играют переходные вероятности

В случае, когда переходные вероятности (2) не зависят от t, М. ц. наз. однородной (во времени); в противном случае неоднородной. Далее рассматриваются лишь однородные М. ц. Пусть

Матрица с элементами pij наз. матрицей переходных вероятностей. Вероятность любой траектории выражается через переходные вероятности р ij и начальное распределение следующим образом:

Наряду с переходными вероятностями р ij в М. ц. рассматриваются также переходные вероятности Pij(t).за tшагов:

Эти переходные вероятности удовлетворяют Колмогорова Чепмена уравнению

С помощью переходных вероятностей можно произвести следующую классификацию состояний. Два состояния i и j наз. сообщающимися, если найдутся такие t1>0, t2>0, что pij(t1)>0и р ij(t2)>0. Состояние kназ. несущественным, если найдется такое состояние l, что pkl(t1)>0 для нек-рого для всех Все остальные состояния наз. существенными. Таким образом, все множество состояний М. ц. разбивается на несущественные и существенные состояния. Множество всех существенных состояний разбивается на непересекающиеся классы сообщающихся состояний так, что любые два состояния из одного класса сообщаются между собой, а для любых двух состояний i и j из разных классов М. ц., все состояния к-рой составляют один класс сообщающихся состояний, наз. неразложимой (см. Маркова цепь неразложимая);в противном случае М. ц. наз. разложимой (см. Маркова цепь разложимая). Если множество состояний конечно, то разбиение его на эти классы в значительной степени определяет асимптотич. свойства М. ц. Напр., для конечной неразложимой М. ц. всегда существует предел

причем Если, кроме того, М. ц. непериодическая, т. е. при нек-ром t0 для всех и всех состояний iи j pij(t)>0 (см. также Маркова цепь периодическая), то имеет место более сильное утверждение

(см. также Маркова цепь эргодическая).

Если множество состояний М. ц. счетно, то ее асимптотич. свойства зависят от более тонких свойств классов сообщающихся состояний. Ряд

расходится или сходится сразу для всех состояний данного класса. Класс состояний наз. возвратным, если для любого состояния i этого класса ряд (5) расходится, и невозвратным, если ряд (5) сходится. В возвратном классе с вероятностью 1 М. ц. возвращается в любое свое состояние, в невозвратном классе вероятность возвращения меньше 1. Если среднее время возвращения в возвратном классе конечно, то класс наз. положительным; в противном случае класс наз. нулевым (см. Маркова цепи положительный класс состояний, Маркова цепи нулевой класс состояний). Если iи j принадлежат одному положительному классу состояний, то существует предел (3), а в непериодическом случае и предел (4). Если j принадлежит нулевому классу состояний или несущественно, то