Классификация состояний цепей Маркова

Введем классификацию состояний цепи Маркова. Множество всех состояний может быть разбито на непересекающиеся подмножества, или классы: невозвратные и

эргодические. Их свойства определяются следующим образом. Если процесс покинул класс первого типа, он никогда в него не возвращается. Если процесс попал в класс состояний второго типа, то он никогда его не покидает. Невозвратное множество мы будем обозначать Т, а эргодическое - Ť. При этом T u Ť = S, Т∩ Т = 0. Если эргодическое множество содержит только одно состояние, то это состояние называется поглощающим. Для такого состояния S элемент переходной матрицы р_ii должен быть равен 1, следовательно, все остальные элементы соответствующей строки равны 0. Цепь, всеэргодические состояния которой являются поглощающими, называется поглощающей цепью.

Для цепи Маркова с N состояниями, в которой имеются как невозвратные, так и эргодические множества, структура матрицы вероятностей переходов (возможно, после перенумерации состояний) имеет канонический вид

где s - количество состояний в невозвратном множестве;

п — s - количество состояний в эргодическом множестве.

Матрица W размерности (n-s)x(n-s) определяет динамику эргодических состояний. Поскольку из множества Ť невозможно выйти, то матрица Ø размерности (n-s)x s состоит из нулей.

Матрица Q размерности sxs определяет поведение процесса до выхода из множества невозвратных состояний.

Матрица R размерности s x(n — s) определяет вероятности перехода из множества невозвратных состояний вэргодическое множество.

При возведении матрицы Р в степень перемножаются блоки, указанные в (3.9), и произвольная степень канонической матрицы имеет вид

Рассмотрим структуру матрицы R(k). Вычисляя последовательно степени матрицы Р с учетом (3.9), получим:

где С_kⁱ - биномиальные коэффициенты. В соответствии со сказанным выше, i -я строка матрицы R(k) содержит вероятности перехода системы во все состояния эргодического множества Ť за к шагов при старте из состояния S_i € T.

Если цепь Маркова поглощающая, то W = I - единичная матрица размерности п - s, и все ее степени - также единичная матрица той же размерности.

Отметим еще два специальных вида матриц переходных вероятностей.

Матрица Р называется редуцируемой, если имеет вид

где Aи В - квадратные, Ø - нулевые матрицы.

Цепь Маркова, определяемая матрицей вида (3.12), фактически распадается на две независимые цепи Маркова, задавааемые соответственно матрицами А и В.

Матрица Р называется периодической, если она имеет вид

где нулевые матрицы - квадратные. Здесь также присутствует два множества состояний, и на каждом шаге процесс переходит из одного множества состояний в другое. Именно такую структуру имеет переходная матрица в приведенном выше примере, если рассматривать матрицу перехода внутри множества невозвратных состояний.