Классификация состояний цепей Маркова

Введем классификацию состояний цепи Маркова. Множество всех состояний может быть разбито на непересекающиеся подмножества, или классы: невозвратныеи

эргодические.Их свойства определяются следующим образом. Если процесс покинул класс первого типа, он никогда в него не возвращается. Если процесс попал в класс состояний второго типа, то он никогда его не покидает. Невозвратное множество мы будем обозначать Т, а эргодическое - Ť. При этом T uŤ = S, Т∩Т = 0 . Если эргодическое множество содержит только одно состояние, то это состояние называется поглощающим. Для такого состояния S элемент переходной матрицы р_ii должен быть равен 1, следовательно, все остальные элементы соответствующей строки равны 0. Цепь, всеэргодические состояния которой являются поглощающими, называется поглощающей цепью.

Для цепи Маркова с N состояниями, в которой имеются как невозвратные, так и эргодические множества, структура матрицы вероятностей переходов (возможно, после перенумерации состояний) имеет канонический вид

где s - количество состояний в невозвратном множестве;

п — s - количество состояний в эргодическом множестве.

Матрица W размерности (n-s)x(n-s) определяет динамику эргодических состояний. Поскольку из множества Ťневозможно выйти, то матрица Øразмерности (n-s)x s состоит из нулей.

Матрица Q размерности sxs определяет поведение процесса до выхода из множества невозвратных состояний.

Матрица R размерности s x(n — s) определяет вероятности перехода из множества невозвратных состояний вэргодическое множество.

При возведении матрицы Р в степень перемножаются блоки, указанные в (3.9), и произвольная степень канонической матрицы имеет вид

Рассмотрим структуру матрицы R(k). Вычисляя последовательно степени матрицы Р с учетом (3.9), получим:

где С_kⁱ - биномиальные коэффициенты. В соответствии со сказанным выше, i-я строка матрицы R(k) содержит вероятности перехода системы во все состояния эргодического множества Ťза к шагов при старте из состояния S_i € T.

Если цепь Маркова поглощающая, то W = I - единичная матрица размерности п - s, и все ее степени - также единичная матрица той же размерности.

Отметим еще два специальных вида матриц переходных вероятностей.

Матрица Р называется редуцируемой, если имеет вид

где Aи В - квадратные, Ø- нулевые матрицы.

Цепь Маркова, определяемая матрицей вида (3.12), фактически распадается на две независимые цепи Маркова, задавааемые соответственно матрицами А и В .

Матрица Р называется периодической, если она имеет вид

где нулевые матрицы - квадратные. Здесь также присутствует два множества состояний, и на каждом шаге процесс переходит из одного множества состояний в другое. Именно такую структуру имеет переходная матрица в приведенном выше примере, если рассматривать матрицу перехода внутри множества невозвратных состояний.