Дискретный Марковский случайный процесс с непрерывным временем.

Помимо случайных процессов с дискретным временем на практике достаточно часто встречаются случайные процессы с непрерывным временем, при которых система может менять свои состояния в любой случайный промежуток времени.

Пусть - всевозможные состояния системы S. Вероятность события , состоящего в том, что система S в момент времени t находится в состоянии S_i, называется вероятностью i-ого состояния системы в момент времени. Вероятность состояния является, таким образом, вероятностной функцией времени .

Так как в любой момент времени t система S будет находиться только в одном из состояний , то события несовместны и образуют полную группу. Поэтому имеет место нормировочное условие: .

Плотностью вероятности перехода системы S из состояния в состояние в момент времени t называется величина , откуда следует, что . Из определения плотностей вероятности перехода видно, что они в общем случае зависят от времени t, неотрицательны и в отличие от вероятностей могут быть больше 1.

Если при любых плотности вероятностей переходов не зависят от времени t, и тогда вместо будем писать просто , то Марковский процесс с непрерывным временем называется однородным. Если же хотя бы при одной паре значений плотность вероятности перехода изменяется с течением времени t, процесс называется неоднородным.

Вероятности состояний (неизвестные вероятностные функции) являются решением следующей системы дифференциальных уравнений: . Система представляет собой систему n обыкновенных линейных однородных дифференциальных уравнений первого порядка с постоянными коэффициентами. Эта система называется системой дифференциальных уравнений Колмогорова.

Составить систему Колмогорова удобно по одному из следующих правил:

I. правило составления дифференциальных уравнений Колмогорова по размеченному графу состояний. Для того чтобы составить дифференциальное уравнение Колмогорова для функции , надо в левой части этого уравнения записать производную функции , а в правой части уравнения – произведение - суммы плотностей вероятностей переходов у стрелок, выходящих из состояния S_i, на вероятность этого состояния со знаком минус, плюс сумму произведений плотностей вероятностей переходов , соответствующих стрелкам, входящим в состояние S_i, на вероятности состояний , из которых эти стрелки выходят. При этом плотности вероятностей переходов , соответствующие отсутствующим стрелкам на графе, равны 0.

II. Правило составления дифференциальных уравнений Колмогорова по матрице плотностей вероятностей переходов. Для составления дифференциального уравнения Колмогорова для функции надо в левой части уравнения записать производную функции , а в правой части уравнения – произведение - суммы элементов i-ой строки матрицы плотностей вероятностей на вероятность состояния S_i (номер которой совпадает с номером взятой строки) со знаком минус, плюс сумму произведений элементов i-ого столбца на соответствующие им вероятности . Система дифференциальных уравнений Колмогорова составленная, например, по матрице плотностей вероятностей переходов имеет следующий вид: .

Итак, составлять систему дифференциальных уравнений Колмогорова можно либо по размеченному графу состояний, либо по матрице плотностей вероятностей переходов. [4]