Понятие марковского случайного процесса

Пусть имеется некоторая физическая система S, состояние которой может меняться с течением времени. Заметим, что под такой системой можно понимать: любое техническое устройство, ремонтную мастерскую, компьютер, железнодорожный узел и т.п. Если состояние такой системы меняется во времени случайным, заранее непредсказуемым образом, то говорят: в данной системе протекает случайный процесс. Например, процесс функцио­ниро­ва­ния компьютера, процесс обслуживания клиентов в ремонтной мастерской и т.п.

Случайный процесс, протекающий в системе S, называется марковским процессом, или процессом без последействия, если для каждого момента времени t₀ вероятность любого состояния системы в будущем (при t > t₀) зависит только от ее состояния в настоящем (при t = t₀) и не зависит от того, когда и каким образом система пришла в это состояние.

Таким образом, в марковском случайном процессе будущее его протекание зависит только от настоящего его состояния и не зависит от «предыстории» процесса.

Марковский случайный процесс называется процессом с дискретными состояниями, если возможные состояния системы можно перечислить, или пронумеровать, а сам этот процесс состоит в том, что время от времени система скачком (мгновенно) перескакивает из одного состояние в другое.

ПРИМЕР: Пусть некоторое техническое устройство состоит из двух узлов, каждый из которых в процессе работы устройства может отказать. Возможные состояния системы: S₁ – оба узла работают; S₂ – первый узел отказал, а второй работает; S₃ – отка­зал второй узел, а первый работает; S₄ – оба узла отказали. Можно считать, что в данной системе протекает марковский случайный процесс с дискретными состояниями, а переход системы из одного состояние в другое происходит мгновенно по мере отказа узлов устройства.

При анализе случайных процессов с дискретными состояниями удобно пользоваться геометрической схемой – графом состояний, на котором квадратами изображают возможные состояния системы, а возможные переходы системы – стрелками, соединяющими эти квад­раты. На рис. 1.7. представ­лен граф состояний системы предыдущего примера.