Марковска верига
Нека E1, E2,…, Ej, (j = 0, 1, 2, ...) представят изчерпателните и взаимно изключващи се състояния на една система по всяко време. В началото време t0 системата може да бъде във всяко едно от тези състояния. Нека aj (j=0, 1, 2, ...) бъде абсолютната вероятност, че системата е в състояние Ej в t0. По-нататък приемаме, че системата е Марковска.
Същност
Дефинираме
като едностъпкова преходна вероятност за преминаване от състояние i в tn-1 към j в tn и приемаме, че тези вероятности са постоянни във времето. По този начин преходните вероятностите от състояние Ei в Ej могат да бъдат подредени по-удобно в матрична форма, както следва:
Матрицата Р се нарича еднороден преход или стохастична матрица, защото всички преходни вероятности pij са фиксирани и независими от времето. Вероятностите pij трябва да изпълняват условията:
Сумата на Pij =1 за всички i
pij e po-golqmo ili rawno na 0 за всички i и j
Следва определение на Марковска верига: Преходната матрица Р заедно с началните вероятности, свързани с етапите Ej напълно определят Марковска верига. Обикновено Марковските вериги описват преходите на системата през равни интервали от време. Съществуват случаи, когато времевите интервали са зависими от характеристиките на системата и следователно могат да не бъдат равни. Тези случаи се отнасят към включените Марковски вериги.
Абсолютни и преходни вероятности
Вижте още
- Стохастичен процес
- Леонард Савидж
- Линейна регресия
- Логистична функция
- Логнормално разпределение
- Даниел Бернули
- Дисперсия
- Случайно число
- Стандартно отклонение
- Статистика
- Стохастичен процес
- Стохастична апроксимация
Източници
- J. R. Norris, Markov Chains (Cambridge Series in Statistical and Probabilistic Mathematics)
- William J. Stewart, Probability, Markov Chains, Queues, and Simulation: The Mathematical Basis of Performance Modeling
- Daniel W. Stroock, An Introduction to Markov Processes (Graduate Texts in Mathematics)
- David A. Levin, Yuval Peres and Elizabeth L. Wilmer, Markov Chains and Mixing Times
- Pierre Brémaud, Markov Chains: Gibbs Fields, Monte Carlo Simulation, and Queues (Texts in Applied Mathematics)