Xem mẫu
- 1.2. Phân lo i tr ng thái xích Markov 25
n
v i cn = k =0 fii (k )Pii (n − k ) = Pii (n) n ≥ 1 theo b đ 1. Vì c0 =
0, Pii (0) = 1 nên ta suy ra Fii(s)Pii (s) = Pii (s) − 1 hay
1
Pii (s) = . (1.7)
1 − Fii(s)
∞
Gi s i h i quy t c là fii (n) = 1. Theo b đ Abel
n=0
∞
fii (n)sn = 1.
lim Fii (s) = lim
− −
s→1 s→1
n=0
T (1.7) suy ra
∞
Pii (n)sn = ∞.
lim Pii (s) = lim
s→1− −s→1
n=0
V y l i theo b đ Abel (ii) ta có
∞
Pii (n) = ∞.
n=0
∞
Đ o l i gi s i không h i quy t c là fii (n) < 1. S d ng b đ Abel (i)
n=0
và h th c (1.7) ta rút ra lim Pii (s) < ∞. L i áp d ng b đ Abel (ii) ta
s→1−
thu đư c
∞
Pii (n) < ∞.
n=0
Đ nh lý 1.8. N u i ↔ j và j h i quy thì i h i quy.
Ch ng minh. Theo gi thi t t n t i m, n sao cho Pij (n) > 0, Pji (m) > 0. V i
m i s nguyên dương h t phương trình C-P suy ra
Pii (n + h + m) ≥ Pij (n)Pjj (h)Pji (m).
Vy
∞ ∞
Pii (n + h + m) ≥ Pij (n)Pji (m) Pjj (h) = ∞.
h=1 h=1
Thành th i h i quy.
- 26 Chương 1. Quá trình Markov
Ví d 1.13. Cho (rn ) là dãy các ĐLNN đ c l p có phân b xác su t như sau
P (rn = 1) = p, P (rn = −1) = q, 0 < p < 1, p + q = 1.
(Dãy này đư c g i là dãy Rademakher). Xét dãy (Xn ) xác đ nh như sau
X0 = a, Xn+1 = Xn + rn+1 .
. Khi đó (Xn ) l p thành xích Markov v i không gian tr ng thái E = {0 ±
1, ±2}xác su t chuy n là P = (Pij ) đó
q n u j = i − 1
Pij = p n u j = i + 1
0 n u j = i + 1, j = i − 1.
Xích này đư c g i là du đ ng ng u nhiên 1 chi u mô t s chuy n đ ng ng u
nhiên c a m t h t trên đư ng th ng: Sau m i đơn v th i gian h t d ch sang
ph i v i xác su t p và d ch sang trái v i xác su t q . D th y đây là m t xích
t i gi n có chu kỳ d = 2 và
2n n n
Pii (2n) = p q . Pii (2n + 1) = 0.
n
S d ng công th c Stirling
√
2πne−n nn
n! ∼
ta có
(4pq )n
Pii (2n) ∼ √ .
πn
1
N u du đ ng ng u nhiên là đ i x ng p = q = 1/2 thì Pii (2n) ∼ √ do đó
πn
Pii (n) = ∞.
n
- 1.2. Phân lo i tr ng thái xích Markov 27
V y theo đ nh lý 1.7 m i tr ng thái đ u h i quy. N u p = q thì 4pq = a < 1
cho nên
an
Pii (n) < ∞ vì chu i h i t khi a < 1.
√
n
n
Do đó theo đ nh lý 1.7 m i tr ng thái là không h i quy. V m t tr c giác ta
th y n u p > q thì có m t xác su t dương đ h t xu t phát t tr ng thái i s
đi sang bên ph i mãi mãi ( sang bên trái mãi mãi n u p < q ) không quay l i
đi m xu t phát.
Ví d 1.14. Xét du đ ng ng u nhiên c a m t h t trên lư i đi m nguyên trên
m t ph ng. Gi s xác su t đ h t d ch lên trên, d ch xu ng dư i m t đơn v
(theo phương th ng đ ng), d ch sang ph i,sang trái m t đơn v (theo phương
n m ngang) đ u b ng nhau và b ng 1/4. Có th th y r ng P00 (2n + 1) = 0
và
(2n)!
(1/4)2n
P00 (2n) =
i !i !j !j !
i,ji+j =n
n
2n n n
= (1/4)2n
n i n−i
i=0
2
2n
= (1/4)2n .
n
Công th c Stirling cho ta
1
P00(2n) ∼ .
πn
Vy
P00 (n) = ∞.
n
V y tr ng thái 0 là h i quy. Vì xích là t i gi n (d th y) nên m i tr ng thái
đ u h i quy.
Ngư i ta đã ch ng minh đư c m t đi u thú v là v i du đ ng ng u nhiên
đ i x ng trong không gian ba chi u, m i tr ng thái đ u không h i quy.
- 28 Chương 1. Quá trình Markov
Đ nh lý 1.9. Ký hi u Qii là xác su t đ h xu t phát t i quay l i i vô s
l n, Qij là xác su t đ h xu t phát t i đi qua j vô s l n. Khi đó
(i) N u i h i quy thì Qii = 1, n u i không h i quy thì Qii = 0.
(ii) N u i h i quy i ↔ j thì Qij = 1. Nói riêng, v i xác su t 1 h xu t phát
t i sau m t s h u h n bư c s đi qua j .
Ch ng minh.
(m)
(i) Gi s Qii là xác su t đ h quay l i i ít nh t m l n. S d ng công
th c xác su t đ y đ và tính Markov c a h ta thu đư c phương trình
∞
(m) (m−1) (m−1)
∗ ∗
Qii = fii (k )Qii = fii Qii
k =1
T đó
Qm = (fii )m−1 Q1 = (fii )m
∗ ∗
ii ii
(m)
vì rõ ràng Q1 = fii . Vì r ng Qii = lim Qii
∗
ta rút ra Qii = 0 hay 1
ii
m→∞
∗
tuỳ theo fii < 1 hay b ng 1.
∞
∗
(ii) G i fji = fji (k ) là xác su t đ h xu t phát t j s vi ng thăm i
k =1
sau m t s h u h n bư c. S d ng công th c xác su t đ y đ và tính
Markov c a h ta thu đư c phương trình
∞
∗
Qjj ≤ fji (k )Qij + 1 − fji
k =1
∗ ∗
= Qij fji + 1 − fji . (1.8)
(1.9)
Vì j h i quy theo (1) Qjj = 1. V y t (??)
∗ ∗ ∗ ∗
1 ≤ Qij fji + 1 − fji → fji ≤ Qij fji .
∗
Vì j ↔ i nên fji > 0 Suy ra Qij = 1.
- 1.2. Phân lo i tr ng thái xích Markov 29
Ví d 1.15. (S phá s n ch c ch n c a ngu i chơi c b c) M t ngư i vào
sòng b c v i s ti n trong túi là 1000 đôla và chơi đánh b c như sau: M i
ván chơi anh ta tung m t đ ng ti n cân đ i đ ng ch t. N u đ ng ti n ra m t
ng a anh ta đư c m t đôla, n u ra m t s p anh ta m t m t đô la. G i Xn
là s ti n anh ta có sau n ván chơi. Khi đó X0 = 1000 và X0 , X1 , ... là m t
du đ ng ng u nhiên đ i x ng v i tr ng thái ban đ u X0 = 1000. Theo đ nh
lý trên v i xác su t 1 Xn s vi ng thăm tr ng thái 0. Nói cách khác s m hay
mu n anh ta s nh n túi.
Đ nh lý 1.10. Cho (Xn ) là xích t i gi n không h i quy. Khi đó v i m i i, j
∞
Pij (n) < ∞.
n=1
Nói riêng
lim Pij (n) = 0
n→∞
và xích không t n t i phân b d ng.
Ch ng minh. Ch ng minh tương t như b đ 2 ta có
n
Pij (n) = fij (k )Pjj (n − k ). (1.10)
k =1
Vy
∞ ∞ n
Pij (n) = fij (k )Pjj (n − k )
n=1 n=1 k =1
∞
= fij (k ) Pjj (n − k )
k =1 n>k
∞ ∞
= fij (k ) Pjj (m)
m=1
k =1
∞ ∞
∗
= fij Pjj (m) ≤ Pjj (m) < ∞.
m=1 m=1
- 30 Chương 1. Quá trình Markov
Đ nh lý 1.11. Cho (Xn ) là xích t i gi n h i quy không có chu kỳ . Khi đó
v i m i i, j
1
lim Pij (n) =
µj
n
đó
∞
µj = kfjj (k ).
k =1
Ch ng minh. Ch ng minh d a cơ b n trên m t k t qu sau đây c a gi i tích
mà ta s phát bi u dư i d ng m t b đ ( không ch ng minh):
B đ 1.4. Cho (fn ) là m t dãy các s không âm có t ng b ng 1 và ưóc
chung l n nh t c a t t c các s j > 0 mà fj > 0 b ng 1. Cho (un ) là dãy
xác đ nh truy h i theo cách sau
n
u0 = 1, un = fk un−k .
k =1
Khi đó
1
lim un = .
∞
n→∞
kfk
k =1
C đ nh j . Đ t un = Pjj (n), fk = fjj (k ). B đ 4 cho phép ta k t lu n
1
lim Pjj (n) = .
µj
n
Ti p theo v i quy ư c Pij (s) = 0 n u s < 0 ta vi t l i h th c (1.10) dư i
d ng
∞
Pij (n) = fij (k )Pjj (n − k ).
k =1
Chú ý r ng
1
lim Pjj (n − k ) =
µj
n→∞
- 1.2. Phân lo i tr ng thái xích Markov 31
và ∞ fij (k ) = fij = Qij = 1 ( theo đ nh lý 1.7) áp d ng đ nh lý h i t b
∗
k =1
ch n ta thu đư c
∞
lim Pij (n) = fij (k ) lim Pjj (n − k )
n n→∞
k =1
1 1
∗
= fij =.
µj µj
N u i là tr ng thái h i quy thì µi chính là th i gian trung bình ( hay s
bư c trung bình) đ h l n đ u tiên quay l i i. Th i gian trung bình này có
th h u h n hay vô h n. Ta có đ nh nghĩa sau:
Đ nh nghĩa 1.8. Tr ng thái h i quy i đư c g i là tr ng thái h i quy dương
n u µi < ∞ và đư c g i là tr ng thái h i quy không n u µi = ∞.
Ví d 1.16. Gi s (Xn ) là du đ ng ng u nhiên đ i x ng trên đư ng th ng.
Trong ví d ta đã th y m i tr ng thái là h i quy. Ta ch ng minh m i tr ng
thái là h i quy không. Th t v y ta có
2n
(1/2)n (1/2)n ,
Pii (2n) = Pii (2n + 1) = 0.
n
Thành th
2m
Pii (n)sn = (1/2)2m s2m
Pii (s) =
m
n m
2m
(s2 /4)m = ((1 − s2 )−1/2 .
=
m
m
T phương trình (1.7) ta suy ra
Fii (s) = 1 − Pii (s)−1 = 1 − (1 − s2 )1/2. (1.11)
Theo b đ Abel
kfii (k )sk−1
µi = kfii (k ) = lim
s→1−
k k
= lim Fii (s) = lim s(1 − s2)−1/2 = ∞.
s→1− s→1−
- 32 Chương 1. Quá trình Markov
Đ nh lý 1.12. Gi s i → j . N u i h i quy dương thì j h i quy dương. N u
i h i quy không thì j h i quy không.
Ch ng minh. Ta ch c n ch ng minh n u t n t i tr ng thái j là h i quy
dương thì m i tr ng thái i mà i ↔ j cũng h i quy dương. Th t v y t n t i
m, n sao cho Pij (n) > 0, Pji (m) > 0. V i m i k ta có
Pii (n + k + m) ≥ Pij (n)Pjj (k )Pji (m).
T đó và t đ nh lý 1.11 ta có
1
= lim Pii (n + k + m)
µi k
1
≥ lim Pij (n)Pjj (k )Pji (m) = Pij (n)Pji (m) > 0.
µj
k
V y µi < ∞ t c i là h i quy dương. Theo đ nh lý 1.4, π = (π1, π2, ...) là phân
b gi i h n duy nh t c a xích.
T đ nh lý 1.11 và 1.12 suy ra
Đ nh lý 1.13. Gi s (Xn ) là xích t i gi n không có chu kỳ v i không gian
tr ng thái đ m đư c E . Khi đó s x y ra m t trong ba kh năng sau đây:
1) M i tr ng thái là không h i quy. Khi đó v i m i i, j
lim Pij (n) = 0.
n
Xích không có phân b d ng.
2) M i tr ng thái là h i quy không. Khi đó v i m i i, j
lim Pij (n) = 0
n
Xích không có phân b d ng.
- 1.2. Phân lo i tr ng thái xích Markov 33
3) M i tr ng thái là h i quy dương. Khi đó v i m i i, j
lim Pij (n) = πj > 0
n
và π = (π1 , π2, ...) là phân b gi i h n (và cũng là phân b d ng) c a
xích.
Đ nh lý 1.14. Gi s (Xn ) là xích t i gi n không có chu kỳ v i không gian
tr ng thái h u h n E = {1, 2, ..., d}. Khi đó m i tr ng thái đ u h i quy dương
và xích có phân b gi i h n π = (π1, π2 , ..., πd). Phân b này cũng là phân b
d ng duy nh t c a xích.
Ch ng minh. Theo đ nh lý 1.13 ta ch c n ch ng t kh năng 1) ho c 2)
không x y ra. Th t v y n u trái l i thì v i m i i, j
lim Pij (n) = 0.
n
Vy
d d
1 = lim Pij (n) = lim Pij (n) = 0.
n n
j =1 j =1
Mâu thu n.
Đ i v i xích t i gi n (có th có chu kỳ) ta có đ nh lý sau đây (không
ch ng minh):
Đ nh lý 1.15. Gi s Xn là xích t i gi n v i không gian tr ng thái E đ m
đư c. Khi đó
1. V i m i i, j ∈ E
n
1
lim n−1 Pij (k ) = .
µj
n→∞
k =1
1
Nói cách khác dãy Pij (n) h i t theo trung bình Cesaro t i πj = µj
không ph thu c i.
2. Dãy π = (πj ) tho mãn
- 34 Chương 1. Quá trình Markov
∞
• πj ≤ 1
j =1
∞
• πj = πiPij .
i=1
Như là m t h qu c a đ nh lý trên ta có đ nh lý sau (so sánh v i 1.13):
Đ nh lý 1.16. Cho (Xn ) là xích Markov t i gi n. Khi đó
1. N u E h u h n có d ph n t thì (π1, ..., πd) là phân b d ng duy nh t.
2. Ch có các kh năng sau:
• M i tr ng thái c a E là không h i quy
• M i tr ng thái c a E là h i quy không
• M i tr ng thái c a E là h i quy dương.
3. N u E là vô h n đ m đư c thì xích có phân b d ng khi và ch khi m i
tr ng thát c a E là h i quy dương. Trong trư ng h p này phân b d ng
là duy nh t.
1.3 Quá trình Markov
Xét h các ĐLNN r i r c (Xt ), t ≥ 0 v i t p ch s t là các s th c không
âm t ∈ [0, ∞). Ký hi u E = Xt (Ω) là t p giá tr c a Xt . Khi đó E là m t
t p h u h n hay đ m đư c, các ph n t c a nó đư c ký hi u là i, j, k... .Ta
g i (Xt ) là m t quá trình ng u nhiên v i không gian tr ng thái E .
Đ nh nghĩa 1.9. Ta nói r ng (Xt ) là m t quá trình Markov n u v i m i
t1 < ... < tk < t và v i m i i1, i2, ...in, i ∈ E
P {Xt = i|Xt1 = i1, Xt2 = i2..., Xtk = ik }
= P {Xt = i|Xtk = ik }.
- 1.3. Quá trình Markov 35
Như v y, xác su t có đi u ki n c a m t s ki n B nào đó trong tương lai
n u bi t hi n t i và quá kh c a h cũng gi ng như xác su t có đi u ki n
c a B n u ch bi t tr ng thái hi n t i c a h . Đó chính là tính Markov c a
h . Đôi khi tính Markov c a h còn phát bi u dư i d ng: N u bi t tr ng thái
hi n t i Xt c a h thì quá kh Xu , u < t và tưong lai Xs , s > t là đ c l p v i
nhau.
Gi s
P {Xt+s = j |Xs = i}
là xác su t đ xích t i th i đi m s tr ng thái i sau m t kho ng th i gian t
, t i th i đi m t + h chuy n sang tr ng thái j . Đây là m t con s nói chung
ph thu c vào i, j, t, s. N u đ i lư ng này không ph thu c s ta nói xích là
thu n nh t. Trong giáo trình này ta ch xét xích Markov thu n nh t.
Ký hi u
Pij (t) = P {Xt+s = j |Xs = i}.
Ta g i Pij (t) là xác su t chuy n c a h t tr ng thái i sang tr ng thái j sau
m t kho ng th i gian t . Ký hi u P (t) = (Pij (t), i, j ∈ E ). P (t) là m t ma
tr n h u h n hay vô h n chi u. Chú ý r ng
i)Pij (t) ≥ 0
ii) Pij (t) = 1.
j ∈E
Phân b c a X0 đư c g i là phân b ban đ u. Ta ký hi u ui = P (X0 = i).
Ch ng minh tương t như trư ng h p xích Markov ta có k t lu n sau:
Đ nh lý 1.17. Phân b h u h n chi u c a quá trình (Xt ) đư c hoàn toàn
xác đ nh t phân b ban đ u và xác su t chuy n. C th v i t1 < t2 < ... < tn
phân b đ ng th i c a (Xt1 , ..., Xtn ) đư c tính theo công th c sau
P (Xt1 = i1, ..., Xtn = in ) =
= ui Pii1 (t1)Pi1 i2 (t2 − t1)...Pin−1 in (tn − tn−1 ).
i∈E
- 36 Chương 1. Quá trình Markov
Đ nh lý 1.18. (Phương trình Chapman-Kolmogorov)
Pij (t + s) = Pik (t)Pkj (s).
k ∈E
1.3.1 Trư ng h p không gian tr ng thái h u h n
Gi s E = {1, 2, ..., d}. Khi đó t phương trình C-K P (t), t > 0 là m t h
các ma tr n tho mãn đ ng th c sau
P (t + s) = P (t)P (s).
Nói cách khác h (P (t), t > 0) l p thành m t n a nhóm các ma tr n. T nay
v sau ta s luôn gi thi t thêm r ng
1. Pij (0) = δij
2. limt→0 Pij (t) = δij
đây δij là ký hi u Kronecke
1 n u i=j
δij =
0 n u i = j.
Đ nh lý 1.19. Hàm ma tr n P (t) là m t hàm liên t c và t n t i
P (t) − I
P (0) = lim .
h
h→0+
Ch ng minh. Theo gi thi t thì P (0) = I và limt→0 P (t) = I t c là P (t) liên
t c t i 0. Ta ch ng minh P (t) liên t c t i t > 0. Ta có do tính ch t n a
nhóm
lim P (t + h) = lim P (t)P (h) = P (t)I = P (t).
h→0+ h→0
V y P (t) liên t c ph i. Ta l i có v i 0 < h < t thì P (t) = P (h)P (t − h) . Do
P (h) → I khi h → 0 nên t n t i P (h)−1 v i h đ nh . V y
lim P (t − h) = lim P (t)P (h)−1 = P (t)I = P (t).
h→0+ h→0−
- 1.3. Quá trình Markov 37
V y P (t) cũng liên t c trái do đó liên t c. (Th c ra có th ch ng minh đư c
r ng P (t) liên t c đ u trên [0, ∞).
Ti p theo s d ng tính ch t n a nhóm ta có v i m i h > 0, n:
P (nh) − I = (P (h) − I ) (I + P (h) + P (2h) + ... + P ((n − 1)h)) . (1.12)
Vì P (t) liên t c n u h → 0 sao cho nh → t > 0 thì
n −1 t
h → P (u)du.
0
k =0
t
T n t i t > 0 đ tích phân 0 P (u)du là ma tr n không suy bi n. Ta l i có
lim P (nh) − I = P (t) − I . T (1.12) suy ra
n
−1
t
P ( h) − I
lim = (P (t) − I ) P (u)du
h
h→0+ 0
Ký hi u
P ( h) − I
A = P (0) = lim .
h
h→0+
A = (aij ) đư c g i là ma tr n c c vi c a n a nhóm (P (t)). Ta có
Pij (t)
lim = aij n u i=j
t
t→0
1 − Pii (t)
lim = ai (1.13)
t
t→0
đây ai = −aii. T (1.13) ta có
Pij (t) = aij t + o(t)
1 − Pii (t) = ai t + o(t).
Thành th aij đư c g i là cư ng đ chuy n t tr ng thái i sang tr ng thái j
và ai là cư ng đ thoát kh i tr ng thái i c a h .
- 38 Chương 1. Quá trình Markov
T đ ng th c 0 = Pij (t) + Pii − 1 chia hai v cho t và cho t → 0 ta
j : j =i
thu đư c
aij = 0
j
hay tương đương
ai = aij
j : j =i
Đ nh lý 1.20. Cho quá trình Markov v i n a nhóm P (t), t > 0 các xác su t
chuy n. G i A là ma tr n c c vi c a n a nhóm. Khi đó ta có
P (t) = P (t)A
↔ Pij (t) = Pik (t)akj − Pij (y )aj (1.14)
k =j
và
P (t) = AP (t)
↔ Pij (t) = Pkj aik − Pij (y )ai. (1.15)
k =i
Phương trình ( (1.14)) đư c g i là phương trình thu n và phương trình (1.15)
đư c g i là phương trình ngư c Kolmogorov.
Ch ng minh. Ta có do tính ch t n a nhóm
P ( t + h) − P ( t ) P (t)(P (h) − I )
=
h h
( P ( h) − I ) P ( t )
= .
h
Cho h → 0 ta có đi u c n ch ng minh.
Phương trình thu n và ngh ch là các phương trình vi phân v i đi u ki n
ban đ u P (0) = I có th gi i đư c b ng phương pháp quen thu c trong lý
thuy t phương trình vi phân. Ta có k t qu sau (không ch ng minh):
- 1.3. Quá trình Markov 39
Đ nh lý 1.21. Phưong trình (1.14) và phương trình (1.15) có nghi m là
∞
An tn
P (t) = eAt = I + .
n!
n=1
Ngư c l i cho trư c ma tr n A = (aij ) c p d × d tho mãn aij ≥ 0 n u i = j
và aij = 0 . Đ t
j
P (t) = eAt .
Khi đó t n t i quá trình Markov v i d tr ng thái nh n P (t) làm h ma tr n
xác su t chuy n.
Ví d 1.17. (Quá trình Markov hai tr ng thái) Xét quá trình Markov v i
hai tr ng thái E = {0, 1}. (Ch ng h n ta xét s ti n tri n theo th i gian c a
m t h th ng nào đó trong đó tr ng thái 0 bi u th tr ng thái trì tr còn tr ng
thái 1 bi u th tr ng thái làm vi c tích c c c a h th ng). Gi s cư ng đ
chuy n t tr ng thái 0 sang tr ng thái 1 là λ và cư ng đ chuy n t tr ng
thái 1 sang tr ng thái 0 là µ. Ma tr n c c vi là
−λ λ
A= .
µ −µ
Ta đi tìm công th c cho xác su t chuy n Pij (t) b ng cách gi i phương trình
ngư c. Phương trình (1.15) cho ta
P00 (t) = −λP00 (t) + λP10 (t)
P10 (t) = µP00 (t) − µP10 (t).
Tr hai phương trình trên v v i v ta có:
(P00 (t) − P10 (t)) = −(λ + µ)(P00 (t) − P10 (t))
⇒ P00 (t) − P10 (t) = (P00 (0) − P10 (0))e−(λ+µ)t
= e−(λ+µ)t .
- 40 Chương 1. Quá trình Markov
Vy
P00 (t) = −λ(P00 (t) − P10(t)) = −λe−(λ+µ)t
t
⇒ P00(t) = P00(0) + P00(s)ds
0
λ
(1 − e−(λ+µ)t )
=1−
µ+λ
µ λ −(λ+µ)t
= + e .
µ+λ µ+λ
T đó
P10 (t) = P00 (t) − e−(λ+µ)t
µ µ −(λ+µ)t
= − e .
µ+λ µ+λ
Hoàn toàn tương t t phương trình (1.15) ta có
P01(t) = −λP01 (t) + λP11 (t)
P11 (t) = µP01 (t) − µP11 (t).
ta tìm đư c
λ λ −(λ+µ)t
P01 (t) = − e
µ+λ µ+λ
λ µ −(λ+µ)t
P11 (t) = + e .
µ+λ µ+λ
Bây gi chúng ta xét dáng đi u ti m c n c a ma tr n xác su t chuy n
P (t) khi t → ∞. Cho quá trình Markov (Xt ) v i không gian tr ng thái E
h u h n và ma tr n xác su t chuy n P (t) = Pij (t). Ta nói r ng quá trình là
t i gi n n u Pij (t) > 0 v i m i i, j ∈ E . (Chú ý r ng ta không có khái ni m
"chu kỳ c a m t tr ng thái" như là đ i v i xích Markov).
Đ nh lý 1.22. Cho quá trình Markov t i gi n (Xt )v i không gian tr ng thái
E = {1, 2, ..., d} h u h n và ma tr n xác su t chuy n P (t) = Pij (t). Khi đó
v i m i i, j ∈ E t n t i gi i h n h u h n
lim Pij (t) = πj
t→∞
- 1.3. Quá trình Markov 41
ch ph thu c j không ph thu c i. Thêm vào đó π = (π1, π2 , ..., πd) là phân
b xác su t duy nh t tho mãn phương trình
π = πP (t), ∀t > 0.
Ch ng minh. V i m i h > 0 c đ nh P (h) là m t ma tr n xác su t chuy n
v i các ph n t đ u dưong, v y theo đ nh lý 1.5 ta có t n t i
lim P (nh) = lim P (h)n = Π(h)
n→∞ n→∞
trong đó Π(h) là ma tr n v i các dòng như nhau và b ng π (h) .Thêm vào
đó π (h) = (π1 (h), π2(h), ..., πd(h)) là phân b xác su t duy nh t tho mãn
phương trình
π (h) = π (h)P (h), ∀t > 0.
M t khác ta bi t r ng P (t) liên t c đ u trên [0, ∞). Trong gi i tích ta bi t
r ng n u m t hàm P (t) liên t c đ u sao cho lim P (nh) t n t i v i m i h > 0
n→∞
thì kéo theo limt→∞ P (t) t n t i. V y ta k t lu n t n t i
lim P (t) = Π
t→∞
v i Π = Π(h) v i m i h > 0. T đó suy ra k t lu n c a đ nh lý.
Ví d 1.18. Trong ví d v quá trình Markov hai tr ng thái t bi u th c
c a Pij (t) ta có
lim Pij (t) = πj
t→∞
vi
µ λ
π0 = , π1 = .
λ+µ λ+µ
N u ch n π = (π0, π1) là phân b ban đ u c a quá trình thì
P (Xt = 0) = P (X0 = 0)P00 (t) + P (X0 = 1)P10 (t)
µ
= π0P00 (t) + π1P10 (t) = π0 = .
λ+µ
Tương t
λ
P (Xt = 1) = π1 = .
λ+µ
Như v y phân b c a Xt không ph thu c vào t.
nguon tai.lieu . vn
