Xem mẫu
TOÙM TAÉT BAØI GIAÛNG
LYÙ THUYEÁT THOÂNG TIN
CHÖÔNG 1:
TIN TÖÙC
1-1 HEÄ THOÁNG TRUYEÀN TIN (HT3)
Nguoàn
tin
Si(t)
Kênh tin
S0(t)
Nhận tin
Nhieãu
Nguoàn tin:
+ Laø taäp hôïp caùc tin HT3 duøng ñeå laäp caùc baûn tin khaùc
nhau trong söï truyeàn.
+ Nguoàn tin ñöôïc moâ hình hoaù toaùn hoïc baèng boán quaù
trình sau:
- Quaù trình ngaãu nhieân lieân tuïc.
Quaù trình ngaãu nhieân rôøi raïc.
- Daõy ngaãu nhieân lieân tuïc.
- Daõy ngaãu nhieân rôøi raïc.
Keânh tin: laø nôi dieãn ra söï truyeàn lan cuûa tín hieäu
mang tin vaø chòu taùc ñoäng cuûa nhieãu.
S0(t) = Nm (t). Si(t) + Na(t)
+ Si(t): Tín hieäu vaøo & S0(t): tín hieäu ra cuûa keânh tin
+ Nm (t), Na(t) : ñaëc tröng cho nhieãu nhaân, nhieãu coäng.
Lyù thuyeát thoâng tin
trang: 1
Nhaän tin: laø ñaàu cuoái cuûa HT3 laøm nhieäm vuï khoâi
phuïc tin töùc ban ñaàu.
Nguoàn tin (1)
Nhaän tin (1’)
Maõ hoùa nguoàn (2)
Giaûi maõ nguoàn (2’)
Maõ hoùa keânh (3)
Giaûi maõ keânh (3’)
Boä ñieàu cheá (4)
Giaûi ñieàu cheá (4’)
Phaùt cao taàn (5)
Keânh tin
Thu cao taàn (5’)
Heä thoáng truyeàn tin soá (rôøi raïc)
Hai vaán ñeà cô baûn cuûa heä thoáng truyeàn tin:
+ Vaán ñeà hieäu suaát, noùi caùch khaùc laø toác ñoä truyeàn tin
cuûa heä thoáng.
+ Vaán ñeà ñoä chính xaùc, noùi caùch khaùc laø khaû naêng
choáng nhieãu cuûa heä thoáng.
1-2 SOÁ ÑO THOÂNG TIN
a. Löôïng ño tin töùc: Nguoàn A coù m tín hieäu ñaúng xaùc
xuaát, moät tin do nguoàn A hình thaønh laø moät daõy n
kyù hieäu ai baát kyø (ai A).
Lyù thuyeát thoâng tin
trang: 2
–
Löôïng tin chöùa trong moät ai baát kyø:
I(ai)=logm
-
(1)
Löôïng tin chöùa trong moät daõy x goàm n kyù hieäu:
I(x) = n.log m
(2)
Ñôn vò löôïng ño thoâng tin thöôøng ñöôïc choïn laø
cô soá 2.
-
Khi m kyù hieäu cuûa nguoàn tin coù xaùc xuaát khaùc
nhau vaø khoâng ñoäc laäp thoáng keâ vôùi nhau thì
I(xi) = log (1/p(ai))
(3)
Löôïng tin rieâng:
I(xi) = -log p(xi)
(4)
Laø löôïng tin ban ñaàu ñöôïc xaùc ñònh baèng xaùc
xuaát tieân nghieäm.
Löôïng tin coøn laïi cuûa xi sau khi ñaõ nhaän ñöôïc yj
ñöôïc xaùc ñònh baèng xaùc xuaát haäu nghieäm.
x
I ( xi / yi ) log p( i )
(5)
yj
Löôïng tin töông hoã:
p(
I ( xi ; yi ) I ( xi ) I ( xi / yi ) log
xi
)
yj
p( xi )
(6)
Ñaëc tính cuûa löôïng tin:
+ I(xi) I(xi ; yi)
(7)
+ I(xi) 0
(8)
Lyù thuyeát thoâng tin
trang: 3
+ I(xi.yi) = I(xi) + I(yi) - I(xi; yi)
(9)
Khi caëp xi, yj ñoäc laäp thoáng keâ vôùi nhau thì I(xi; yi)
=0
Ta coù: I(xi. yi) = I(xi) + I(yi)
(10)
Löôïng tin trung bình: laø löôïng tin töùc trung bình
chöùa trong m kyù hieäu baát kyø cuûa nguoàn ñaõ cho.
I ( x) p( x) log p( x)
(11)
X
Löôïng tin töông hoã trung bình:
I ( X , Y ) p( x, y) log
XY
p( x / y )
p ( x)
(12)
Löôïng tin rieâng trung bình coù ñieàu kieän:
I (Y / X ) p( x, y) log( y / x)
(13)
XY
b. Entroâpi nguoàn rôøi raïc: laø moät thoâng soá thoáng keâ cô
baûn cuûa nguoàn. Veà yù nghóa vaät lyù ñoä baát ngôø vaø
löôïng thoâng tin traùi ngöôïc nhau, nhöng veà soá ño
chuùng baèng nhau:
H ( X ) I ( X ) p( x) log p( x)
(1)
Entropi: ñoä baát ngôø
Ñaëc tính cuûa Entroâpi H(X):
+ H(X) 0
+ H(X) = 0 khi nguoàn tin chæ coù moät kyù hieäu
+ H(X)max khi xaùc suaát xuaát hieän caùc kyù hieäu cuûa
nguoàn baèng nhau.
Lyù thuyeát thoâng tin
trang: 4
(2 taäp tin: xo, yo vôùi po, p1. P1 =1-po
H(x) = -po.logpo –p1.logp1=-po.logpo – (1-po)log(1po)
Entroâpi ñoàng thôøi: laø ñoä baát ñònh trung bình cuûa moät
caëp (x,y) baát kyø trong tích XY.
H ( XY ) p( x, y) log p( x, y)
(2)
XY
Entroâpi coù ñieàu kieän:
H ( X / Y ) p( x, y) log p( x / y)
(3)
XY
1-3 THOÂNG LÖÔÏNG CUÛA KEÂNH THOÂNG TIN:
Toác ñoä thieát laäp tin cuûa nguoàn:
R= n0.H(X) (bps)
(1)
+ H(X); entroâpi cuûa nguoàn.
+ n0 : soá kyù hieäu ñöôïc laäp trong moät ñôn vò thôøi gian
Thoâng löôïng cuûa keânh C laø löôïng thoâng tin toái ña
keânh cho ñi qua trong moät ñôn vò thôøi gian maø
khoâng gaây sai nhaàm. C(bps)
Thoâng thöôøng R < C, ñeå R tieán tôùi gaàn C ta duøng
pheùp maõ hoaù thoáng keâ toái öu ñeå taêng Entroâpi.
a. Thoâng löôïng keânh rôøi raïc khoâng nhieãu:
C = Rmax = n0. H(X)max
(bps)
(2)
Ñoä dö cuûa nguoàn:
Lyù thuyeát thoâng tin
trang: 5
nguon tai.lieu . vn
LYÙ THUYEÁT THOÂNG TIN
CHÖÔNG 1:
TIN TÖÙC
1-1 HEÄ THOÁNG TRUYEÀN TIN (HT3)
Nguoàn
tin
Si(t)
Kênh tin
S0(t)
Nhận tin
Nhieãu
Nguoàn tin:
+ Laø taäp hôïp caùc tin HT3 duøng ñeå laäp caùc baûn tin khaùc
nhau trong söï truyeàn.
+ Nguoàn tin ñöôïc moâ hình hoaù toaùn hoïc baèng boán quaù
trình sau:
- Quaù trình ngaãu nhieân lieân tuïc.
Quaù trình ngaãu nhieân rôøi raïc.
- Daõy ngaãu nhieân lieân tuïc.
- Daõy ngaãu nhieân rôøi raïc.
Keânh tin: laø nôi dieãn ra söï truyeàn lan cuûa tín hieäu
mang tin vaø chòu taùc ñoäng cuûa nhieãu.
S0(t) = Nm (t). Si(t) + Na(t)
+ Si(t): Tín hieäu vaøo & S0(t): tín hieäu ra cuûa keânh tin
+ Nm (t), Na(t) : ñaëc tröng cho nhieãu nhaân, nhieãu coäng.
Lyù thuyeát thoâng tin
trang: 1
Nhaän tin: laø ñaàu cuoái cuûa HT3 laøm nhieäm vuï khoâi
phuïc tin töùc ban ñaàu.
Nguoàn tin (1)
Nhaän tin (1’)
Maõ hoùa nguoàn (2)
Giaûi maõ nguoàn (2’)
Maõ hoùa keânh (3)
Giaûi maõ keânh (3’)
Boä ñieàu cheá (4)
Giaûi ñieàu cheá (4’)
Phaùt cao taàn (5)
Keânh tin
Thu cao taàn (5’)
Heä thoáng truyeàn tin soá (rôøi raïc)
Hai vaán ñeà cô baûn cuûa heä thoáng truyeàn tin:
+ Vaán ñeà hieäu suaát, noùi caùch khaùc laø toác ñoä truyeàn tin
cuûa heä thoáng.
+ Vaán ñeà ñoä chính xaùc, noùi caùch khaùc laø khaû naêng
choáng nhieãu cuûa heä thoáng.
1-2 SOÁ ÑO THOÂNG TIN
a. Löôïng ño tin töùc: Nguoàn A coù m tín hieäu ñaúng xaùc
xuaát, moät tin do nguoàn A hình thaønh laø moät daõy n
kyù hieäu ai baát kyø (ai A).
Lyù thuyeát thoâng tin
trang: 2
–
Löôïng tin chöùa trong moät ai baát kyø:
I(ai)=logm
-
(1)
Löôïng tin chöùa trong moät daõy x goàm n kyù hieäu:
I(x) = n.log m
(2)
Ñôn vò löôïng ño thoâng tin thöôøng ñöôïc choïn laø
cô soá 2.
-
Khi m kyù hieäu cuûa nguoàn tin coù xaùc xuaát khaùc
nhau vaø khoâng ñoäc laäp thoáng keâ vôùi nhau thì
I(xi) = log (1/p(ai))
(3)
Löôïng tin rieâng:
I(xi) = -log p(xi)
(4)
Laø löôïng tin ban ñaàu ñöôïc xaùc ñònh baèng xaùc
xuaát tieân nghieäm.
Löôïng tin coøn laïi cuûa xi sau khi ñaõ nhaän ñöôïc yj
ñöôïc xaùc ñònh baèng xaùc xuaát haäu nghieäm.
x
I ( xi / yi ) log p( i )
(5)
yj
Löôïng tin töông hoã:
p(
I ( xi ; yi ) I ( xi ) I ( xi / yi ) log
xi
)
yj
p( xi )
(6)
Ñaëc tính cuûa löôïng tin:
+ I(xi) I(xi ; yi)
(7)
+ I(xi) 0
(8)
Lyù thuyeát thoâng tin
trang: 3
+ I(xi.yi) = I(xi) + I(yi) - I(xi; yi)
(9)
Khi caëp xi, yj ñoäc laäp thoáng keâ vôùi nhau thì I(xi; yi)
=0
Ta coù: I(xi. yi) = I(xi) + I(yi)
(10)
Löôïng tin trung bình: laø löôïng tin töùc trung bình
chöùa trong m kyù hieäu baát kyø cuûa nguoàn ñaõ cho.
I ( x) p( x) log p( x)
(11)
X
Löôïng tin töông hoã trung bình:
I ( X , Y ) p( x, y) log
XY
p( x / y )
p ( x)
(12)
Löôïng tin rieâng trung bình coù ñieàu kieän:
I (Y / X ) p( x, y) log( y / x)
(13)
XY
b. Entroâpi nguoàn rôøi raïc: laø moät thoâng soá thoáng keâ cô
baûn cuûa nguoàn. Veà yù nghóa vaät lyù ñoä baát ngôø vaø
löôïng thoâng tin traùi ngöôïc nhau, nhöng veà soá ño
chuùng baèng nhau:
H ( X ) I ( X ) p( x) log p( x)
(1)
Entropi: ñoä baát ngôø
Ñaëc tính cuûa Entroâpi H(X):
+ H(X) 0
+ H(X) = 0 khi nguoàn tin chæ coù moät kyù hieäu
+ H(X)max khi xaùc suaát xuaát hieän caùc kyù hieäu cuûa
nguoàn baèng nhau.
Lyù thuyeát thoâng tin
trang: 4
(2 taäp tin: xo, yo vôùi po, p1. P1 =1-po
H(x) = -po.logpo –p1.logp1=-po.logpo – (1-po)log(1po)
Entroâpi ñoàng thôøi: laø ñoä baát ñònh trung bình cuûa moät
caëp (x,y) baát kyø trong tích XY.
H ( XY ) p( x, y) log p( x, y)
(2)
XY
Entroâpi coù ñieàu kieän:
H ( X / Y ) p( x, y) log p( x / y)
(3)
XY
1-3 THOÂNG LÖÔÏNG CUÛA KEÂNH THOÂNG TIN:
Toác ñoä thieát laäp tin cuûa nguoàn:
R= n0.H(X) (bps)
(1)
+ H(X); entroâpi cuûa nguoàn.
+ n0 : soá kyù hieäu ñöôïc laäp trong moät ñôn vò thôøi gian
Thoâng löôïng cuûa keânh C laø löôïng thoâng tin toái ña
keânh cho ñi qua trong moät ñôn vò thôøi gian maø
khoâng gaây sai nhaàm. C(bps)
Thoâng thöôøng R < C, ñeå R tieán tôùi gaàn C ta duøng
pheùp maõ hoaù thoáng keâ toái öu ñeå taêng Entroâpi.
a. Thoâng löôïng keânh rôøi raïc khoâng nhieãu:
C = Rmax = n0. H(X)max
(bps)
(2)
Ñoä dö cuûa nguoàn:
Lyù thuyeát thoâng tin
trang: 5