Xem mẫu
- Giáo trình Lý thuyết tín hiệu và truyền tin
Giáo trình
Lý thuyết tín hiệu và
truyền tin
ThS. Đoàn Hữu Chức 3 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
Lời nói đầu
Ngay nay, các lĩnh vực khoa học máy tính và truyền thông đã
thâm nhập lẫn nhau và gắn kết dẫn đến làm thay đổi rất nhiều lĩnh
vực công nghệ và sản xuất. Chính điều này đã làm cho rất nhiều
lĩnh vực khoa học công nghệ có những điều kiện cơ sở để phát
triển mạnh mẽ. Trong hoàn cảnh đó, việc nghiên cứu tìm hiểu về lý
thuyết tín hiệu và truyền tin ngày càng trở nên quan trọng và cần
được đặt trong một tình hình mới.
Với yêu cầu cần có một giáo trình cho sinh viên ngành Điện tử
- Viễn thông, giáo trình Lý thuyết tín hiệu và truyền tin đã đ ược
biên soạn. Trong quá trình biên soạn không tránh khỏi thiếu sót
mong đọc giả góp ý để giáo trình ngày càng hoàn thiện hơn.
ThS. Đoàn Hữu Chức 4 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
Chương 1
Các khái niệm cơ bản của lý thuyết tín hiệu và truyền tin
1.1. Vị trí, vai trò và lịch sử phát triển
1.1.1. Vị trí, vai trò của lý thuyết thông tin
Trong cuộc sống con người luôn có nhu cầu trao đổi, giao tiếp
với nhau, cái mà mỗi người trao đổi với nhau gọi là thông tin. Nhờ
sự phát triển của khoa học công nghệ, con người cũng có thể nhận
thông tin từ đài, báo, mạng internet, truyền hình ... v.v. Hay đơn giản
như các bạn sinh viên nhận thông tin từ giảng viên và phức tạp hơn
nữa là sự liên lạc, thông tin giữa các mạng máy tính với nhau. Điều
đó có nghĩa là thông tin là cái gì đó được truyền từ đối tượng này tới
đối tượng khác để chuyển, thông báo một điều gì đó. Thông tin sẽ
chỉ có ý nghĩa khi điều gì đó mà bên nhận chưa biết.
Như những ví dụ trên trình bày, thông tin có thể được chứa
trong nhiều dạng như hình ảnh, âm thanh, văn bản. Những dạng này
là vỏ bọc vật chất của thông tin. Vở bọc có thể hiểu là phần xác,
thông tin là phần hồn.
Một trong những phương tiện để diễn đạt thông tin là ngôn
ngữ, thông tin chỉ có thể được truyền đạt, hiểu nếu cả hai bên
truyền và nhận hiểu được ngữ nghĩa của nhau.
Thông tin có thể được truyền hoặc lưu trữ. Môi trường thực
hiện việc đó được gọi là môi trường chứa tin hay kênh tin.
Các đối tượng sống luôn có nhu cầu tìm hiểu về thế giới xung
quang để thích nghi tồn tại và phát triển. Thông tin trở thành một
nhu cầu cơ bản, một điều kiện cần cho sự tồn tại và phát triển.
Ngày nay, khi khoa học phát triển mạnh mẽ thì thông tin ngày càng
ThS. Đoàn Hữu Chức 5 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
trở nên quan trọng đối với mỗi con người. Mỗi hành động của con
người đều xuất phát từ những suy nghĩ của người đó. Mỗi suy nghĩ
đó lại chịu sự ảnh hưởng của những thông tin mà người đó có
được, do vậy hành động của con người chịu sự ảnh hưởng của
thông tin.
Đứng về khía cạnh khoa học lý thuyết tín hiệu và truyền tin
nghiên cứu nhằm tạo ra một điều kiện tốt cho việc xử lý phân tích
tín hiệu và truyền tin nhanh chóng, an toàn và lưu trữ hiệu quả. Một
cách tổng quát lý thuyết tín hiệu và truyền tin nghiên cứu các vấn
đề về xử lý thông tin.
Một số lĩnh vực nghiên cứu của môn học:
- Phân tích, tổng hợp tín hiệu
- Mã hoá chống nhiễu
- Nén dữ liệu
- Mật mã hoá
Lý thuyết thông tin đã có nhiều ứng dụng trong cuộc sống và
khoa học kỹ thuật. Sự bùng nổ về thông tin đang làm thay đổi diện
mạo cuộc sống của con người, tạo ra sự phát triển mạnh mẽ của
các phương thức truyền thông, truyền tin và lưu trữ thông tin. Cũng
chính nhờ thông tin mà con người được cung cấp những cơ sở lý
thuyết và cái nhìn triết học sâu sắc hơn về các vấn đề con người
gặp phải hôm nay và trong tương lai. Lý thuyết thông tin đã được áp
dụng trong hầu hết các lĩnh vực công nghệ như truyền thông, nén,
bảo mật, đặc biệt đã được áp dụng vào trong lĩnh vực giáo dục ở
nhiều khía cạnh như đào tạo, nghiên cứu và phát triển công nghệ.
Vậy lý thuyết tín hiệu và thông tin đã có lịch sử hình thành
phát triển như thế nào?
1.1.2. Lịch sử hình thành và phát triển
Người đặt viên gạch đầu tiên để xây dựng lý thuyết thông tin
là Hartley R.V.L. Năm 1928, ông đã đưa ra số đo lượng thông tin là
ThS. Đoàn Hữu Chức 6 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
một khái niệm trung tâm của lý thuyết thông tin. Dựa vào khái niệm
này, ta có thể so sánh định lượng các hệ truyền tin với nhau. Năm
1933, V.A Kachenhicov chứng minh một loạt những luận điểm quan
trọng của lý thuyết thông tin trong bài báo “Về khả năng thông qua
của không trung và dây dẫn trong hệ thống liên lạc điện”.
Năm 1935, D.V Ageev đưa ra công trình “Lý thuyết tách tuyến
tính”, trong đó ông phát biểu những nguyên tắc cơ bản về lý thuyết
tách các tín hiệu.
Năm 1946, V.A Kachenhicov thông báo công trình “Lý thuyết
thế chống nhiễu’ đánh dấu một bước phát triển rất quan trọng của
lý thuyết thông tin.
Trong hai năm 1948 – 1949, Shanon C.E công bố một loạt các
công trình vĩ đại, đưa sự phát triển của lý thuyết thông tin lên một
bước tiến mới chưa từng có. Trong các công trình này, nhờ việc đưa
vào khái niệm lượng thông tin và tính đến cấu trúc thống kê của tin,
ông đã chứng minh một loạt định lý về khả năng thông qua của kênh
truyền tin khi có nhiễu và các định lý mã hoá. Những công trình này
là nền tảng vững chắc của lý thuyết thông tin. Ngày nay, lý thuyết
thông tin phát triển theo hai hướng chủ yếu sau:
Lý thuyết thông tin toán học: Xây dựng những luận điểm
thuần tuý toán học và những cơ sở toán học chặt chẽ của lý thuyết
thông tin. Cống hiến chủ yếu trong lĩnh vực này thuộc về các nhà
bác học lỗi lạc như: N.Wiener, A. Feinstain, C.E Shanon, A.N.
Kanmôgorov, A.JA Khintrin.
Lý thuyết thông tin ứng dụng: (lý thuyết truyền tin) Chuyên
nghiên cứu các bài toán thực tế quan trọng do kỹ thuật liên lạc đ ặt
ra có liên quan đến vấn đề chống nhiễu và nâng cao độ tin cậy của
việc truyền tin. Các bác học C.E Shanon, S.O RiCe, D. Midleton, W.
Peterson, A.A Khakevich, V. Kachenhicov đã có những công trình
quý báu trong lĩnh vực này.
ThS. Đoàn Hữu Chức 7 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
1.2. Tin tức và các khái niệm cơ bản
1.2.1. Các định nghĩa
1.2.1.1. Thông tin
Thông tin là một khái niệm trừu tượng, phi vật chất và rất khó
định nghĩa. Có nhiều cách định nghĩa về thông tin. Dưới đây là một
số định nghĩa:
Thông tin là sự cảm hiểu của con người về thế giới xung
quanh thông qua việc tiếp xúc với nó.
Thông tin là một hệ thống những tin báo và mệnh lệnh giúp
loại trừ sự không chắc chắn của nơi nhận tin. Nói một cách ngắn
gọn, thông tin là cái mà loại trừ sự không chắc chắn.
Định nghĩa đầu tiên chưa nêu rõ bản chất của thông tin, định
nghĩa thứ hai nói rõ hơn về bản chất của thông tin và được dùng để
định lượng thông tin trong kỹ thuật.
Ngoài ra có người còn định nghĩa thông tin là những tính chất xác
định của vật chất mà con người (hoặc hệ thống kỹ thuật) nhận
được từ thế giới vật chất bên ngoài hoặc từ những quá trình xảy ra
trong bản thân nó.
Với định nghĩa này, mọi ngành khoa học là khám phá ra các
cấu trúc thông qua việc thu thập, chế biến, xử lý thông tin. Ở đây
“thông tin” là một danh từ chứ không phải là động từ để chỉ một
hành vi tác động giữa hai đối tượng (người, máy) liên lạc với nhau.
Theo quan điểm triết học, thông tin là một quảng tính của thế giới
vật chất (tương tự như năng lượng, khối lượng). Thông tin không
được tạo ra mà chỉ được sử dụng bởi hệ thụ cảm.
Thông tin tồn tại một cách khách quan, không phụ thuộc vào
hệ thụ cảm. Trong nghĩa khái quát nhất, thông tin là sự đa dạng. Sự
đa dạng ở đây có thể hiểu theo nhiều nghĩa khác nhau: Tính ngẫu
nhiên, trình độ tổ chức,…
ThS. Đoàn Hữu Chức 8 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
1.2.1.2. Tin
Tin là dạng vật chất cụ thể để biểu diễn hoặc thể hiện thông
tin. Có hai dạng là tin rời rạc và tin liên tục.
Ví dụ các bức ảnh, bản nhạc, bài nói, bảng số liệu, ...v.v là
các tin.
1.2.1.3. Tín hiệu
Thông tin là một hiện tượng vật lý, nó thường tồn tại và được
truyền đi dưới dạng vật chất nào đó.
Những dạng vật chất để mang thông tin được gọi là tín hiệu.
Trong kỹ thuật có thể hiểu, tín hiệu là các đại lượng vật lý
biến thiên, phản ánh tin cần truyền.
Cần chú ý rằng không phải bản thân quá trình vật lý là tín hiệu
mà sự biến đổi các tham số riêng của quá trình vật lý mới là tín
hiệu. Các đặc trưng vật lý có thể là dòng điện, điện áp, ánh sáng,
âm thanh, ...v.v.
1.2.2. Sơ đồ khối hệ thống thông tin
Ngay nay, với sự phát triển mạnh mẽ của công nghệ điện tử
viễn thông, có rất nhiều các hệ thống thông tin khác nhau đã được
hình thành và phát triển. Khi đó việc phân loại các hệ thống thông
tin có thể được dựa trên nhiều cơ sở khác nhau. Ví dụ như dựa trên
cơ sở về năng lượng mang tin có thể chia các hệ thống truyền tin
thành các loại như:
- Hệ thống thông tin vô tuyến dùng sóng điện từ
- Hệ thống thông tin quang hữu tuyến dùng ánh sáng
- Hệ thống thông tin dùng sóng âm, siêu âm (năng lượng cơ
học)...
ThS. Đoàn Hữu Chức 9 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
Hay dựa vào các biểu hiện bên ngoài mà ta chia thành các hệ
thống như:
- Hệ thống truyền số liệu
- Hệ thống truyền hình
- Hệ thống điện thoại cố định công cộng
- Hệ thống thông tin di động,...v.v.
Chúng ta cũng có thể chia hệ thống thông tin thành hai loại hệ
thống:
- Hệ thống truyền tin rời rạc
- Hệ thống truyền tin liên tục
Tuy nhiên, một cách tổng quát hệ thống thông tin có thể được
biểu diễn bởi sơ đồ khối sau: Nhiễu
Nguồn tin Kênh tin Nhận tin
Hình 1.1. Sơ đồ khối hệ thống thông tin
1.2.2.1. Nguồn tin
Nguồn tin là nơi sản sinh ra hay chứa các tin cần truyền đi.
Khi một đường truyền tin được thiết lập để truyền tin từ nguồn tin
đến nơi nhận tin, một dãy các phần tử cơ sở (các tin) của nguồn sẽ
được truyền đi với một phân bố xác suất nào đó. Dãy này được gọi
là một bản tin. Do đó có thể định nghĩa:
Nguồn tin là tập hợp các tin mà hệ thống truyền tin dùng để
lập các bản tin khác nhau để truyền tin.
Nếu tập tin là hữu hạn thì nguồn sinh ra nó được gọi là nguồn
rời rạc. Nếu tập tin là vô hạn thì nguồn sinh ra nó được gọi là
nguồn liên tục.
Nguồn tin có hai tính chất: Tính thống kê và tính hàm ý.
ThS. Đoàn Hữu Chức 10 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
Với nguồn rời rạc, tính thống kê biểu hiện ở chỗ xác suất
xuất hiện các tin là khác nhau.
Tính hàm ý biểu hiện ở chỗ xác suất xuất hiện của một tin
nào đó sau một dãy tin khác nhau nào đó là khác nhau.
Ví dụ: P(x/ta) ≠ P(x/ba)
Thông tin trước khi truyền đi có thể được xử lý mã hoá để
nén, chống nhiễu và bảo mật.
1.2.2.2. Kênh tin
Kênh tin là nơi hình thành, truyền hay lưu trữ tín hiệu mang tin
đồng thời ở đó xảy ra các tạp nhiễu phá huỷ tin tức.
Trong lý thuyết tín hiệu và truyền tin, kênh tin là một khái
niệm trừu tượng đại biểu cho hỗn hợp tín hiệu và tạp nhiễu.
Để truyền tin, ta thường sử dụng một môi trường nào đó để
truyền. Môi trường truyền tin thường rất đa dạng. Môi trường
không khí, ta có thể truyền tin dưới dạng âm thanh, tiếng nói hay
bằng lửa (ánh sáng). Môi trường tầng điện ly thường là nơi xảy ra
sự truyền tin giữa các vệ tinh nhân tạo và các trạm rada ở mặt đất.
Hay có thể truyền tin bằng ánh sáng qua các môi trường truyền là
sợi dẫn quang trong đó tín hiệu mang tin được truyền dưới dạng
ánh sáng,...v.v.
Cho dù truyền tin dưới bất kỳ môi trường nào cũng đều bị ảnh
hưởng bởi nhiễu. Nhiễu rất phong phú và đa dạng, phụ thuộc vào
bản chất của môi trường truyền tin. Ví dụ khi truyền tin bằng âm
thanh thì những tiếng ồn xung quanh chính là nhiễu hay khi truyền
bằng sóng điện từ qua những nơi có điện từ trường mạnh thì cũng
sẽ bị ảnh hưởng. Nhiễu có nhiều loại như nhiễu cộng tính hay
nhiễu nhân.
1.2.2.3. Nhận tin
ThS. Đoàn Hữu Chức 11 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
Nơi nhận tin là nơi tiếp nhận thông tin từ kênh truyền và khôi
phục lại thông tin ban đầu như nguồn tin đã phát đi. Tin đến được
nơi nhận tin thường không thu được như tin ban đầu truyền đi vì đã
chịu sự tác động của nhiễu. Vì thế, nơi nhận phải thực hiện việc
phát hiện sai và sửa sai. Hơn thế nữa, nếu nguồn tin được thực hiện
mã hoá nén hay bảo mật thì nơi nhận tin cũng phải thực hiện việc
giải nén hay giải mã bảo mật để nhận lại tin.
Nơi nhận tin thường có ba chức năng cơ bản:
- Lưu giữ tin, ví dụ như bộ nhớ máy tính, băng ghi âm, ghi
hình,...
- Biểu thị tin làm cho các giác quan của con người hay các bộ
cảm biến cảm thụ được để xử lý tin, ví dụ như băng ghi âm, hình
ảnh,...
- Xử lý tin đưa tin về dạng dễ sử dụng. Chức năng này có thể
thực hiện bởi con người hay bằng các thiết bị máy móc.
1.2.3. Hệ thống thông tin số
Các hệ thống thông tin tương tự được tiếp tục phát triển từ
thế kỷ trước và đạt được nhiều thành tựu. Tuy nhiên, hệ thống
thông tin tương tự có những nhược điểm cố hữu không thể khắc
phục. Các hệ thống này thường rất cồng kềnh, không hiệu quả và
chi phí rất cao. Ví dụ vấn đề về nhiễu trong hệ thống thông tin
tương tự luôn làm đau đầu các nhà khoa học.
Các hệ thống rời rạc (số) có nhiều ưu điểm và khắc phục
được những nhược điểm của hệ thống liên tục. Ngày nay, các hệ
thống rời rạc ngày càng được phát triển mạnh mẽ và thu được
những thành tựu vượt cả ngoài sự mong đợi.
Để thực hiện được các hệ thống rời rạc trước hết phải rời
rạc hoá tín hiệu mang tin. Có hai loại rời rạc hoá: Rời rạc hoá theo
ThS. Đoàn Hữu Chức 12 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
trục thời gian hay còn gọi là lấy mẫu và rời rạc hoá theo biên đ ộ
hay còn gọi là lượng tử hoá.
Lấy mẫu tín hiệu là từ một hàm ban đầu ta lấy ra những mẫu
ở những thời điểm nhất định. Điều quan trọng là làm thế nào để có
thể thay thế tương đương các mẫu lấy được với tín hiệu gốc. Điều
này được giải quyết bởi định lý lấy mẫu của Shannon. Shannon
chính là cha đẻ của lý thuyết tín hiệu và truyền tin.
Định lý lấy mẫu Shannon được phát biểu như sau:
Một hàm S(t) có phổ hữu hạn, không có thành phần tần số lớn
hơn ωmax (= 2πfmax) có thể thay thế bằng các mẫu của nó được lấy
tại các thời điểm cách nhau một khoảng ∆ t≤ π/ωmax hay nói cách
khác tần số lấy mẫu F ≥ 2fmax.
Hình 1.2 minh hoạ điều này.
S(t)
Smax
Smin
t
Hình 1.2. Quá trình lấy mẫu tín hiệu
Biên độ của tín hiệu thường là một khoảng liên tục (S min ,
Smax). Lượng tử hoá là phân chia khoảng này thành một số mức nhất
định, chẳng hạn là: S0 = Smin, S1 = ...,..., Sn = Smax và qui các giá trị
biên độ không trùng với các giá trị này về các giá trị gần với nó
nhất. Có nghĩa là sẽ có sai số khi thực hiện lượng tử hoá. Như vậy
việc lượng tử hoá sẽ biến hàm S(t) thành một hàm S'(t) có dạng bậc
thang. Sự sai khác giữa S(t) và S'(t) được gọi là sai số lượng tử hoá.
Sai số lượng tử càng nhỏ thì S'(t) càng gần với S(t).
ThS. Đoàn Hữu Chức 13 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
Hình 1.3 minh hoạ quá trình lượng tử hoá.
S(t)
Sn
S1
t
Hình 1.3. Quá trình lượng tử hóa
Khi đã thực hiện việc rời rạc hoá tín hiệu ta sẽ có các nguồn
tin rời rạc. Trong nhiều trường hợp chúng ta thường chỉ nghiên cứu
các nguồn rời rạc. Một bảng chữ cái A gồm m kí hiệu là một nguồn
tin rời rạc, A = {a1, a2, ..., am} với những xác suất hiện p(ai) với i =
1,..., m. Nguồn tin này không diễn tả mối quan hệ giữa các tin tr ước
và tin sau nên được gọi là nguồn tin không nhớ rời rạc.
Có nhiều phương pháp biến đổi trong hệ thống thông tin số
như dưới đây minh hoạ.
ThS. Đoàn Hữu Chức 14 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
Hình 1.4. Các phương pháp biến đổi thông tin
số trong các khối chức năng của hệ thống.
ThS. Đoàn Hữu Chức 15 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
1.3. Độ đo thông tin
Độ đo của một đại lượng là cách ta xác định độ lớn của đại
lượng đó. Mỗi độ đo phải thoả mãn 3 tính chất sau:
- Độ đo phải cho phép ta xác định được độ lớn của đại lượng.
Đại lượng càng lớn, giá trị đo được càng phải lớn.
- Độ đo phải không âm.
- Độ đo phải tuyến tính, tức là giá trị đo được của đại lượng
tổng cộng phải bằng tổng giá trị của các đại lượng riêng phần khi
sử dụng độ đo này để đo chúng.
Để xác định độ đo thông tin, chúng ta nhận thấy rằng thông tin
càng có nhiều ý nghĩa khi nó càng hiếm gặp, do đó độ lớn của nó
phải tỷ lệ nghịch với xác suất xuất hiện của tin, hay nó là hàm
f(1/p(xi)) cho tin xi có xác suất xuất hiện p(xi). Một tin không cho
chúng ta lượng tin nào khi chúng ta đã biết trước về nó hay có xác
suất bằng 1.
Để xác định dạng hàm này, người ta sử dụng tính chất thứ ba.
Giả thiết rằng có hai tin xi và xj là độc lập thống kê để mỗi tin
không chứa thông tin về tin còn lại. Nếu hai tin có xác suất hi ện là
p(xi) và p(xj), lượng tin của mỗi tin là f(1/p(x i)) và f(1/p(xj)). Giả
thiết hai tin này cùng đồng thời xuất hiện, ta có tin (x i, xj), lượng tin
chung cho tin này phải bằng tổng lượng tin của từng tin riêng biệt.
Khi hai tin xuất hiện đồng thời, xác suất xuất hiện đồng thời của
chúng là p(xi, xj), và ta có:
f(1/ p(xi, xj)) = f(1/ p(xi)) + f(1/ p(xj)) (1.1)
Vì hai tin là độc lập thống kê nên:
p(xi, xj) = p(xi) + p(xj) (1.2)
Vậy nên:
ThS. Đoàn Hữu Chức 16 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
f(1/ (p(xi).p(xj))) = f(1/ p(xi)) + f(1/ p(xj))
(1.3)
Như vậy, trong trường hợp này hàm f phải có dạng hàm loga.
Vậy hàm log(1/p(xi)) là dạng hàm có thể chọn làm độ đo thông tin.
Ta cần kiểm tra tính không âm của hàm này. Vì ta có 0 ≤ p(xi)≤ 1 nên
1/p(xi)≥ 1 hay log(1/p(xi)) là không âm.
Thêm vào đó khi một tin luôn luôn xuất hiện thì lượng tin
nhận được bằng không, ta sẽ kiểm tra điều kiện này. Khi đó p(x i) =
1, do vậy log(1/p(xi)) = 0.
Vậy hàm log(1/p(xi)) được sử dụng làm độ đo thông tin hay
lượng đo thông tin của một tin của nguồn tin. Lượng đo thông tin
của tin xi của nguồn tin nào đó thường được kí hiệu là I(xi) :
I(xi) = log(1/p(xi)) (1.4)
Trong biểu thức trên cơ số của hàm loga chưa được chỉ ra. Tuỳ
vào cơ số của hàm loga này ta sẽ có các đơn vị đo đ ộ lớn thông tin
xác định. Hiện nay, thường dùng các đơn vị đo sau:
Bit hay đơn vị nhị phân khi cơ số loga là 2;
Nat hay đơn vị tự nhiên khi cơ số loga là e;
Hartley hay đơn vị thập phân khi cơ số loga là 10.
Ví dụ 1. Nguồn A có m kí hiệu đẳng xác suất, một tin do
nguồn A hình thành là một dãy n kí hiệu a i bất kỳ (ai ∈A). Chúng ta
sẽ xác định lượng tin chứa trong một tin như vậy. Trước hết hãy
tìm lượng tin chứa trong một tin ai. Do đẳng xác suất nên mỗi tin ai
đều có xác suất là 1/m, do đó:
I(ai) = logm
Lượng tin chứa trong một dãy x gồm n kí hiệu bằng n lần
lượng tin của một kí hiệu (vì chúng đẳng xác suất):
I(x) = nlogm
Đơn vị lượng tin tuỳ thuộc cách ta chọn cơ số của log, là bit,
nat, hay Hartley nếu có số lần lượt là 2, e hay 10. Rõ ràng khi m kí
ThS. Đoàn Hữu Chức 17 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
hiệu của nguồn có những xác suất khác nhau và không độc lập
thống kê với nhau thì lượng tin riêng từng kí hiệu phụ thuộc vào xác
suất xuất hiện p(ai) của nó:
I(ai) = log 1/p(ai)
Và lượng tin chứa trong một dãy kí hiệu của nguồn không
những phụ thuộc vào xác suất xuất hiện từng kí hiệu mà còn phụ
thuộc vào xác suất có điều kiện. Khái niệm này sẽ được đề cập
đến một cách chi tiết ở các chương sau.
Ví dụ 2:
Hãy xác định lượng tin riêng chứa trong một ô nhớ của bộ nhớ
bán dẫn.
Giải:
Một ô nhớ như đã biết có thể chứa các tin là 0 hay 1. Nguồn
tin là nguồn tin nhị phân N=2.
Ta đặt như sau: tin a1 tương ứng với 0 và a2 tương ứng với 1.
Vì đẳng xác suất nên P(a1)=P(a2). Và ta có cũng có:
P(a1) + P(a2) = 1.
Hay P(a1) = P(a2) =1/2
Vậy: I(a1) = I(a2) = log22 = 1 (bit)
Vậy một ô nhớ có lượng tin là 1 bit nếu tính theo cơ số 2.
Ví dụ 3:
Cho một nguồn tin có 8 tin với phân bố xác suất như sau:
Tin ai a1 a2 a3 a4 a5 a6 a7 a8
Xác suất 1/4 1/4 1/8 x 1/16 1/16 1/16 1/16
P(ai)
Hãy xác định lượng tin riêng của a4.
Giải:
Ta có P(a4) =1/8 và I(a4) = log 8 = 3bit.
ThS. Đoàn Hữu Chức 18 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
Lượng tin chứa trong một dãy kí hiệu của nguồn không những
phụ thuộc vào xác suất xuất hiện từng kí hiệu mà còn phụ thuộc
vào xác suất có điều kiện. Khái niệm này sẽ được đề cập đến một
cách chi tiết ở các chương sau.
1.3.3. Lượng tin trung bình thống kê - Entropy của nguồn
tin
1.3.3.1. Lượng tin trung bình thống kê của nguồn tin
Lượng tin trung bình của một nguồn tin A là lượng tin trung
bình chứa trong một kí hiệu bất kỳ của nguồn tin. Ta thường kí hiệu
là I(A) và được tính bởi:
1
I ( A) = ∑ p(a ) log p(a ) = − ∑ p(a ) log p(a ) = ∑ p(a ) I (a ) (1-5)
ai ∈ A
i
ai ∈A
i i
ai ∈ A
i i
i
Ví dụ 4:
Ta sử dụng lại điều kiện của ví dụ 3. Bây giờ hãy tính lượng
tin riêng của các kí hiệu và trung bình của nguồn tin.
Giải:
Theo biểu thức 1-4 ta có bảng giá trị lượng tin riêng của các tin
như sau:
Lượng tin I(a1 a2 a3 A4 a5 a6 a7 a8
riêng )
2 2 3 3 4 4 4 4
Theo biểu thức (1-5) ta có:
I(A) = 2*2*1/4 +2*3*1/8 +4*4*1/16 = 2,75 bit.
Điều này cho ta thấy rằng có thể biểu diễn các tin trong nguồn
tin A bằng chuỗi có chiều dài trung bình là 2,75 bit thay vì dùng 4
bit.
ThS. Đoàn Hữu Chức 19 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
Bây giờ ta xét một sự biến đổi một nguồn X thành nguồn Y
thông qua sự truyền lan trong một kênh truyền. Qua bất kỳ một kênh
truyền nào cũng đều có nhiễu do vậy sự truyền lan X qua kênh
thành Y không phải là một - một. Ta sẽ đi tìm khả năng x i nào có
khả năng lớn nhất chuyển thành yj trong quá tình truyền tin.
Từ đây ta có khái niệm lượng thông tin tương hỗ, lượng tin
còn lại của xi sau khi đã nhận yj (lượng tin điều kiện).
Lượng tin còn lại của xi sau khi nhận được là y j xác định nhờ
xác suất hậu nghiệm:
1
I ( xi / y j ) = log = − log p ( xi / y j ) (1-6)
p ( xi / y j )
Lượng tin tương hỗ là hiệu lượng tin riêng và lượng tin còn
lại của xi sau khi đã nhân được yj (lượng tin điều kiện). Do vậy ta
có:
p ( xi / y j )
I ( xi , y j ) = I ( xi ) − I ( xi / y j ) = log (1-7)
p ( xi )
Mặt khác ta có:
p ( xi ) = ∑ p ( y j ) p ( x i / y j )
j
Do vậy kết quả ta có:
p( xi / y j )
I ( xi , y j ) = I ( xi ) − I ( xi / y j ) = log
∑ p( y j ) p ( xi / y j ) (1-8)
j
Tính chất của lượng tin:
1. Lượng tin riêng bao giờ cũng lớn hơn lượng tin về nó chứa
trong bất kỳ một ký hiệu nào có liên hệ thống kê với nó. Nghĩa là:
I(xi)>=I(xi,yj)
2. Lượng tin riêng là một đại lượng không âm: I(x i)>=0 nhưng
I(xi,yj) có thể âm có thể dương.
3. Nếu X và Y độc lập thì lượng tin của cặp xiyj là:
I ( xi y j ) = I ( x i ) + I ( y j )
Một cách tổng quát ta có:
ThS. Đoàn Hữu Chức 20 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
I ( x i y j ) = I ( xi ) + I ( y j ) − I ( x i , y j )
1.3.3.2 Entropy của nguồn
Như trên đã trình bày, lượng tin trung bình là lượng tin trung
bình chứa trong một kí hiệu bất kỳ của một nguồn tin đã cho. Khi ta
nhận được tin đồng thời nhận được một lượng tin trung bình nghĩa
là độ bất ngờ về tin đó cũng được giải thoát. Vì vậy độ bất ngờ và
lượng tin có ý nghĩa vật lý trái ngược nhau nhưng về số đo lại
giống nhau.
Ở đây ta chỉ xét nguồn rời rạc.
Độ bất ngờ của tin xi trong nguồn X được xác định bởi:
1
H ( xi ) = log = − log p ( xi ) (1-9)
p ( xi )
Khi đó độ bất ngờ trung bình của một nguồn tin tính bởi:
1
H (X ) = ∑ p( x ) log p( x ) = − ∑ p( x ) log p( x ) = ∑ p( x ) H ( x )
xi ∈ X
i
xi ∈X
i i
xi ∈X
i i (1-10)
i
Từ các biểu thức trên ta thấy về số đo H(X)=I(X).
H(X) được gọi là Entropy của nguồn, là một thông số thống kê
cơ bản của nguồn tin.
Tính chất của H(X) ( cũng là của I(X))
1. H(X)>=0. Nếu p(xi)=1 thì ta có H(X)=0
2. H(X) lớn nhất nếu xác suất xuất hiện của các kí hiệu của
nguồn bằng nhau. Lúc đó độ bất định của một tin bất kỳ
trong nguồn là lớn nhất. Tức là:
H(X)max≤ logN. Với nguồn có N tin.
Ta có thể chứng minh điều này như sau:
Nếu có N tin các xác suất xuất hiện bằng nhau thì H(X) =
logN.
Xét:
ThS. Đoàn Hữu Chức 21 Bộ môn Kỹ thuật Điện tử
- Giáo trình Lý thuyết tín hiệu và truyền tin
N N N N N
1 1 1
H ( X ) − log N = −∑ p i log p i − ∑ p i log N = ∑ pi log ≤ ∑ pi ( − 1) = ∑ − 1 = 0
i =1 i =1 i =1 pi N i =1 pi N i =1 N
Đó là điều phải chứng minh. H(X)
Ví dụ 5:
Cho X={0,1}, p(0) = p, p(1) = 1- 1
p.
Tính H(X) và vẽ đồ thị phụ 0 0,5 1 p
thuộc vào p. Hình 1.5. Sự phụ thuộc của H(X) vào p
Giải:
H(X) = -plogp - (1-p)log(1-p). Ta thấy p=1/2 thì H(X) =1 đạt
giá trị lớn nhất.
3. Nếu hai nguồn X={x 1, ..., xn} và Y={y1, ..., ym} là độc lập thì
với z={x,y} ta có:
H(Z) = H(X) +H(Y)
1.4. Tốc độ lập tin và độ dư của nguồn
Thông số thông kê quan trọng nhất của nguồn tin là Entropy.
Thông số thứ hai chính là tốc độ lập tin. Tốc độ lập tin phụ thuộc
vào tính chất vật lý của nguồn tin.
Tốc độ lập tin R được tính bởi biểu thức sau:
R = n0H(X) (1-11)
Trong đó n0 là số kí hiệu lập được trong một đơn vị thời gian.
Đơn vị của R là bit/s nếu H(X) tính theo bit.
Độ dư của nguồn được định nghĩa là sự chênh lệch giữa H(X)
và H(X)max.
Rs = H(X)max - H(X) (1-12)
Độ dư tương đối của nguồn được định nghĩa như sau:
H ( X ) max − H ( X ) H(X )
rs = = 1− (1-13)
H ( X ) max H ( X ) max
1.5. Tín hiệu, biểu diễn và phân loại
ThS. Đoàn Hữu Chức 22 Bộ môn Kỹ thuật Điện tử
nguon tai.lieu . vn