Bài giảng Lý thuyết thông tin: Chương 3.1 - ThS. Huỳnh Văn Kha

Chương 3: Kênh rời rạc không phụ thuộc thời gian 3.1 Kênh và dung lượng kênh 2 Huỳnh Văn Kha 9/30/2010 Kênh truyền thông • Kênh truyền thông là thiết bị hoạt động trên input để cung cấp output • Thông tin chuyển qua kênh là một dãy các ký tự. Nếu các ký tự này thuộc về một tập hữu hạn thì ta gọi là kênh rời rạc • Trong trường hợp tổng quát, phân phối xác suất của output không những phụ thuộc vào việc input nào được truyền qua kênh, mà còn phụ thuộc vào trạng thái của kênh tại thời điểm input được truyền 3 Huỳnh Văn Kha 9/30/2010 Kênh rời rạc không phụ thuộc thời gian • Nếu phân phối output của kênh không phụ thuộc vào trạng thái của kênh tại thời điểm input được truyền, thì kênh được là không phụ thuộc thời gian. Trong chương này kênh có nghĩa là kênh rời rạc không phụ thuộc thời gian • Có thể đặc trưng kênh rời rạc không phụ thuộc thời gian bằng ma trận các xác suất có điều kiện, gọi là ma trận kênh 4 Huỳnh Văn Kha 9/30/2010 Ma trận kênh • Ký hiệu các ký tự input là: x1, x2, …, xM • Ký hiệu các ký tự output là: y1, y2, …, yL • Đặt aij = p(yj|xi) thì ma trận [aij] được gọi là ma trận kênh • Input là biến ngẫu nhiên nên output cũng vậy • Biết trước các xác suất của input là: p(x1), p(x2), …, p(xM), thì sẽ biết các xác suất của output và các xác suất đồng thời của input và output 5 Huỳnh Văn Kha 9/30/2010 Dung lượng kênh • Với một kênh cho trước, biết input X sẽ tính được H(X), H(Y), H(X,Y), H(X|Y), H(Y|X) • Ta định nghĩa thông tin xử lý bởi kênh là lượng I(X|Y) = H(X) – H(X|Y) • Chú ý: I(X|Y) = I(Y|X) = H(Y) – H(Y|X) = H(X) + H(Y) – H(X,Y) • Thông tin xử lý bởi kênh phụ thuộc vào phân phối xác suất của input. Dung lượng kênh được định nghĩa là: ... - tailieumienphi.vn