Xem mẫu
Bài giảng 3. Entropy, entropy tương đối và thông tin tương hỗ
Giảng viên: Nguyễn Phương Thái
Bộ môn Khoa học Máy tính
Trang web cá nhân: http://coltech.vnu.edu.vn/~thainp/
Trợ giảng: Nguyễn Kim Anh
Nội dung bài giảng
- Entropy
- Entropy hợp và entropy điều kiện
- Entropy tương đối và thông tin tương hỗ
- Các qui tắc nhân cho entropy, entropy tương đối, và thông tin tương hỗ - Bất đẳng thức Jensen và hệ quả
- Bất đẳng thức tổng log và ứng dụng - Bất đẳng thức xử lý dữ liệu
- Thống kê đủ
- Bất đẳng thức Fano
Entropy
Entropy là độ đo mức độ không chắc chắn của biến ngẫu nhiên (bnn).
Giả sử X là một bnn rời rạc với bảng chữ cái và hàm pmf
( ) = { = }, ∈
( ) = − ( ) ( ) = ( )
∈
Chú ý :
- Ta cũng có thể viết H(p) để thể hiện đại lượng trên. Log tính theo cơ số 2 và entropy được tính theo bit. Ta cũng qui ước rằng 0log0=0 để tiện cho việc tính toán.
- Ta có : ( ) = ( )
Ví dụ
Giả sử : = 0 ớ á ấ 1 −
Khi đó: ( ) = ( ) = − − (1 − )log (1 − )
Hình 1. Quan hệ giữa p và H(p)
Entropy hợp và entropy điều kiện
Entropy hợp của một cặp bnn rời rạc (X, Y) với phân phối hợp p(x, y) là:
( , ) = − ( , ) ( , )
∈ ∈
Hay
( , ) = − ( , ) Entropy điều kiện:
( | ) = − ( , ) ( | ) = − ( | )
∈ ∈
...
- tailieumienphi.vn
nguon tai.lieu . vn