Định lý mã hóa kênh nhiễu

1. Định lý mã hóa kênh nhiễu
10.1 Định lý
Định lý có ba phần, hai khẳng định và một phủ định. Đầu tiên là kết quả khẳng định chính .
1.Đối với tất cả các kênh rời rạc ít bộ nhớ, dung lượng kênh
có thuộc tính sau đây. Đối với bất kỳ > 0 và R <C, N đủ lớn, có tồn tại một mã của độ dài N và tỷ lệ
R và thuật toán giải mã, mà xác suất tối đa khối lỗi < .
2.Nếu một xác suất lỗi bit là chấp nhận được, tỷ lệ lên tới R ( ) là có thể đạt được, mà
3. Bất kỳ , tỷ lệ lớn hơn R ( ) không thể đạt được.
Hình 10.1. Một phần của R ( ) mặt phẳng được chứng minh có thể đạt được (1, 2) và
không thể đạt được (3).
10.2 Các chuỗi liên đới điển hình
Chúng tôi chính thức hoá hình xem trước trực quan chương cuối cùng.
Chúng tôi sẽ xác định từ mã từ một tập , và xem xét các lựa chọn ngẫu nhiên của một từ
mã và một kênh đầu ra tương ứng y, do đó xác định một tổ hợp liên kết . Chúng tôi sẽ sử dụng một
bộ giải mã thiết lập điển hình, giải mã tín hiệu nhận được một y như s nếu và y là một kết hợp điển
hình, một giới hạn phải được xác định trong thời gian ngắn.
Các chứng minh sẽ tập trung vào việc xác định các xác suất (a) mà từ mã đầu vào đúng không
phải là kết hợp điển hình với chuỗi đầu ra; và (b) một từ mã đầu vào sai là liên kết điển hình với đầu ra.
Chúng tôi sẽ cho thấy rằng, đối với N lớn, cả hai xác suất đi đến số không miễn là có ít hơn
từ mã, và tập X là phân phối đầu vào tối ưu.

2. Liên đới điển hình
Một cặp các trình tự x, y của độ dài N được xác định là liên kết điển hình (để dung sai β) đối với
phân phối P (x, y) nếu
x là điển hình của P (x), nghĩa là
y là điển hình của P (y), nghĩa là
và x,y là điển hình của P (x, y), nghĩa là
Tập hợp liên đới điển hình là tập hợp của tất cả các cặp chuỗi liên đới điển hình của chiều
dài N.
Ví dụ.Dưới đây là một cặp liên đới điển hình của chiều dài N = 100 tập P (x, y), trong đó P (x) có
(p0, p1) = (0,9, 0,1) và P (y | x) tương ứng với một kênh đối xứng nhị phân với mức nhiễu 0,2.
x
1111111111000000000000000000000000000000000000000000000000000000000000000000000000000
000000000000000
y
0011111111000000000000000000000000000000000000000000000000000000000000000000000000111
111111111111111
Chú ý rằng x có 10 1s, và như vậy là điển hình của xác suất P(x) (bất cứ lúc nào dung sai β) và y
có 26 1s, do đó, nó là điển hình của P (y) (vì P (y = 1) = 0.26); và x và y khác nhau trong 20 bit, đó là số
điển hình đảo lộn của kênh này.
Định lý liên đới điển hình.
Cho x, y được rút ra từ tập được xác định bởi
Sau đó,
1. xác suất mà x, y liên đới điển hình (để dung sai β) dần tới 1 khi N ∞
2. số lượng các chuỗi liên đới điển hình gần tới
Để được chính xác,

3. 3. nếu x’ và y’ nghĩa là, x và y là các mẫu độc lập với cùng một phân
phối biên như P(x, y), sau đó xác suất mà (x’, y’) trong tập liên đới điển hình được khoảng
Để được chính xác,
Chứng minh. Chứng minh phần 1 và 2 dựa vào luật của một số lớn của định lý mã hóa trong
Chương 4. Phần 2, để cho cặp x, y đóng vai trò của x trong định lý mã hóa, thay thế P(x) có phân bố xác
suất P (x, y).
Đối với phần thứ ba,
Một phim hoạt hình của tập liên đới điển hình được hiển thị trong hình 10.2. Hai vectơ độc lập
điển hình là liên đới điển hình với xác suất
vì tổng số các cặp độc lập điển hình là vùng nét đứt của hình chữ nhật, ,và số lượng các
cặp liên đới điển hình là khoảng , do đó, khả năng chạm cặp liên đới điển hình là khoảng

4. Hình 10.2.Tập hợp liên đới điển hình.Theo hướng nằm ngang đại diện cho một tập hợp của tất cả
chuỗi đầu vào dài N. Hướng QQ thẳng đứng đại diện cho các tập của tất cả các chuỗi đầu ra dài N
hộp bên ngoài có chứa tất cả các cặp đầu vào-đầu ra thể hình dung được. Mỗi chấm đại diện một cặp liên
đới điển hình của chuỗi (x, y). Tổng số chuỗi liên đới điển hình là khoảng .
10.3 Proof of the noisy-channel coding theorem
Phép loại suy
Hãy tưởng tượng rằng chúng ta muốn chứng minh rằng có một em bé trong một lớp học của 100 trẻ sơ
sinh nặng dưới 10 kg. Trẻ sơ em khó bắt và cân. Phương pháp của Shannon giải quyết nhiệm vụ là lấy
tất cả các trẻ sơ sinh và cân chúng cùng một lúc trên một máy có trọng lượng lớn. Nếu chúng ta thấy rằng
trọng lượng trung bình của chúng là nhỏ hơn 10 kg, có phải tồn tại ít nhất một em bé nặng dưới 10 kg,
thực ra phải có nhiều! Phương pháp Shannon không được bảo đảm để biết sự tồn tại của một đứa trẻ
thiếu cân, vì nó còn có được một số lượng rất nhỏ của những đứa trẻ lớn trong lớp. Phương pháp
Shannon không được bảo đảm để cho thấy lộ sự tồn tại của một đứa trẻ thiếu cân, vì nó dựa vào có được
một số lượng nhỏ của những đứa trẻ to lơn trong lớp Nhưng nếu chúng ta sử dụng phương pháp này và
nhận được tổng trọng lượng nhỏ hơn 1000 kg thì nhiệm vụ của chúng ta được giải quyết.

5. Hình 10.3. Phương pháp của Shannon để chứng minh một em bé nặng dưới 10 kg.
Từ trẻ em gầy tới mã nổi tiếng
Chúng tôi muốn chứng minh rằng có tồn tại một mã và một bộ giải mã có xác suất nhỏ
của lỗi. Đánh giá xác suất lỗi của bất kỳ hệ thống mã hóa và giải mã đặc biệt không phải là dễ
dàng.phát minh của Shannon : thay vì xây dựng một hệ thống mã hóa và giải mã tốt và đánh
giá xác suất lỗi của nó, Shannon tính toán xác suất trung bình của khối lỗi của tất cả các mã, và
đã chứng minh rằng trung bình này là nhỏ. Sau đó phải tồn tại mã riêng lẻ có xác suất nhỏ của
khối lỗi.
Mã hóa ngẫu nhiên và thiết lập điển hình giải mã
Hãy xem xét hệ thống mã hóa-giải mã sau đây, có tỷ lệ là R’.
1.Chúng ta chọn P(x) và tạo ra S = từ mã (N, NR’) = (N, K) mã C một cách ngẫu nhiên
theo
Một mã ngẫu nhiên được hiển thị dạng biểu đồ trong hình 10.4a.
2.Các mã được biết đến cả người gửi và người nhận.
3.Một thông điệp được chọn từ { 1, 2, . . . , } và được truyền đi. Tín hiệu nhận được là
y, với
4.Các tín hiệu được giải mã bởi tập- điển hình giải mã.

6. Hình 10.4.(a) Một mã ngẫu nhiên (b) Ví dụ giải mã bởi bộ giải mã tập điển hình. Một dãy
đó không phải là liên đới đới điển hình với bất kỳ từ mã, chẳng hạn như , được giải mã như
= 0. Một dãy liên đới đới điển hình với từ mã x lẻ, , được giải mã như = 3. Tương tự như
vậy, được giải mã là = 4. Một dãy liên đới đới điển hình với nhiều hơn một từ mã, chẳng
hạn như , được giải mã như = 0.
Bộ giải mã điển hình. Giải mã y như ( ,y) liên đới điển hình và không có s’ khác mà ( ,y)
liên đới điển hình; nếu không khai báo một thất bại ( =0).
Đây không phải là thuật toán giải mã tối ưu, nhưng nó sẽ đủ tốt,và dễ dàng hơn để phân tích.
Các bộ giải mã điển hình được minh họa trong hình 10.4b.
5.Một lỗi giải mã xảy ra nếu s.
Có ba xác suất của lỗi mà chúng ta có thể phân biệt. Đầu tiên, đó là xác suất khối lỗi cho một mã
cụ thể C, có nghĩa là,
Đây là một về số khó khăn để đánh giá cho bất kỳ mã nào.
Thứ hai, trung bình trên tất cả các mã này xác suất khối lỗi,
May mắn thay, số lượng này là dễ dàng hơn nhiều để đánh giá hơn so với số lượng đầu tiên P( s C ).

7. Thứ ba, xác suất khối lỗi tối đa một mã C
là số lượng chúng tôi quan tâm nhất: chúng tôi muốn thể hiện rằng có tồn tại một mã C với tỷ lệ yêu cầu
có xác suất khối lỗi tối đa là nhỏ.
Chúng tôi sẽ có được kết quả này bằng cách tìm kiếm xác suất khối lỗi trung bình, . Một khi
chúng ta đã chỉ ra rằng điều này có thể được làm cho nhỏ hơn một số bé tùy ý, chúng ta suy luận ngay
lập tức rằng phải tồn tại ít nhất một mã C mà xác suất khối lỗi cũng ít hơn số nhỏ này. Cuối cùng, chúng
tôi cho thấy mã này, có xác suất khối lỗi là đủ nhỏ nhưng có xác suất khối lỗi tối đa không biết (và có thể
hình dung là rất lớn), có thể được sửa đổi để làm cho một mã có tỷ lệ nhỏ hơn một chút có xác suất khối
lỗi tối đa cũng đủ nhỏ. Chúng tôi thay đổi mã bằng cách ném đi 50% phần tồi tệ nhất của từ mã của nó
Do đó, bây giờ chúng tôi sẽ bắt tay vào việc tìm kiếm xác suất trung bình của khối lỗi.
Xác suất lỗi bộ giải mã điển hình thiết lập
Có hai nguồn lỗi khi chúng ta sử dụng bộ giải mã thiết lập điển hình. Hoặc (a) dữ liệu đầu ra y
không phải cùng liên đới điển hình với các từ mã được truyền x (s), hoặc (b) có một số từ mã khác trong C
mà phải liên đới điển hình với y.
Bởi tính đối xứng của việc xây dựng mã, xác suất trung bình của lỗi tính trung bình trên
tất cả các mã không phụ thuộc vào giá trị được chọn của s; chúng ta có thể giả định mà không
mất tính tổng quát s = 1
(a) Xác suất đầu vào và đầu ra y không liên đới điển hình biến mất, bởi typicality
doanh
đị nh lý của phần đầu tiên (p.163). Chúng tôi đưa ra một cái tên, δ, trên ràng buộc
về xác suất này, thỏa mãn δ 0 khi N ; với mọi δ, chúng ta có thể tìm thấy một
độ dài khối N (δ) sao cho P (( , y) ) δ
(b) Xác suất và y liên đới điển hình, cho một 1 là do phần 3.
Và có ( ) giá trị đối lập của phải suy nghĩ.
Do đó, xác suất trung bình của lỗi thỏa mãn
bất đẳng thức (10,16) có giới hạn một tổng xác suất lỗi bởi tổng của các xác suất của
tất cả các loại của mỗi biến cố trong đó là đủ để gây ra lỗi,
+ ……
được gọi là một hợp ràng buộc. Nó chỉ là một đẳng thức nếu những biến cố khác nhau gây ra
lỗi không bao giờ xảy ra tại cùng một thời gian như nhau.

8. Xác suất trung bình của lỗi (10,17) có thể được thực hiện <2δ bằng cách tăng N nếu
Chúng ta là hầu hết những điều đó. Chúng ta tạo ba thay đổi:
1. Chúng tôi chọn P (x) trong chứng minh được phân phối đầu vào tối ưu của kênh. Với điều kiện <I(X;Y
) - 3β trở thành < C- 3β.
Hình 10,5.Làm thế nào t hoạt động.
(a) Trong một mã ngẫu nhiên điển hình,một phần nhỏ của các từ mã có liên quan đến những va chạm-
các cặp từ mã đủ gần với nhau mà xác suất của lỗi khi một trong hai từ mã được truyền không phải là
nhỏ.
(b) Mã kết quả có từ mã ít hơn một chút,do đó, có một tỷ lệ hơi thấp hơn, và xác suất tối đa lỗi của nó sẽ
giảm đáng kể.
2.Kể từ khi xác suất trung bình của lỗi trên tất cả các mã là <2δ,thì phải tồn tại một mã với xác suất trung
bình của khối lỗi Pb (C) <2δ.
3.Để cho thấy rằng không chỉ mức trung bình mà còn có xác suất tối đa của lỗi, PBM, có thể được làm
nhỏ, chúng ta sửa đổi mã này bằng cách ném đi nửa tồi tệ nhất của từ mã - những cái có nhiều khả năng
để tạo ra những lỗi.Những cái còn lại đều phải có xác suất có điều kiện của lỗi ít hơn 4δ. Chúng tôi sử
dụng các từ mã còn lại để xác đị nh một mã mới. Đây là mã mới có từ mã, nghĩa là, chúng tôi đã
giảm tỷ lệ từ tới -1 / N (giảm không đáng kể, nếu N lớn), và đạt được <4δ. Thủ thuật này được
gọi là t (hình 10,5). Mã kết quả có thể không được mã tốt nhất của tỷ lệ và chiều dài của nó,
nhưng nó vẫn còn tốt, đủ để chứng minh đị nh lý mã hóa kênh nhiễu, đó là những gì chúng tôi đang cố
gắng để làm ở đây.
Để kết luận, chúng ta có thể 'xây dựng' một mã của tỷ lệ - 1/ N, -3β với xác suất tối
đa của lỗi <4δ.Chúng tôi có được những đị nh lý như đã nêu bằng cách thiết lập = (R + C) / 2, δ = /
4, β <(C- ) / 3 và N đủ lớn cho các điều kiện còn lại đã đạt được. Vì vậy, phần đầu tiên của đị nh lý được
chứng minh.