[이해하기 쉬운 의사 소통] Shannon의 정보 이론 : 채널 용량 및 일반 세트

저자 : Venceslas
링크 : https : //www.zhihu.com/question/67066372/answer/251430955
출처 : 거의
저작권이 저자 에게 있음을 알고 있습니다. 상업적 재판의 경우 저자에게 연락하여 승인을 받으십시오. 비상업적 재판의 경우 출처를 표시하십시오.

엄격한 증명을 위해 Tomas M. Cover의 Elements of Information Theory에서 Channel Coding theorem의 7.7.1 증명을 참조하십시오.

설명을 위해 먼저 일반적인 세트의 개념을 소개합니다. 일반적인 세트는 iid 시퀀스 X ^ n에 대해 다음 확률 관계가 충족된다는 것입니다.

시퀀스 모음입니다. 위의 공식에서 \ epsilon이 0이 될 때 확률은 같은 경향이 있음을 알 수 있습니다. 그리고 큰 수의 정리에서 우리는 어떤 수열이든 선택할 수 있으며, 전형적인 집합에서 수열을 얻을 확률은 다음과 같습니다.

즉, 우리는 가능한 모든 시퀀스에서 시퀀스를 가져오고 항상 1의 확률로 일반적인 농도로 시퀀스를 가져옵니다. 그리고 일반적인 세트의 시퀀스 수는 $2 ^ {nH (X)}$ .

아래에서는 채널 용량이 상호 정보의 양으로 표현 될 수있는 이유를 설명합니다. 개별 메모리가없는 채널의 경우 전송 시퀀스는 $X ^ n$ iid X ~ P (X)에 따라이며, 일반적인 세트의 시퀀스 만 고려합니다 (시퀀스가 임의적이기 때문에 일반적인 세트에서 시퀀스를 가져올 확률은 1이됩니다). 즉 , 전송 시퀀스 집합입니다 $2 ^ {nH (X)}$ . 크기는 입니다. 마찬가지로 수신단에서는 송신 시퀀스에 따라 수신 시퀀스를 생성하고 조건부 분포 P (Y | X)를 따르며이 분포에 해당하는 일반적인 설정 크기는 $2 ^ {nH (Y | X)}$ . 그리고 분포 만을 기준으로 $예 ^ n$ 한 일반적인 세트 크기는 $2 ^ {nH (Y)}$ 입니다. 수신 시퀀스를 기반으로 전송 시퀀스를 복구 할 수 있으려면 두 전송 시퀀스가 동일한 출력 시퀀스를 생성 할 수 없어야합니다. 그렇지 않으면 수신 시퀀스에서 전송 시퀀스를 복구 할 수 없습니다. 즉, 두 개의 전송 시퀀스에 해당하는 수신 시퀀스 세트는 겹칠 수 없으므로 최대 $2 ^ {nH (Y)} / 2 ^ {nH (Y | X)} = 2 ^ {nI (X, Y)}$ 하나의 시퀀스가 채널을 통과 하도록 허용 할 수 있습니다 . 이것은 채널 용량을 나타 내기 위해 상호 정보의 양을 사용할 수있는 이유를 간략하게 설명합니다.

참고 : $2 nI (X, Y)}$ 송신 종료 시퀀스, 송신 종단 수신 터미널 $2 ^ {nH (Y | X)}$ 시퀀스에 해당하는 각 시퀀스는 아래와 같이 많았습니다. 무소음 채널 $H (Y | X) = 0$ 의 $나 (X, Y) = H (Y)$ 경우 송신단

Cover의 정보 이론의 기초는 내가 말한 것보다 훨씬 더 명확하며, 핵심은 전형적인 세트의 개념을 이해하고 수용하는 것입니다. 위의 설명이 명확하지 않은 경우 AWGN 채널 (필인 모델, 영어 버전 p324-325)에서 채널 용량에 대한 설명을 볼 수 있습니다. 이는 매우 직관적입니다.

[이해하기 쉬운 의사 소통] Shannon의 정보 이론 : 채널 용량 및 일반 세트

추천