関西日曜数学友の会でLTした資料です。

1. 1
シャノンの定理
~情報理論と通信~
日曜数学者
Kuma
関西日曜数学 友の会 vol.1
2018年4月21日

2. Agenda
2
1. 自己紹介
2. 情報量を測る！ ～サイコロとエントロピー～
3. 通信路容量～シャノンの定理～
4. “Shaping”
5. 未解決問題(Open problem)
6. まとめ

3. Agenda
3
1. 自己紹介
2. 情報量を測る！ ～サイコロとエントロピー～
3. 通信路容量～シャノンの定理～
4. “Shaping”
5. 未解決問題(Open problem)
6. まとめ

4. 情報量を測る！ ～サイコロとエントロピー～
4
1~4しかないサイコロの出目を考える。
ある目xが出る確率
等確率で1~4の目が出るという”情報源”の
“エントロピーH”なる量を定義する。
4
( )p x 
4
2 2
1
1 1
( )log ( ) 4* *log 2 [ ]
4 4x
H p x p x bit

   
1? 2? 3? 4?
出目には2 bit (=”4”)のあいまいさがある。
“情報源”
(1,2,3,4のいずれかを出してくる)

5. 情報量を測る！ ～サイコロとエントロピー～
5
1~4しかないイカサマサイコロの出目を考える。
1が出る確率99%,それ以外の目は等確率(0.33%)
2 2
1 1 99 99
3* *log 1* *log 0.7 [ ]
300 300 100 100
H bit
 
   
 
1? 2? 3? 4?
出目を見ても”2未満” のあいまいさしかない
“情報源”
(1,2,3,4のいずれかを出してくる)

6. 情報源のエントロピーの気持ち
6
2( )log ( )H p x p x
エントロピーHはあいまいさの大きさ
どの事象が起こるか予測不能な情報源ほど大きい量
★「一様分布の時は場合の数のこと」 から覚えよう！

7. 情報量を測る！ ～サイコロとエントロピー～
7
出目の偶/奇 y = x (mod 2)について
事前にヒントをくれる人がいるとする.
このとき条件付き確率p(x|y)となる。
1? 2? 3? 4?
“情報源”
(1,2,3,4のいずれかを出してくる)
出目は偶数
じゃ
1 1
(2|0) , (4|0)
2 2
(1|0) 0, (3|0) 0
p p
p p
 
 
Yを知った上（限定した上)でXが何%で起こるか? がp(x|y)

8. 情報量を測る！ ～サイコロとエントロピー～
8
出目の偶/奇についてヒントをくれる人がいるとする
このとき条件付きエントロピーが定義できる
1? 2? 3? 4?
“情報源”
(1,2,3,4のいずれかを出してくる)
出目は偶数
じゃ
1 4
2
0 1
( | ) ( ) ( | )log ( | ) 1[ ]
y x
H X Y p y p x y p x y bit
 
  
出目の偶/奇は事前にわかっているので、
出目の持つあいまいさ(場合の数)が2bit→1bitに半減

9. 条件付きエントロピーの気持ち
9
Yを知ったときのXの条件付きエントロピーH(X|Y)は
“Yを知った後でも、なお残るXのあいまいさ”
・例えばYがわかるとXも完全にわかる場合は
H(X|Y)=0 である。
・逆にYとXが無関係なときはH(X|Y)=H(X)である。
2( | ) ( ) ( | )log ( | )
y x
H X Y p y p x y p x y 

10. Agenda
10
1. 自己紹介
2. 情報量を測る！ ～サイコロとエントロピー～
3. 通信路容量～シャノンの定理～
4. “Shaping”
5. 未解決問題(Open problem)
6. まとめ

11. シャノンの定理の予備知識 ~相互情報量~
11
AWGNチャネル:Addaptive White Gaussian Noise チャネル
送信X 受信Y = X+N
ガウス雑音N
1,2,3,4… 1.1, 2.2 ,2.9 ,4…
Y X
( ; ) ( ) ( | )
X,Y (Mutual Information)
"
MI
I X Y H X H X Y
MI
X

を知った時に のあいまいさが
どれぐらい減ったか？が通信に成功した情報量
間の相互情報量 という
もし について知れるだけ知る努力(*)"をすれば
達成される通信速度は に漸近する。
(*)専門的には事後確率分布p(x|y)の最大化問題(MAP推定)を解く

12. シャノンの定理(1)
12
( )
( ( ))
p x
MI p x
■広義のシャノンの定理
与えられた入力信号の確率分布 で,
(1)符号長が無限に大きい極限で,
(2)指数時間かかる復号を許すならば,
伝送速度は相互情報量 に等しくできる。
知れるだけ
知る努力をする

13. シャノンの定理(1)
13
( )
( ( ))
p x
MI p x
■広義のシャノンの定理
与えられた入力信号の確率分布 で,
(1)符号長が無限に大きい極限で,
(2)指数時間かかる復号を許すならば,
伝送速度は相互情報量 に等しくできる。
p(x) MIを変数とみたときの の最大値が
「絶対に突破できない通信速度の上限」
知れるだけ
知る努力をする

14. シャノンの定理(2)
14
2
2 2( )
max ( ; ) log 1 , ( )X
p x
N
I X Y p x


 
  
 
このとき はガウス分布
【“いわゆる”シャノンの定理】
“シャノンリミット”
Ref. Demonstration of a variable data-rate free-space optical communication architecture using efficient coherent techniques
ギャップが存在
∵p(x)がガウスじゃない
“Shaping”は[0/1]のランダム分布をガウス分布に変換する技

15. Agenda
15
1. 自己紹介
2. 情報量を測る！ ～サイコロとエントロピー～
3. 通信路容量～シャノンの定理～
4. “Shaping”
5. 未解決問題(Open problem)
6. まとめ
シャノンによれば自明なので
つまらなかった。ので飛ばす。

16. 未解決問題(Open problem)
16
( )
( ( ))
p x
MI p x
■広義のシャノンの定理
与えられた入力信号の確率分布 で,
(1)符号長が無限に大きい極限で,
(2)指数時間かかる復号を許すならば,
伝送速度は相互情報量 に等しくできる。
相互情報量に到達する通信は既に実現できたのか？
知れるだけ
知る努力をする

17. 未解決問題(Open problem)
17
( )
( ( ))
p x
MI p x
■広義のシャノンの定理
与えられた入力信号の確率分布 で,
(1)符号長が無限に大きい極限で,
(2)指数時間かかる復号を許すならば,
伝送速度は相互情報量 に等しくできる。
相互情報量に到達する通信は既に実現できたのか？
→未だ実現できていない

18. 未解決問題(Open problem)
18
1. 有限の符号長では？
2. 多項式時間(特に”N”)の復号では？
3. AWGN以外の通信路では？
( )
( ( ))
p x
MI p x
■広義のシャノンの定理
与えられた入力信号の確率分布 で,
(1)符号長が無限に大きい極限で,
(2)指数時間かかる復号を許すならば,
伝送速度は相互情報量 に等しくできる。

19. 符号を探す旅の歴史
19
符号の名称 復号速度 符号長N 原理 性能
リードソロモン ◎ 102 原始多項式
と剰余
（代数的)
△
LDPC ○
(N*iteration)
104 確率伝搬
(MAP)
◎
(経験則)
Turbo ○
(N*iteration)
103 (?) 確率伝搬
(MAP)
◎
(経験則)
Polar ◎ (NlogN)
最適化が至難
103 逐次除去
(MAP)
◎
(proved)
・特にPolar符号は
計算量”N*logN”で,少なくとも符号長が無限大ならば
通信速度が(G)-MIに到達できることが理論的に
証明された唯一の符号である。
年代

20. まとめ
20
“Shaping”技術は2.により自明である.
真の探求は『符号を探す旅(3.)』だ!!
1. 非現実的な仮定では、通信速度は相互情報
量(MI)を達成できる
2. 入力信号の確率分布p(x)を最適化した時の
MIがいわゆる”シャノンリミット”である
3. 現実的な仮定の下で通信速度を相互情報
量に一致させられる符号(と復号)は何だ??

21. 名言紹介
21
『全ての符号は上限を達成できる。
ただし我々が発見したような符号は除く。』
上限を達成する符号は、既に分かっている。
→ランダム符号化 (by Shannon)
しかし写像の構成が“ランダムである”がゆえに
効率の良い復号規則（逆写像）が構成できない。
総当たりで送信符号語を特定→指数時間かかってしまう。
例えばリードソロモン符号は原始多項式を巧みに
使っており、剰余を計算すれば誤り及び逆像が分かる。
(シンドローム復号)

22. 専門的な議論
22

23. BICM (Bit Interleaved Coded Modulation)
23
最も実用的なシステム; WiMax, LTE , 衛星 etc
ベイズ推定の考えにより、受信信号（実数)
を用いてbitの事後確率分布(AP)を推定。
APが最大となる符号語を送信符号語と判断。いわゆるMAP
課題:1つの符号化器で全bit level を符号化するので
各bit level の確率は独立ではなくなる。(相関を持つ)
これを各bitが独立と近似して復号するので、
復号時に情報量が落ちる。→上限はGMI (≦MI)

24. Shaping
24
“Shaping”は[0/1]のランダム分布をガウス分布に変換する技
1V
3V
-3V
-1V
時間
電圧V 4値振幅変調(4-AM)
binary アナログ
00 -3
01 -1
10 +1
11 +3
10 11 10 00
送信したいbit列
コードブック
(写像)
電圧
生起確率
一様分布になる
-3 -1 +3 +1

25. Shaping
25
“Shaping”は[0/1]のランダム分布をガウス分布に変換する技
1V
3V
-3V
-1V
時間
電圧V 4値振幅変調(4-AM)
10 11 10 00
送信したいbit列(nH桁)
[-3,-1,1,3]n
[-3 -1 -1 1 1 3, ….]
[-1 3 1 3 -1 -3, ….]
ガウス分布に従う系列
一様分布に従う系列
ガウス分布に従うパターンだけを使えば良い。
そのようなパターンは、Hをガウス分布の
エントロピーとしておよそ2nH個存在する。
全単射
電圧
生起確率
ガウス分布になる
-3 -1 +3 +1

26. Shaping
26
“Shaping”は[0/1]のランダム分布をガウス分布に変換する技
1V
3V
-3V
-1V
時間
電圧V 4値振幅変調(4-AM)
10 11 10 00
送信したいbit列(nH桁)
[-3,-1,1,3]n
[-3 -1 -1 1 1 3, ….]
[-1 3 1 3 -1 -3, ….]
ガウス分布に従う系列
一様分布に従う系列
ガウス分布に従うパターンだけを使えば良い。
そのようなパターンは、Hをガウス分布の
エントロピーとしておよそ2nH個存在する。
全単射
電圧
生起確率
ガウス分布になる
-3 -1 +3 +1
パターンの長さnが十分大きければ(n>104)、滑らかなガウス分布を模擬。
しかしパターンが長いと、非現実的な計算量になる;
①全単射による行き先リストだけでメモリ圧迫(210000行ぐらいある)
②行き先指示が大変（コードブックを全部見る必要あり）
一応、この改善検討は研究要素と言える。
（実は算術符号化という技の逆をやればなんとかなることが知られている。）

27. 通信における残された課題(私見)
27
①符号理論においては、通信チャネルの性質が既知と仮定され
ている。
→実際にはチャネルは必ず未知。推定することは可能だが、推定
誤差は絶対に０にはならない。
→符号とチャネル推定で情報交換する原理（ターボ等化）が必須。
②光通信はAWGNでもRayleighでもない特殊なチャネル。
ここでうまく動く（MIへ行ける）符号とはなにか？