4 Info Theory

前回の練習問題 ,[object Object],[object Object],1.000 0.637 0.359 0.278 0.185 0.135 0.066 0.363 A 0.174 B 0.143 C 0.098 D 0.087 E 0.069 F 0.045 G 0.021 H 0 100 110 1010 1011 1110 11110 11111 0.363 ×1+0.174 ×3+...+0.021×5= 2.660 A B C D E F G H 確率 0.363 0.174 0.143 0.098 0.087 0.069 0.045 0.021 0 1

前回の練習問題 ,[object Object],確率の小さな４つの木を併合すれば良い？ ⇒ ４個未満の子を持つ節点が存在するかも ⇒ 確率 0 のダミー通報を入れて考える ? 次数 a の完全木 ... 葉の数は ( a – 1) k + 1 ⇒ 2 個のダミーを加え，通報数を 10 = (4 – 1)3 +1 に 0.363 A 0.174 B 0.143 C 0.098 D 0.087 E 0.069 F 0.045 G 0.021 H a b c da db dc dda ddb 0 * 0 * 0.066 0.320 1.000 a b c d A B C D E F G H 確率 0.363 0.174 0.143 0.098 0.087 0.069 0.045 0.021

本日の講義 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

平均符号長について ,[object Object],[object Object],[object Object],[object Object],ハフマン符号は，どれくらい「良い」符号なのか？ ⇒ 平均符号長の限界定理瞬時復号可能な符号のクラス一意復号可能な符号のクラスハフマン符号

平均符号長の限界定理 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

シャノンの補助定理 ,[object Object],[object Object],[object Object],等号成立は， p 1 = q 1 , ..., p M = q M のとき，かつそのときのみ．

シャノンの補助定理の証明 ,[object Object],（証明終了） y = x – 1 1 O y = log e x

符号長限界定理の証明（前半） ,[object Object],l i = – log 2 q i なので，平均符号長はシャノンの補助定理を用いて，等号成立は， p 1 = q 1 , ..., p M = q M のとき，かつそのときのみ（前半証明終了）

符号長限界定理の証明（後半） ,[object Object],これより 2 – li  2 log pi =p i であり，したがって l 1 , ..., l M はクラフトの不等式を満足し，この符号長を持つ（瞬時に復号可能な）符号を構成可能．この符号の平均符号長は（後半証明終了）

符号長限界定理とハフマン符号 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

ハフマン符号とブロック化 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],A B 10 A C C 1101 A 01 A 0 B 10 A 0 C 11 C 11 A 0 通報 A B 平均符号長確率 0.8 0.2 C 1 0 1 1.0 C 2 1 0 1.0

ブロック符号化の例（１） ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],A B C 確率 0.6 0.3 0.1 符号語 0 10 11 AA AB AC BA BB BC CA CB CC 確率 0.36 0.18 0.06 0.18 0.09 0.03 0.06 0.03 0.01 符号語 0 100 1100 101 1110 11110 1101 111110 111111

ブロック符号化の例（２－１） ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],A B 確率 0.8 0.2 符号語 0 1 AA AB BA BB 確率 0.64 0.16 0.16 0.04 符号語 0 10 110 111

ブロック符号化の例（２－２） ,[object Object],[object Object],[object Object],[object Object],[object Object],ブロック長を大きくすると，一通報あたり平均符号長は小さくなる（効率が良くなる） AAA AAB ABA ABB BAA BAB BBA BBB 確率 0.512 0.128 0.128 0.032 0.128 0.032 0.032 0.008 符号語 0 100 101 11100 110 11101 11110 11111 ブロック長 1 2 3 : 一通報あたり平均符号長 1.0 0.78 0.728 :

ブロック符号の平均符号長 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

シャノンの情報源符号化定理 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

情報源符号化定理の意味するところ ,[object Object],[object Object],[object Object],[object Object],ブロック長 1 2 3 : : 一通報あたり平均符号長 1.0 0.78 0.728 : : 0.723 +  H ( S ) = 0.723 A B 確率 0.8 0.2 符号語 0 1

ブロック符号化法の実用性 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

非等長ブロック符号化 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],A B A A B A B A A B A A B A B A

パターンの定義方法について ,[object Object],[object Object],[object Object],[object Object],[object Object],任意の系列を， {AAA, AAB, AB, B} にブロック化可能 A B 0.8 0.2 AA AB B 0.64 0.16 0.2 AAA AAB AB B 0.512 0.128 0.16 0.2

非等長ブロック化時の平均符号長 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],パターン AAA AAB AB B 確率 0.512 0.128 0.16 0.2 符号語 0 100 101 11

パターンの定義方法について：ラン長の利用 ,[object Object],[object Object],[object Object],特定記号のランの長さだけ与えられれば，元の系列を復元可能 ⇒ ランの長さを符号化しよう！ A B B A A A A A B A A A B 長さ 1 の A のラン長さ 5 の A のラン長さ 3 の A のラン長さ 0 の A のラン

ラン長の上限 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],上限を３とした場合ラン長 0 1 2 3 4 5 6 7 : 表現方法 0 1 2 3+0 3+1 3+1 3+3+0 3+3+1 :

ランレングスハフマン符号 ,[object Object],[object Object],[object Object],p(A) = 0.9, p(B) = 0.1 のとき ,[object Object],[object Object],[object Object],ラン長 0 1 2 3 以上符号化されるパターン B AB AAB AAA 発生確率 0.1 0.09 0.081 0.729 符号語 10 110 111 0

符号化例 ,[object Object],[object Object],[object Object],[object Object],[object Object],平均符号長 1.661, 一通報あたりの平均符号長 1.661 / 3 = 0.55 通報 A B 確率 0.9 0.1 符号語 0 1 通報 AAA AAB ABA ABB 確率 0.729 0.081 0.081 0.009 符号語 0 100 110 1010 通報 BAA BAB BBA BBB 確率 0.081 0.009 0.009 0.009 符号語 1110 1011 11110 11111

符号化例（続） ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],ラン長 0 1 2 3 確率 0.1 0.09 0.081 0.073 符号語 110 1000 1001 1010 ラン長 4 5 6 7+ 確率 0.066 0.059 0.053 0.478 符号語 1011 1110 1111 0

本日のまとめ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

練習問題 ,[object Object],[object Object],[object Object]

4 Info Theory

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Plus de melvincabatuan

Plus de melvincabatuan (19)

Dernier

Dernier (11)

4 Info Theory