1 Info Theory

情報理論：楫勇一（かじゆういち） ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

講義の概要 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

講義計画 ,[object Object],[object Object],[object Object],火２８１５２２２９６１３２０２７木１１０１７２４１３１５２２２９４月５月

第一部：情報の量を計る ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

情報源と通報 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

情報源の分類 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

標本化と量子化 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

本講義における情報源 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

情報源と確率 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],時刻 5 での， T ， H の発生確率 P X 5 ( T ), P X 5 ( H ) 時刻 1 2 3 4 5 6 7 8 ... 試行１ H T T H T H T H ... 試行２ T T H T H T H H ... 試行３ H H T H T T H T ... :

情報源の分類 ,[object Object],[object Object],[object Object]

記憶のない情報源 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

記憶のない情報源と記憶のある情報源 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

定常情報源 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],時刻 1 2 3 4 5 6 7 8 ... 試行１ H T T H T H T H ... 試行２ T T H T H T H H ... 試行３ H H T H T T H T ... : :

エルゴード的情報源 ,[object Object],[object Object],[object Object],[object Object],: この系列中での T の発生確率この系列中での T の発生確率一致するその他の統計量も ... 時刻 1 2 3 4 5 6 7 8 ... 試行１ H T T H T H T H ... 試行２ T T H T H T H H ... 試行３ H H T H T T H T ...

エルゴード的でない情報源 ,[object Object],[object Object],[object Object],P( H )=0, P( T ) = 0 P( H )=1/2, P( T ) = 1/2 定常ではある ,[object Object],[object Object],エルゴード的でない時刻 1 2 3 4 5 6 7 8 ... 試行１ H H H H H H H H ... 試行２ T T T T T T T T ... 試行３ T T T T T T T T ... 試行４ H H H H H H H H ...

エルゴード性の意味 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

小休止：ここまでのまとめ ,[object Object],定常，記憶なし非定常，記憶なし定常，記憶あり非定常，記憶ありエルゴード的エルゴード的 or エルゴード的でない離散時間アナログ情報源離散時間デジタル情報源連続時間アナログ情報源連続時間デジタル情報源標本化標本化量子化量子化

マルコフ情報源 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

マルコフ情報源の例 ,[object Object],X i –1 = 0 のとき， R = 0... S の出力が 0 なら， X i = 0 ⇒ P Xi | Xi –1 (0 | 0) = q S の出力が 1 なら， X i = 1 ⇒ P Xi | Xi –1 (1 | 0) = 1 – q X i –1 = 1 のとき， R = 1... S の出力が 1 なら， X i = 0 ⇒ P Xi | Xi –1 (0 | 1) = 1 – q S の出力が 0 なら， X i = 1 ⇒ P Xi | Xi –1 (1 | 1) = q この情報源は，１重マルコフ情報源（単純マルコフ情報源） R=0 に R=1 に R=0 に R=1 に S R 1 ビット記憶素子 X i

マルコフ情報源と状態図 ,[object Object],[object Object],[object Object],[object Object],[object Object],少し違う書き方 P(0) = q P(1) = 1– q 0 P(0) = 1– q P(1) = q 1 前ページの情報源の状態図 0 1 1 / 1– q 0 / 1– q 0 / q 1 / q X i / 確率

状態図による情報源定義 ,[object Object],[object Object],[object Object],マルコフ情報源は，状態図により表現される情報源の真の部分クラスである ,[object Object],[object Object],[object Object]

マルコフ情報源の分類 ,[object Object],[object Object],[object Object],[object Object],[object Object],0 1 2 既約でないマルコフ情報源状態 1 からは，状態 0 や 2 に遷移できない

正規マルコフ情報源の例 ,[object Object],[object Object],[object Object],[object Object],時刻 0 に居る確率 1 に居る確率 1 1.0 0.0 2 0.9 0.1 3 0.89 0.11 4 0.889 0.111 ... ... ... これらの確率は，ある値に収束する定常確率分布（ stationary probability distribution ）正規マルコフ情報源なら ... 0 1 0/0.9 1/0.1 0/0.8 1/0.2

定常確率分布の計算法 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],この連立方程式を解いて，  =8/9,  =1/9 0 1 0/0.9 1/0.1 0/0.8 1/0.2

より一般的な場合の計算法 ,[object Object],[object Object],[object Object],[object Object],[object Object],（遷移確率のみ表示）これを解いて w 0 = 40/168, w 1 = 70/168, w 2 = 58/168 0 1 2 0.3 0.3 0.4 0.4 0.6 1.0 ( w 0 w 1 w 2 )=( w 0 w 1 w 2 ) 0.3 0.3 0.4 0.4 0.0 0.6 0.0 1.0 0.0 w 0 + w 1 + w 2 = 1.0

正規マルコフ情報源 ,[object Object],[object Object],定常確率分布は， w 0 = 8/9, w 1 = 1/9 0 の定常確率 P(0) = 0.9 w 0 + 0.8 w 1 = 0.889 1 の定常確率 P(1) = 0.1 w 0 + 0.2 w 1 = 0.111 0 1 0/0.9 1/0.1 0/0.8 1/0.2

本日のまとめ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

練習問題 ,[object Object],[object Object],[object Object],[object Object],[object Object],0 1 2 A/0.4 A/0.5 B/0.6 A/0.8 B/0.5 B/0.2

情報基礎学講座（関研）講座紹介 ,[object Object],[object Object],[object Object],[object Object]

1 Info Theory

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (11)

En vedette

En vedette (11)

Similaire à 1 Info Theory

Similaire à 1 Info Theory (11)

Plus de melvincabatuan

Plus de melvincabatuan (17)

Dernier

Dernier (12)

1 Info Theory