1. 情報学特論#02
2008-04-21
むらた けんた

2. おしながき
• Shannon 情報量と Boltzmann エントロ
ピー
• 情報量の定義
• Shannon エントロピーと Boltzmann
エントロピー
• 可逆計算の物理学
• 計算で必要なエネルギー
2

3. Shannon 情報量と
Boltzmann エントロピー
の続き
3

4. 素朴な
疑 問 4

5. 情報ってな
んだろう？
5

6. 分かる人
ﾉシ
6

7. Wikipedia
7

8. 広義の情報（じょうほう、英 Information）
は、人の判断・意思を左右・決定させるすべて
の事象である。 これは一定の文脈の中で意味を
持つものを広く指す概念であり、言語、貨幣、
法律、環境中の光や音、神経の発火やホルモン
などの生体シグナルを始め、あらゆるものを
「情報」とみなすことができる。たとえば、
<私>の意識にのぼるあらゆるものは、<私>に
とって意味があるものであり、<私>にとっての
「情報」であると言える。
8

9. 広義の情報（じょうほう、英 Information）
は、人の判断・意思を左右・決定させるすべて
の事象である。 これは一定の文脈の中で意味を
持つものを広く指す概念であり、言語、貨幣、
法律、環境中の光や音、神経の発火やホルモン
などの生体シグナルを始め、あらゆるものを
「情報」とみなすことができる。たとえば、
<私>の意識にのぼるあらゆるものは、<私>に
とって意味があるものであり、<私>にとっての
「情報」であると言える。
9

10. 広義の情報（じょうほう、英 Information）
は、人の判断・意思を左右・決定させるすべて
の事象である。 これは一定の文脈の中で意味を
持つものを広く指す概念であり、言語、貨幣、
法律、環境中の光や音、神経の発火やホルモン
などの生体シグナルを始め、あらゆるものを
「情報」とみなすことができる。たとえば、
<私>の意識にのぼるあらゆるものは、<私>に
とって意味があるものであり、<私>にとっての
「情報」であると言える。
10

11. 広義の情報（じょうほう、英 Information）
は、人の判断・意思を左右・決定させるすべて
の事象である。 これは一定の文脈の中で意味を
持つものを広く指す概念であり、言語、貨幣、
法律、環境中の光や音、神経の発火やホルモン
などの生体シグナルを始め、あらゆるものを
「情報」とみなすことができる。たとえば、
<私>の意識にのぼるあらゆるものは、<私>に
とって意味があるものであり、<私>にとっての
「情報」であると言える。
11

12. 広義の情報（じょうほう、英 Information）
は、人の判断・意思を左右・決定させるすべて
の事象である。 これは一定の文脈の中で意味を
持つものを広く指す概念であり、言語、貨幣、
法律、環境中の光や音、神経の発火やホルモン
などの生体シグナルを始め、あらゆるものを
「情報」とみなすことができる。たとえば、
<私>の意識にのぼるあらゆるものは、<私>に
とって意味があるものであり、<私>にとっての
「情報」であると言える。
12

13. <私>にとっての「情報」
13

14. <私>にとっての「情報」
「情報」は，それを受け取る人
によって性質が異なるもの
13

15. 受信者に依存して情報の
性質が変化する
14

16. 受信者に依存して情報の
性質が変化する
• これは当たり前である
14

17. 受信者に依存して情報の
性質が変化する
• これは当たり前である
• このままでは情報についての客観的な
性質や法則を調べることはできない
14

18. 受信者に依存して情報の
性質が変化する
• これは当たり前である
• このままでは情報についての客観的な
性質や法則を調べることはできない
• 情報の「内容」は無視し，情報の
「量」について調べよう！
14

19. 情報の「量」が持つ
3つの性質
15

20. 情報量の性質 (1)
16

21. 情報量の性質 (1)
• 予め分かっている事を教えられたり，
起こる可能性が100%である出来事が
発生したとしても，それらに関する情
報を得たことにはならない
16

22. 情報量の性質 (1)
• 予め分かっている事を教えられたり，
起こる可能性が100%である出来事が
発生したとしても，それらに関する情
報を得たことにはならない
• 既知情報が持つ情報量はゼロ
16

23. 情報量の性質 (2)
17

24. 情報量の性質 (2)
• ある知識を一度に知るのか，それとも
少しずつ複数回に分けて知るのかに
よって，最終的に得られる情報量は変
化しない
17

25. どういうことか?
• 52枚のトランプの山から1枚取りまし
た．何か当ててみてください．
18

26. どういうことか?
• 52枚のトランプの山から1枚取りまし
た．何か当ててみてください．
(1) カードは♥7です．
18

27. どういうことか?
• 52枚のトランプの山から1枚取りまし
た．何か当ててみてください．
(1) カードは♥7です．
(2) 少しずつヒントを出していく．
18

28. どういうことか?
• 52枚のトランプの山から1枚取りまし
た．何か当ててみてください．
(1) カードは♥7です．
(2) 少しずつヒントを出していく．
i. カードは赤です．
18

29. どういうことか?
• 52枚のトランプの山から1枚取りまし
た．何か当ててみてください．
(1) カードは♥7です．
(2) 少しずつヒントを出していく．
i. カードは赤です．
ii. カードは奇数です．
18

30. どういうことか?
• 52枚のトランプの山から1枚取りまし
た．何か当ててみてください．
(1) カードは♥7です．
(2) 少しずつヒントを出していく．
i. カードは赤です．
ii. カードは奇数です．
iii. カードは文字ではありません．
18

31. 無知
19

32. 無知
♥7
19

33. 無知
♥7
赤
19

34. 無知
♥7
赤
赤 奇数
19

35. 無知
♥7
赤 奇数 ¬文字
赤
赤 奇数
19

36. 無知
♥7
赤 奇数 ¬文字
赤
赤 奇数
19

37. 最終的に得られる知識は同じ
無知
♥7
赤 奇数 ¬文字
赤
赤 奇数
19

38. 知識を得る順番にも依存しない
無知 ♥7
20

39. 知識を得る順番にも依存しない
赤
無知 赤 奇数 ♥7
赤 奇数 ¬文字
20

40. 知識を得る順番にも依存しない
無知 ♥7
21

41. 知識を得る順番にも依存しない
奇数 赤
無知 奇数 ♥7
奇数 赤 ¬文字
21

42. 形式的に考える
22

43. 形式的に考える
• 出来事 E が発生したことで得られる情
報の量を I(E) と書くことにする．
22

44. 形式的に考える
• 出来事 E が発生したことで得られる情
報の量を I(E) と書くことにする．
• トランプの例をこの記法で書くと次式
のように表せる
22

45. 形式的に考える
• 出来事 E が発生したことで得られる情
報の量を I(E) と書くことにする．
• トランプの例をこの記法で書くと次式
のように表せる
I(♥7) = I(赤 奇数 ¬文字 …)
= I(赤) + I(奇数) + I(¬文字) + I(…)
22

46. 情報量の性質 (2)
• ある知識を一度に知るのか，それとも少しず
つ複数回に分けて知るのかによって，最終的
に得られる情報量は変化しない
23

47. 情報量の性質 (2)
• ある知識を一度に知るのか，それとも少しず
つ複数回に分けて知るのかによって，最終的
に得られる情報量は変化しない
• 出来事が E = E1 ∩ E2 ∩ … のように高々可算個
の出来事に分解できるとき
23

48. 情報量の性質 (2)
• ある知識を一度に知るのか，それとも少しず
つ複数回に分けて知るのかによって，最終的
に得られる情報量は変化しない
• 出来事が E = E1 ∩ E2 ∩ … のように高々可算個
の出来事に分解できるとき
∞
I(E) = I(Ek )
k=1
23

49. 情報量の加法性
• ある知識を一度に知るのか，それとも少しず
つ複数回に分けて知るのかによって，最終的
に得られる情報量は変化しない
• 出来事が E = E1 ∩ E2 ∩ … のように高々可算個
の出来事に分解できるとき
∞
I(E) = I(Ek )
k=1
23

50. 情報量の性質 (3)
24

51. 情報量の性質 (3)
• 滅多に起こらない出来事 (予測しにくい
出来事) の発生や，具体的な知識の獲得
などに伴って得られる情報量は大きい
24

52. 情報量の性質 (3)
• 滅多に起こらない出来事 (予測しにくい
出来事) の発生や，具体的な知識の獲得
などに伴って得られる情報量は大きい
• 逆に，よくある出来事 (予測しやすい出
来事) の発生や，不確かな知識・曖昧な
知識の獲得などに伴って得られる情報
量は小さい
24

53. トランプの逆襲
25

54. トランプの逆襲
無知
♥7
赤 奇数 ¬文字
赤
赤 奇数
25

55. Venn 図で考える
26

56. Venn 図で考える
トランプ52枚
26

57. Venn 図で考える
赤
トランプ52枚
26

58. Venn 図で考える
赤
トランプ52枚 奇数
26

59. Venn 図で考える
赤 文字以外
トランプ52枚 奇数
26

60. Venn 図で考える
赤 文字以外
♥
トランプ52枚 奇数
26

61. Venn 図で考える
赤 文字以外 7
♥
トランプ52枚 奇数
26

62. Venn 図で考える
赤 文字以外 7
♥ ♥7
トランプ52枚 奇数
26

63. すなわち
27

64. 発生確率が小さい出来
事の情報量は大きい
発生確率が大きい出来
事の情報量は小さい
28

65. 情報量の性質
• 既知の出来事（発生確率が 100%）の発生に
伴う情報量はゼロ
• 情報量の加法性: 出来事が E = E 1 ∩ E2 ∩ … の
ように高々加算個の出来事に分解できるとき
∞
I(E) = I(Ek )
k=1
• 情報量は出来事の発生確率に反比例
29

66. この性質を満
たす数学上の
道具が欲しい
30

67. あるよ！
31

68. 32

69. 出来事 E が確率 P(E) で発生するとき，
E の発生に伴って得られる情報量 I(E) は
32

70. 出来事 E が確率 P(E) で発生するとき，
E の発生に伴って得られる情報量 I(E) は
1
I(E) = logb
P (E)
32

71. 出来事 E が確率 P(E) で発生するとき，
E の発生に伴って得られる情報量 I(E) は
1
I(E) = logb
P (E)
対数の底が b = 2 のとき，I(E) に [shannon]
もしくは [bit] という単位を付ける．これを
Shannon 情報量と呼ぶことがある．
32

72. 例題
箱に赤玉と白玉が1個ずつ入っていま
す．中身を見ずに1個だけ玉を取り出し
たとき，それが赤玉である確率 P赤 と，
そのときに得られる情報量 I赤 を求めな
さい．
33

73. 答
箱の中から取り出した玉は赤か白のどち
1
らかなので P赤 =
2
従って，得られる情報量は
1
I赤 = log2 = − log2 P赤
P赤
1
= − log2 = log2 2
2
= 1 [shannon]
34

74. 情報源
35

75. 情報源
• 情報が出てくる源を情報源という
35

76. 情報源
• 情報が出てくる源を情報源という
• 例: 新聞，TV，PC，人間，…
35

77. 情報源
• 情報が出てくる源を情報源という
• 例: 新聞，TV，PC，人間，…
• 一般に，ひとつの情報源から出てくる
情報は様々であり，それぞれの情報が
異なる大きさの情報量を持っていても
良いはずである
35

78. 情報源が持つ平均情報量
36

79. 情報源が持つ平均情報量
情報源から出る可能性がある情報につい
て，それらの情報量を情報源全体で平均す
ると，情報源から得られる情報量の期待値
がわかる
36

80. 情報源が持つ平均情報量
情報源から出る可能性がある情報につい
て，それらの情報量を情報源全体で平均す
ると，情報源から得られる情報量の期待値
がわかる
Shannon エントロピー
36

81. Shannon エントロピー
37

82. Shannon エントロピー
• 情報源 S が高々可算個の情報 (出来事) E , E ,
1 2
… を持っていて，それぞれの確率が P1, P2, …
であるとする．
37

83. Shannon エントロピー
• 情報源 S が高々可算個の情報 (出来事) E , E ,
1 2
… を持っていて，それぞれの確率が P1, P2, …
であるとする．
• このとき，情報源 S の Shannon エントロ
ピー H(S) は次式で与えられる (単位は情報量
と同じ [shannon] である)．
37

84. Shannon エントロピー
• 情報源 S が高々可算個の情報 (出来事) E , E , 1 2
… を持っていて，それぞれの確率が P1, P2, …
であるとする．
• このとき，情報源 S の Shannon エントロ
ピー H(S) は次式で与えられる (単位は情報量
と同じ [shannon] である)．
∞ ∞
1
H(S) = Pk I(Ek ) = Pk log2
Pk
k=1 k=1
37

85. 例題
• 箱の中に赤玉と白玉が合計 n 個入っていて，
そのうち赤玉は m 個である．
• 箱の中を見ずに玉を一個取り出したときに赤
玉が出る確率 P赤 と，白玉が出る確率 P白 を
求め，それぞれの場合の情報量 I赤 と I白 を求
めよ．
• さらに，箱のエントロピー H 箱 を求めよ．
38

86. 答
m
P赤 =
n
m n−m
P白 = 1 − P赤 = 1 − =
n n
1 n
I赤 = log2 = log2 = log2 n − log2 m [shannon]
P赤 m
1 n
I白 = log2 = log2 = log2 n − log2 (n − m)
P白 n−m
[shannon]
39

87. 答 (つづき)
H箱 = P赤 I赤 + P白 I白
m
= (log2 n − log2 m)
n
n−m
+ (log2 n − log2 (n − m))
n
m
= log2 n − log2 (n − m) − [log2 m − log2 (n − m)]
n
[shannon]
40

88. H箱 は P赤 の関数である
m
H箱 = log2 n − log2 (n − m) − [log2 m − log2 (n − m)]
n
n m m
= log2 − log2
n−m n n−m
1 P赤
= log2 − P赤 log2
P白 P白
1 P赤
= log2 − P赤 log2
1 − P赤 1 − P赤
41

89. 演習問題
• 次の関数 H(P) が P = 1/2 で最大値を示
すことを証明しなさい．
1 P
H(P ) = log2 − P log2
1−P 1−P
※ グラフを描いても証明にはならないので
注意すること
42

90. 突然ですが
43

91. 前回の演習問題
を思い出そう
44

92. 1分子理想気体の等温圧縮
V1 V2
1
ここで V2 = V1
2
圧縮前後での気体のエントロピーと自由エ
ネルギーの変化は
∆S = −kB log 2
∆F = kB T log 2
45

93. しかし…
46

94. しかし…
等温圧縮では気体の内部エネルギーは変化
しないため，1個しか存在ない分子が持つ
運動エネルギーも変化しない…
46

95. しかし…
等温圧縮では気体の内部エネルギーは変化
しないため，1個しか存在ない分子が持つ
運動エネルギーも変化しない…
分子の運動状態が変化しないのにエントロ
ピーと自由エネルギーが変化した理由は，
気体の圧縮によって分子が存在可能な場所
に関する我々の知識が変化したから！
46

96. 情報量との関係
47

97. 情報量との関係
• 気体の体積が半分になると，エントロ
ピーが kB log 2 だけ減少する
• 気体を情報源として見たとき， 気体の
体積が半分になることは，気体から得
られる情報の可能性が半減したことと
同じである
47

98. 得られる情報が半減したときの
Shannon エントロピーの変化
サイコロで考える:
(1) ふつうのサイコロ
(2) (出た目 – 1) / 2 した整数部分をとる場合 (0,
1, 2 しか出ない)
48

99. 得られる情報が半減したときの
Shannon エントロピーの変化
サイコロで考える:
(1) ふつうのサイコロ
1
H1 = 6 × log2 6 = 1 + log2 3 [shannon]
6
(2) (出た目 – 1) / 2 した整数部分をとる場合 (0,
1, 2 しか出ない)
48

100. 得られる情報が半減したときの
Shannon エントロピーの変化
サイコロで考える:
(1) ふつうのサイコロ
1
H1 = 6 × log2 6 = 1 + log2 3 [shannon]
6
(2) (出た目 – 1) / 2 した整数部分をとる場合 (0,
1, 2 しか出ない)
1
H2 = 3 × log2 3 = log2 3 [shannon]
3
48

101. 得られる情報が半減したときの
Shannon エントロピーの変化
サイコロで考える:
(1) ふつうのサイコロ
1
H1 = 6 × log2 6 = 1 + log2 3 [shannon]
6
(2) (出た目 – 1) / 2 した整数部分をとる場合 (0,
1, 2 しか出ない)
1
H2 = 3 × log2 3 = log2 3 [shannon]
3
∆H = H1 − H2 = 1 [shannon]
48

102. Shannon エントロピーと
Boltzmann エントロピー
49

103. Shannon エントロピーと
Boltzmann エントロピー
系の可能な状態数が 1/2 になるとき，系の
Boltzmann エントロピーは kB log 2 [J/K]
だけ減少し，そのとき変化する Shannon
エントロピーは 1 [shannon] である．
49

104. Shannon エントロピーと
Boltzmann エントロピー
系の可能な状態数が 1/2 になるとき，系の
Boltzmann エントロピーは kB log 2 [J/K]
だけ減少し，そのとき変化する Shannon
エントロピーは 1 [shannon] である．
1 [shannon] = kB log 2 [J/K]
49

105. エントロピーが減少？
• 熱力学第2法則
50

106. エントロピーが減少？
• 熱力学第2法則
• 閉鎖系のエントロピーは減少しない
50

107. エントロピーが減少？
• 熱力学第2法則
• 閉鎖系のエントロピーは減少しない
• 気体を等温圧縮したことを観測した人間まで
含めて閉鎖系として考えると，減少した気体
のエントロピーは，観測者のエントロピーを
(知識という形で) 上昇させる
50

108. 可逆計算の物理学
51

109. 計算に必要な最小のエネルギー
52

110. 計算に必要な最小のエネルギー
• 現存するすべての計算機 (CPU) は動作
するために大量の熱を発生させている
52

111. 計算に必要な最小のエネルギー
• 現存するすべての計算機 (CPU) は動作
するために大量の熱を発生させている
• このような無駄な発熱をゼロにできる
と仮定したとき，計算をするためだけ
に本質的に必要なエネルギー量はどの
くらいになるだろう？
52

112. 計算機と物理学
53

113. 計算機と物理学
• コンピュータで行う計算について最も低いレ
ベルで考えるとき，我々は論理回路を扱う
53

114. 計算機と物理学
• コンピュータで行う計算について最も低いレ
ベルで考えるとき，我々は論理回路を扱う
• しかしながら，論理回路で用いる論理ゲート
は物理的に実現された素子の理想化である
53

115. 計算機と物理学
• コンピュータで行う計算について最も低いレ
ベルで考えるとき，我々は論理回路を扱う
• しかしながら，論理回路で用いる論理ゲート
は物理的に実現された素子の理想化である
• 計算機の論理状態には必ず何らかの物理状態
が対応している
53

116. 論理状態と物理状態
54

117. 論理状態と物理状態
• 論理状態と物理状態が対応していると
いうことは…
54

118. 論理状態と物理状態
• 論理状態と物理状態が対応していると
いうことは…
• 可能な論理状態の個数が増減すると
き，同時に対応する物理状態の候補も
増減する
54

119. 状態の増減と消費エネルギー
• 思い出そう！
55

120. 状態の増減と消費エネルギー
• 思い出そう！
• 系の状態が減少するとき，系のエントロ
ピーは減少し，系の自由エネルギーは増
加する
55

121. 状態の増減と消費エネルギー
• 思い出そう！
• 系の状態が減少するとき，系のエントロ
ピーは減少し，系の自由エネルギーは増
加する
• 従って，計算機の論理状態が減少するとき，
計算機のエントロピーは減少し，計算機の自
由エネルギーは増加する
55

122. Landauer の原理 (1)
56

123. Landauer の原理 (1)
• コンピュータが情報量 1 [shannon] を
消去するとする．環境に放出される消
費エネルギーの量は少なくとも
kBT log 2 [J] である．ここで T はコン
ピュータの環境の温度である．
56

124. Landauer の原理 (2)
57

125. Landauer の原理 (2)
• コンピュータが情報 1 [shannon] を消
去するとする．環境のエントロピーは
少なくとも kB log 2 [J/K] だけ増加す
る．
57