Tokyowebmining #49 Matirx and nonparametric bayes
- 5. 行列の直感理解(=写像)
• 行列とは、空間の変形である(=写像・変換)
• 「変形」=回転と伸ばしと次元変更
• 標準基底(軸方向単位ベクトル)の動きで理解する。
5/20
-1
-0.5
0
0.5
1
-1 -0.5 0 0.5 1
1
0
-1
-1 0 1
行列A=
1 -0.3
-0.7 0.6
ポイント
・原点は原点のまま
・e1=(1,0)Tは(1,-0.7) Tへ
・e2=(0,1)TはTへ
(例1)
上記は2×2の行列(2次元から2次元への写像)だが、
m×n行列はn次空間をm次空間に移す。
(1,-0.7) T
(-0.3,0.6) T
e1
e2
行列Aを掛けることで、空間を「回転」させたり「つぶし」たり「ぺっちゃん
こ」にしたり。
Ae2
Ae1
e1の変形先 e2の変形先
- 6. 行列の直感理解(=写像)
• 行列とは、空間の変形である(=写像・変換)
• 「変形」=回転と伸ばしと次元変更
• 変形の極端な例としてつぶれることもある
6/20
B= C=
0 -1
1 0は上下をつぶす行列。 は反時計回りに90度回す行列。
(例3)
・移った先の像(Im○)の次元数をランクという。例2でImBのランクは1。
・移った先のランクが変わらないのは正則行列(逆行列が存在)。減るのは特異行列。
・正方行列でも、ぺちゃんこにする行列もある(例2) 。
→ランクは「手がかりの実質的な個数」ともいえる。
D=
0.8 -0.6
0.4 -0.3
BやDのように次元が減ってしまう(移り先を知っても元が特定
できない)=逆行列が存在しない
1 0
0 0
(例2)
(例4)
はぺちゃんこにしてしまう特異行列
- 7. 行列の直感理解(=写像)
• 行列とは、空間の変形である(=写像・変換)
• 「変形」=回転と伸ばしと次元変更
• 面積・体積拡大率は行列から計算(行列式)で分かる。
7/20
-1
-0.5
0
0.5
1
-1 -0.5 0 0.5 1
1
0
-1
-1 0 1
行列A=
a b
c d
(a,c) T
(b,d) T
e1
e2
行列式detAが写像の面積拡大率
Ae1
Ae2
e1の変形先 e2の変形先
http://www.ies-math.com/LoveMath/2nd_grade/adbck-j/adbck-j.html
(a+b,c+d) T
行列式 = 面積拡大率
detA = ad-bc
平行四辺形の面積の直感的理解
- 11. 安定性判定
• 対角化すると簡単になるので、この順番を狙う
① 全単射にて基底変換(相似変換)
② 対角化
③ 計算
④ 基底変換を戻す
• このためには上手い正則行列Pを選ぶ必要がある
• ⇒固有値・固有ベクトルを求める問題へ
• 対角化=「P-1APが対角」となるような「都合のよいP」を作る。
• Ap=λp p≠o 固有値λ1,…, λnと対応する固有ベクトルp1,…, pnを求める。
• 固有値の絶対値| λ 1|・・・| λ n|のうち1つでも1より大きければ暴走。
• 【固有値の幾何学的意味】
伸縮はしても方向は不変。
• 伸縮率=固有値
11/18
右の例では、
伸びてる方の固有値1.3
縮んでる方の固有値0.3
- 17. 余談
17/18
アーベルが「5次方程式には解の公式が存在しないことを証明」
ニールス・ヘンリック・アーベル。1802年ノルウェー生まれ。
何かが「できない」ことを示すのは難しいが、
アーベルは「方程式の難しさを測る方法」を利用。
べき根だけを使って解くことのできる方程式をすべて見つけ、
どんな場合にべき根で解けるか、解明を試みた。
が、達成できず。
↓これを明らかにしたのがガロア。
ガロア理論の完成
あらゆる次数の方程式について、
その方程式がべき根で解けるかどうかを判定する方法を発見。
この論文を世に発表しようとしたが、
唯一の理解者コーシー(王政派)が7月革命によって亡命。
コーシー亡き後のアカデミーには
彼の研究を理解できる数学者はいなかった。
高等理工科学校の受験に2年続けて失敗したり、
町長をしていた自由派の父親が自殺したり。
絶望したガロアは革命に身を投じ、投獄。→決闘。→死亡。
ガロアは、決闘の前夜から早朝までかけて、
親友オーギュスト・シュバリエに手紙を書いた。
=これが現在「ガロア理論」として知られているもの。
ガロアの死後、リウビルがガロアの遺稿を解読し、
1846年に解説を発表。=ようやくガロア理論受け入れ
ちなみにこの人も
26歳8か月で逝去。
貧乏で肺結核に。
今ではオスロの
王宮に記念碑が。
死の直前、
シュバリエに宛てた手紙→
- 20. なにはともあれベイズの定理
加法定理
• P(X) = ∑YP(X,Y)、P(X) = ∫P(X,Y)dY = ∫f(x,y)dy
乗法定理
• P(X,Y) = P(Y|X)P(X)
ベイズの定理
• P(X|Y) = P(Y|X)P(X) / P(Y)
20/18
- 24. ディリクレ過程(厳密な定義)
24/18
集合Φとその部分集合を要素とする集合族F からなる可測空間
(Φ, F )の基底分布をG0、集中度パラメータをα(>0)とする。
確率測度Gが、θのいかなる可測な排他的分割
c
i=1Ai = θ かつ Ai Aj = φ (i ≠ j)
に対しても、r次元確率ベクトル(G(A1),・・・,G(Ar))がディリク
レ分布Dir(αG0(A1) ,・・・,G0(Ar))に従うときすなわち
(G(A1),・・・,G(Ar)) ~ Dir(αG0(A1) ,・・・,αG0(Ar))
のとき、かつそのとき限り、Gはディリクレ過程に従うといい
G ~ DP(α,G0)
と記す。ただしG0(Ai)は、G0から生成されたθが区間Aiに所属
する確率P(θ Ai)を意味する。G(Ai)も同様である。
• 上記定義を厳密に理解するには、可測空間、確率測度など、
確率論、測度論の知識が必要。
- 25. ディリクレ過程(平易な形)
25/18
分散数および分割の仕方の如何に関わらず、確率ベクトル
g = (G(A1),・・・,G(Ar)) が
p(g) = Dir(α1 ,・・・,αr)
αi = αG0(Ai) (i = 1,…, r)
を満たすとき、このような確率分布G(θ)を生成する確率過程を
ディリクレ過程といい、次のように記す
G(θ) ~ DP(α,G0(θ))
G(Ai)の期待値と分散は
E[G(Ai)] = E[gi] = αi / α = G0(Ai)
V[G(Ai)] )] = V[gi] = αi(α - αi) / α2(α + 1)
= G0(Ai)(1 - G0(Ai)) / (α + 1)
となる。すなわちDP(α,G0(θ))からG(θ)を生成し、そのG(θ)か
ら生成したθが区間Ai 内にある確率gi =G(Ai)の値は、平均とし
てαi / α = G0(Ai)となる。また集中度αの値が大きい程、G(Ai)
の分散が小さくなってより平均に集中する。
- 27. 参考資料
1. プログラミングのための線形代数 平岡和幸 堀玄
2. 数学の言葉で世界をみたら 父から娘に贈る数学: 大栗 博司
3. パターン認識と機械学習 C・Mビショップ
4. 続・分かりやすいパターン認識 石井健一郎 上田修功
Illustration by 嫁
27/20