劣モジュラ最適化と機械学習 3章
•Télécharger en tant que PPTX, PDF•
3 j'aime•4,768 vues
機械学習プロフェッショナルシリーズの、劣モジュラ最適化と機械学習 3章 の内容です。
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à 劣モジュラ最適化と機械学習 3章
Similaire à 劣モジュラ最適化と機械学習 3章 (14)
Plus de Hakky St
Plus de Hakky St (17)
劣モジュラ最適化と機械学習 3章
- 2. 自己紹介と告知 • Twitter : @St_Hakky • ブログ：http://st-hakky.hatenablog.com/ • 関西で機械学習勉強会を実施中!! • 団体のモットー： • 圧倒的スピード感で大量の書物と論文をぶった切る • 「えっ、まだ読んでないの？」と煽り奉り、輪講会を乱立させる • 過去のイベント例 • PRML輪講会、PRML上巻/下巻一気読み • データ解析のための統計モデリング入門の輪講会 • わかりやすいパターン認識(続)の輪講会 • 参加したい方は、Facebookのグループにまずは参加を。 • URL :https://www.facebook.com/groups/1767916400127792/
- 6. コンテンツ • 3.1 劣モジュラ最大化と貪欲法 • 3.1.1 劣モジュラ最大化と近似アルゴリズム • 3.1.2 劣モジュラ最大化のための貪欲法 • 3.1.3 貪欲法の近似率 • 3.2 適用例1 : 文書要約への適用 • 3.2.1 文書要約の劣モジュラ最大化としての定式化 • 3.2.2 文書要約のその他の規準 • 3.3 適用例2:センサ配掴問題 • 3.3.1 ガウス過程回帰による分布の推定 • 3.3.2 センサ配置の規準と劣モジュラ性 • 3.4 適用例3: 能動学習 • 3.4.1 一括型能動学習と劣モジュラ性 • 3.5 その他の適用例 • 3.6 補足：センサ配置可能箇所の設定について
- 7. この章で考える問題 𝑓: 2 𝑉 → ℝ は、単調な劣モジュラ関数 目的：𝑓(𝑆) → 最大 制約：𝑆 → 最大 (3.1) 劣モジュラ関数を最大化する問題について考える 制約条件は、選択する部分集合の要素数が最大でk (> 0)個である
- 8. 前章までで見てきたこと • 劣モジュラ性の有用性 • 劣モジュラ性は集合関数における凸性にあたる構造を 持つ • これにより(連続の)凸関数と同様に、最小化が効率的に • 劣モジュラ関数は凹関数のような性質ももっている最 大化においても複数の有用な性質を持つ
- 9. この章で見る問題 • まず、代表的な例として、最大化への貪欲法の適 用を取り上げる。→ 3.1節 • その後、機械学習などにおける様々な問題への適 用例として、以下を見る。 • 文書要約 → 3.2節 • センサ配置問題→ 3.3節 • 能動学習→ 3.4節
- 10. コンテンツ • 3.1 劣モジュラ最大化と貪欲法 • 3.1.1 劣モジュラ最大化と近似アルゴリズム • 3.1.2 劣モジュラ最大化のための貪欲法 • 3.1.3 貪欲法の近似率 • 3.2 適用例1 : 文書要約への適用 • 3.2.1 文書要約の劣モジュラ最大化としての定式化 • 3.2.2 文書要約のその他の規準 • 3.3 適用例2:センサ配掴問題 • 3.3.1 ガウス過程回帰による分布の推定 • 3.3.2 センサ配置の規準と劣モジュラ性 • 3.4 適用例3: 能動学習 • 3.4.1 一括型能動学習と劣モジュラ性 • 3.5 その他の適用例 • 3.6 補足：センサ配置可能箇所の設定について
- 11. 劣モジュラ最大化と貪欲法 単調な劣モジュラ関数の最大化問題 目的：𝑓(𝑆) → 最大 制約：𝑆 → 最大 (3.1) NP困難な最適化問題 厳密な最適解を多項式時間で求める ことは困難
- 12. • 劣モジュラ関数の最大化について、最大化すべき 単調な劣モジュラ関数としてカバー関数を用いて、 具体例を見る 𝑃1 𝑃2 𝑃3 𝑃4 劣モジュラ最大化と近似アルゴリズム
- 13. 劣モジュラ最大化と近似アルゴリズム 点集合𝑃 𝑃の𝑛 = 4個の部分集合𝑃1, 𝑃2 𝑃3 𝑃4 ⊆ 𝑃 すべての点の重みは1 𝑓𝑐𝑜𝑣: 2{1,2,3,4} → ℝ 𝑃1 𝑃2 𝑃3 𝑃4 𝑉 = {𝑙, 2,3,4}
- 14. カバー関数最大化問題 目的関数𝑓 をカバー関数𝑓𝑐𝑜𝑣とし、これを最大化する 要素数の上限を𝑘 = 2 点集合𝑃 𝑃1 𝑃2 𝑃3 𝑃4
- 15. k=1の場合のカバー関数の値 点集合𝑃 𝑃1 𝑃2 𝑃3 𝑃4 𝑓𝑐𝑜𝑣 1 = 3 𝑓𝑐𝑜𝑣 2 = 5 𝑓𝑐𝑜𝑣 3 = 7 𝑓𝑐𝑜𝑣 4 = 6 ←一番大きい
- 16. k=2の場合のカバー関数の値 点集合𝑃 𝑃1 𝑃2 𝑃3 𝑃4 𝑓𝑐𝑜𝑣 1,2 = 6
- 17. k=2の場合のカバー関数の値 点集合𝑃 𝑃1 𝑃2 𝑃3 𝑃4 𝑓𝑐𝑜𝑣 2,4 = 11 すべての組み合わせについて考えると、{2,4}が最大となる
- 22. 近似率 𝒜 𝑃 ：問題(𝑃)の近似解を求める多項式時間アルゴ リズムとする。 この時、問題(𝑃)が最大化問題であるため、明らか に次の不等式が成り立つ 𝒜 𝑃 が出力する解の目的関数値 ≤ 問題(𝑃)の最適値
- 23. 近似率 𝛼を0 < 𝛼 ≤ 1 を満たす定数として． 問題(𝑃)の任意 の入力について、以下が成り立つ。 𝛼 * 問題(𝑃)の最適値 ≤ 𝒜 𝑃 が出力する解の目的関数値 𝛼：𝒜 𝑃 の近似率あるいは近似保証という。 またこのとき、𝒜 𝑃 を問題(𝑃)の𝛼-近似アルゴリズ ムと呼ぶ
- 25. 3.1.2 劣モジュラ最大化のための貪欲法 貪欲法 貪欲法はS = {}からスタートして、𝑆 ⊆ 𝑉の要素数 が𝑘になるまで「貪欲」に要素を増やしていく単純な 方法
- 26. 貪欲法をカバー関数最大化問題に適用 点集合𝑃 𝑃の𝑛 = 4個の部分集合𝑃1, 𝑃2 𝑃3 𝑃4 ⊆ 𝑃 すべての点の重みは1 𝑓𝑐𝑜𝑣: 2{1,2,3,4} → ℝ 𝑃1 𝑃2 𝑃3 𝑃4 𝑉 = {𝑙, 2,3,4} ここでは、要素数の上限を𝑘 = 2とする
- 27. 貪欲法をカバー関数最大化問題に適用 初期化 ステップ0なので、S = {}とする。 点集合𝑃 𝑃1 𝑃2 𝑃3 𝑃4
- 28. 貪欲法をカバー関数最大化問題に適用 反復1 ステップ1では、 S = 0 < 2より停止しない。 貪欲法 ステップ2では、 i = 3がもっとも大きくするので これを選ぶ。
- 29. 貪欲法をカバー関数最大化問題に適用 点集合𝑃 𝑃1 𝑃2 𝑃3 𝑃4 𝑓𝑐𝑜𝑣 1 = 3 𝑓𝑐𝑜𝑣 2 = 5 𝑓𝑐𝑜𝑣 3 = 7 𝑓𝑐𝑜𝑣 4 = 6 ←一番大きい
- 30. 貪欲法をカバー関数最大化問題に適用 反復2 ステップ1では、 S = 1 < 2より停止しない。 貪欲法 ステップ2では、 i = 1𝑜𝑟4がもっとも大きくする のでこれを選ぶ。
- 31. 貪欲法をカバー関数最大化問題に適用 点集合𝑃 𝑃1 𝑃2 𝑃3 𝑃4 𝑓𝑐𝑜𝑣 1, 3 = 10 ←一番大きい
- 32. 貪欲法をカバー関数最大化問題に適用 反復3 ステップ1で、 S = 2 ≥ 2より停止 貪欲法 結果として、𝑓𝑐𝑜𝑣 1, 3 = 10が選ばれ、アル ゴリズムが停止する。
- 33. 貪欲法と最適解を比較 貪欲法(近似解)： 𝑓𝑐𝑜𝑣 1, 3 = 10 最適解： 𝑓𝑐𝑜𝑣 2, 4 = 11 近似解は、最適解の10/11≈0.91倍程度の目的 関数値を取るので、いい解が得れたと考えら れる。
- 34. 貪欲法の近似率について 要素数の上限が𝑘であるような一般の場合の単調な 劣モジュラ関数の最大化問題について、必ず次の 不等式が成り立つ。 最適解：𝑆 𝑂𝑃𝑇 ⊆ 𝑉 貪欲法が出力する近似解：𝑆 𝐺𝐴 ⊆ 𝑉 1 − 1 − 1 𝑘 𝑘 𝑓 𝑆 𝑂𝑃𝑇 ≤ 𝑓(𝑆 𝐺𝐴)
- 35. 貪欲法の近似率について α 𝑘 = 1 − 1 − 1 𝑘 𝑘 は、自然数𝑘に関して単調減少 α 𝑘は、𝑘 → ∞のとき、α 𝑘 → 1 − 1 𝑒 > 0.63となり、貪欲法は、0.63-近似 アルゴリズムであることがわかる。この証明は、次で与える。
- 37. コンテンツ • 3.1 劣モジュラ最大化と貪欲法 • 3.1.1 劣モジュラ最大化と近似アルゴリズム • 3.1.2 劣モジュラ最大化のための貪欲法 • 3.1.3 貪欲法の近似率 • 3.2 適用例1 : 文書要約への適用 • 3.2.1 文書要約の劣モジュラ最大化としての定式化 • 3.2.2 文書要約のその他の規準 • 3.3 適用例2:センサ配掴問題 • 3.3.1 ガウス過程回帰による分布の推定 • 3.3.2 センサ配置の規準と劣モジュラ性 • 3.4 適用例3: 能動学習 • 3.4.1 一括型能動学習と劣モジュラ性 • 3.5 その他の適用例 • 3.6 補足：センサ配置可能箇所の設定について
- 38. 適用例1 : 文書要約への適用 • 問題設定： • ある文章が与えられたときに、その文章を構成する文 の中から、できるだけもとの文章を表現できるような、 その一部の文を選択する • 直感的なイメージ： • 文を1つずつ足していくと徐々にもとの文章の意味を表 す表現力は高まる。 • 逆に、その効果はすでに採用した文が多ければ小さく なっていく。
- 40. 文書要約の劣モジュラ最大化としての定式化 • ある文章が与えられたとき、その文章を構成する 文を要素とする有限集合𝑉 = {1, … , 𝑛}を考える
- 41. 文書要約の劣モジュラ最大化としての定式化 • 一般に、文書要約において選択される文の集合 𝑆 ⊆ 𝑉がもつべき重要な規準として、以下が挙げら れる。 • ℒ 𝑆 ：文章全体に対して関連の高い文の集合を選択す ること • 𝑅 𝑆 ：選択する文間の冗長性を少なくするように文の 集合を選択すること
- 42. 文書要約の劣モジュラ最大化としての定式化 ℒ 𝑆 ：文章全体に対して関連の高い文の集合を選択すること 𝑅(𝑆)：選択する文間の冗長性を少なくするように文の集合を 選択すること トレードオフの関係
- 44. 文書要約の劣モジュラ最大化としての定式化 𝑓𝑑𝑜𝑐 𝑆 = ℒ 𝑆 + λ𝑅 𝑆 一般に相反するこれらのトレードオフは各応用場面 によるので， トレードオフを調整するパラメータ𝜆を 用いて次式のように規準を表す ℒ 𝑆 ：文章全体に対して関連の高い文の集合を選択すること 𝑅(𝑆)：選択する文間の冗長性を少なくするように文の集合を選択すること
- 45. 文書要約の劣モジュラ最大化としての定式化 𝑓𝑑𝑜𝑐 𝑆 = ℒ 𝑆 + λ𝑅 𝑆 一般に相反するこれらのトレードオフは各応用場面 によるので， トレードオフを調整するパラメータ𝜆を 用いて次式のように規準を表す ℒ 𝑆 ：文章全体に対して関連の高い文の集合を選択すること 𝑅(𝑆)：選択する文間の冗長性を少なくするように文の集合を選択すること 単調劣モジュラ関数単調劣モジュラ関数
- 46. 関連性を評価する関数ℒ 𝑆 の例 2文間の相関 直感的には， 文章全体と関連の高い文を選択しようと いう規準 ℒ 𝑆 = 𝑖∈𝑉,𝑗∈𝑆 𝑠𝑖𝑗
- 47. 関連性を評価する関数ℒ 𝑆 の例 各概念𝑖 ∈ Γ(𝑆)の重要度γ𝑖 概念に基づく要約 文の集合𝑆に含まれる概念の集合：Γ(𝑆) ℒ 𝑆 = 𝑖∈Γ(𝑆) γ𝑖
- 48. 関連性を評価する関数ℒ 𝑆 の例 LinとBilmesによる基準 ℒ 𝑆 = 𝑖∈𝑉 𝑚𝑖𝑛{𝐶𝑖(𝑆), γ𝐶𝑖(𝑉)} 𝐶𝑖(𝑆)：2 𝑉 → ℝ：文𝑖がどの程度𝑆によりカバーされているかを 表す単調な劣モジュラ関数 0 ≤ γ ≤ 1はしきい値を調整するためのパラメータ 選択した文の集合がどれ だけ文𝑖に類似しているか
- 49. 関連性を評価する関数ℒ 𝑆 の例 LinとBilmesによる基準 ℒ 𝑆 = 𝑖∈𝑉 𝑚𝑖𝑛{𝐶𝑖(𝑆), γ𝐶𝑖(𝑉)} 𝐶𝑖(𝑆)：2 𝑉 → ℝ：文𝑖がどの程度𝑆によりカバーされているかを 表す単調な劣モジュラ関数 0 ≤ γ ≤ 1はしきい値を調整するためのパラメータ このような関数𝐶𝑖の例： 𝐶𝑖(𝑆) := 𝑖∈𝑉 𝑠𝑖𝑗など。
- 50. この規準の直感的説明 LinとBilmesによる基準 ℒ 𝑆 = 𝑖∈𝑉 𝑚𝑖𝑛{𝐶𝑖(𝑆), γ𝐶𝑖(𝑉)} 𝐶𝑖(𝑉)は𝐶𝑖(𝑆)が到達できる最大値
- 51. この規準の直感的説明 LinとBilmesによる基準 ℒ 𝑆 = 𝑖∈𝑉 𝑚𝑖𝑛{𝐶𝑖(𝑆), γ𝐶𝑖(𝑉)} ある文𝑖に関して𝐶𝑖 𝑆 ≤ γ𝐶𝑖(𝑉)の場合(本では、𝐶𝑖 𝑆 ≥ γ𝐶𝑖(𝑉)。多分ミス) まだγ𝐶𝑖(𝑉)に到達していない別の文𝑗に関してのみℒ 𝑆 の値を改善することができる このようにまんべんなく文全体の意味がカバーされる ような規準になっている
- 53. 冗長性の評価関数：𝑅 𝑆 冗長性の評価関数 𝑅 𝑆 = 𝑘=1 𝐾 𝑗∈𝑃 𝑘∩𝑆 𝑟𝑗 文の集合𝑆を選択することの多様性に対する報酬を 加える式。これも有効な関数の一つ。 𝑃𝑘 (𝑘 = 1. , . . 𝐾, )：文全体の分割。 → 𝑘 𝑃𝑘 = 𝑉で異なる𝑘, 𝑙 ∈ {1. , . . , 𝐾}に対して𝑃𝑘 ∩ 𝑃𝑧 = {} 𝑟𝑗 > 0：新しく文𝑗を空集合へ加えることに対する報酬
- 54. 冗長性の評価関数：𝑅 𝑆 冗長性の評価関数 𝑅 𝑆 = 𝑘=1 𝐾 𝑗∈𝑃 𝑘∩𝑆 𝑟𝑗 文の集合𝑆を選択することの多様性に対する報酬を 加える式。これも有効な関数の一つ。 𝑃𝑘 (𝑘 = 1. , . . 𝐾, )：文全体の分割。 → 𝑘 𝑃𝑘 = 𝑉で異なる𝑘, 𝑙 ∈ {1. , . . , 𝐾}に対して𝑃𝑘 ∩ 𝑃𝑧 = {} 𝑟𝑗 > 0：新しく文𝑗を空集合へ加えることに対する報酬 分割𝑃𝑖を得るための例： 文章全体に対してクラスタリング等
- 55. 冗長性の評価関数：𝑅 𝑆 冗長性の評価関数 𝑅 𝑆 = 𝑘=1 𝐾 𝑗∈𝑃 𝑘∩𝑆 𝑟𝑗 文の集合𝑆を選択することの多様性に対する報酬を 加える式。これも有効な関数の一つ。 この規準を用いることで、まだ1度も選ばれていない分割の中から文𝑖 を選ぶことに対して報酬を加えることで選択する文の多様性を確保
- 56. 関数𝑓𝑑𝑜𝑐を用いた文書要約のまとめ 𝑓𝑑𝑜𝑐 𝑆 = ℒ 𝑆 + λ𝑅 𝑆 ℒ 𝑆 ：文章全体に対して関連の高い文の集合を選択すること 𝑅(𝑆)：選択する文間の冗長性を少なくするように文の集合を選択すること 単調劣モジュラ関数単調劣モジュラ関数 単調劣モジュラ関数！！
- 57. 関数𝑓𝑑𝑜𝑐を用いた文書要約のまとめ 𝑓𝑑𝑜𝑐 𝑆 = ℒ 𝑆 + λ𝑅 𝑆 単調劣モジュラ関数単調劣モジュラ関数 単調劣モジュラ関数 規準𝑓𝑑𝑜𝑐 を用いた文書要約は劣モジュラ関数の最大化問題へと帰着 𝑘個以下の文から成る要約を考えれば十分な場合は𝑓𝑑𝑜𝑐 の単調性か ら、これは単調な劣モジュラ関数最大化問題として定式化される
- 59. 実用的な場面での定式化 各文のコストを𝐶𝑖とすると、このような定式化は次の ように表される。 目的：𝑓𝑑𝑜𝑐 𝑆 →最大 制約：S ⊆ 𝑉, 𝑖∈𝑆 𝑐𝑖 ≤ 𝑘 (3.6)
- 60. ナップサック制約 目的：𝑓𝑑𝑜𝑐 𝑆 →最大 制約：S ⊆ 𝑉, 𝑖∈𝑆 𝑐𝑖 ≤ 𝑘 (3.6) 選択した集合Sに関するコストの和に対する制約 ナップサック制約
- 61. ナップサック制約 目的：𝑓𝑑𝑜𝑐 𝑆 →最大 制約：S ⊆ 𝑉, 𝑖∈𝑆 𝑐𝑖 ≤ 𝑘 (3.6) 選択した集合Sに関するコストの和に対する制約 ナップサック制約 要素数制約の場合と同様、𝒇が単調関数であれば(3.6)への貪欲 法の適用により近似率として0.63が得られる
- 67. 最大限界関連度 最大限界関連度 文𝑖とクエリー𝑞の間の類似度 文𝑗 と𝑖の間の類似度 0 ≤ λ ≤ 1はバランスを調整する係数 文𝑖を加えることによる差分が上式により定義される集合関数は、劣モ ジュラ性の逓減性の定義（1.2)から、劣モジュラ関数となることが示せ る。ただし、この関数は非単調。
- 69. ROUGE-Nスコア ROUGE-Nスコア 候補となる要約と参照となるそれとの間の𝑛 − 𝑔𝑟𝑎𝑚 に基づく再現率として定義される 𝑐 𝑒: 2 𝑉 → 𝑍：要約𝑆の中のn-gram 𝑒の個数 𝑅 𝑘 (𝑘 = 1, … , 𝐾) ：参照となる要約𝑘の中に含まれるn-gramの集合 𝑟𝑒,𝑘：参照となる要約𝑘の中のn-gram 𝑒の個数
- 71. コンテンツ • 3.1 劣モジュラ最大化と貪欲法 • 3.1.1 劣モジュラ最大化と近似アルゴリズム • 3.1.2 劣モジュラ最大化のための貪欲法 • 3.1.3 貪欲法の近似率 • 3.2 適用例1 : 文書要約への適用 • 3.2.1 文書要約の劣モジュラ最大化としての定式化 • 3.2.2 文書要約のその他の規準 • 3.3 適用例2:センサ配掴問題 • 3.3.1 ガウス過程回帰による分布の推定 • 3.3.2 センサ配置の規準と劣モジュラ性 • 3.4 適用例3: 能動学習 • 3.4.1 一括型能動学習と劣モジュラ性 • 3.5 その他の適用例 • 3.6 補足：センサ配置可能箇所の設定について
- 72. 適用例2: センサ配置問題 問題設定 状況設定 空間内で何らかの物理量(例えば室温など)をセ ンサを用いて観測するという状況 できるだけその観測誤差が小さくなるようにいく つかのセンサを配置する問題
- 74. ガウス過程回帰による定式化 ※現実的には、空間は連続的なので、センサの置き得る箇所も有限ではない場 合が普通ですが、どの程度の粒度で箇所を考えれば十分かについてはあとで言 及する 𝒙 𝟏, … , 𝒙 𝒏：センサを置き得る箇所 𝑆 ⊆ 𝑉：𝑆 ⊆ 𝑉に対応する箇所に設置したセンサ集合 𝑉 = {𝑙, … , 𝑛}：その各箇所を表す添え字から成る集合 𝒚 𝑺：実際にセンサを置いた箇所𝑆 ⊆ 𝑉における観測量 記号
- 75. 一般的なセンサ観測における仮説 1. センサの観測はノイズを含むと考えるのが自然 2. 近い箇所にセンサが複数ある場合は、その付近の観測は 誤差は小さい 観測量に関する予測分布の分散が小さくなる
- 76. ガウス過程回帰による定式化 不確実性を考慮しての𝒚 𝑺分布が、以下の多次元正規分布に従うとする 𝒙 𝟏, … , 𝒙 𝒏：センサを置き得る箇所 𝑆 ⊆ 𝑉：𝑆 ⊆ 𝑉に対応する箇所に設置したセンサ集合 𝑉 = {𝑙, … , 𝑛}：その各箇所を表す添え字から成る集合 𝒚 𝑺：実際にセンサを置いた箇所𝑆 ⊆ 𝑉における観測量 記号 𝝁 𝑺：平均ベクトル S：分散共分散行列 | S|：行列式
- 77. ガウス過程回帰による定式化 𝒙 𝟏, … , 𝒙 𝒏：センサを置き得る箇所 𝑆 ⊆ 𝑉：𝑆 ⊆ 𝑉に対応する箇所に設置したセンサ集合 𝑉 = {𝑙, … , 𝑛}：その各箇所を表す添え字から成る集合 𝒚 𝑺：実際にセンサを置いた箇所𝑆 ⊆ 𝑉における観測量 記号 𝑦(𝒙)： (センサを置いた箇所とは限らない)任意の箇所xの観測量 センサを置いた箇所だけではなく空間内全体で観測誤差も見たい。この分布は 正規分布に従うと考える。 平均µ(𝒙)と分散σ2 (𝒙)が、𝒙の関数として、 非線形性を表せるようにモデル化してある
- 78. ガウス過程回帰による定式化 𝒙 𝟏, … , 𝒙 𝒏：センサを置き得る箇所 𝑆 ⊆ 𝑉：𝑆 ⊆ 𝑉に対応する箇所に設置したセンサ集合 𝑉 = {𝑙, … , 𝑛}：その各箇所を表す添え字から成る集合 𝒚 𝑺：実際にセンサを置いた箇所𝑆 ⊆ 𝑉における観測量 記号 𝑦(𝒙)： (センサを置いた箇所とは限らない)任意の箇所xの観測量
- 80. まとめよう！！
- 81. 問題設定 できるだけその観測誤差が小さくなるようにいくつかのセ ンサを配置する問題 見るべき規準 配置したセンサによって、考えている領域の任意の箇所 のにおける観測の不確実性をどれほど小さくできるか 式での表現 𝑦(𝒙) I 𝒚 𝑺 𝒚 𝑺：センサを置いた 箇所の観測量 𝑦(𝒙)： (センサを置いた箇所とは限 らない)任意の箇所xの観測量
- 82. 次は、この条件付き分布𝑦(𝒙) I 𝒚 𝑺がどの ようになるかを見る
- 84. 観測量𝑦(𝒙) と 𝒚 𝑺の同時分布 観測量𝑦(𝒙) と 𝒚 𝑺の同時分布 𝐾0: = 𝐾 (𝒙, 𝒙)、また𝒌の各要素は𝐾 (𝒙, 𝒙𝒊) (𝑖 ∈ 𝑆)を表す 観測量𝑦(𝒙) と 𝒚 𝑺の同時分布 条件つき分布𝑝(𝑦(𝑥)|𝒚 𝑺) = 𝑁(𝜇(𝒙|𝑆), σ2(𝒙|𝑆))は、分割公式 (次スライドで解説)を用いて次のようになる
- 85. 分割公式 多次元正規分布𝑁(𝜇, )に従う確率変数𝒙が与えられていると する 𝒙を分割 平均ベクトル𝜇と分散共分散行列 を分割 𝒙 = (𝑥 𝑎 Τ , 𝑥 𝑏 Τ )Τ このとき、𝑝 𝒙 𝒂 𝒙 𝒃 は、正規分布となる。これをΝ(µ 𝑎|𝑏, 𝑎|𝑏)とすると、平均 ベクトルと分散共分散行列は以下のようになる
- 87. 問題設定 できるだけその観測誤差が小さくなるようにいくつかのセ ンサを配置する問題 見るべき規準 配置したセンサによって、考えている領域の任意の箇所 のにおける観測の不確実性をどれほど小さくできるか 式での表現 𝑦(𝒙) I 𝒚 𝑺 𝒚 𝑺：センサを置いた 箇所の観測量 𝑦(𝒙)： (センサを置いた箇所とは限 らない)任意の箇所xの観測量
- 90. 不確実性の削減の定量化 センサを箇所𝑆に置いた際に、どの程度観測量𝑦(𝒙)の不確 実性を減らすことができるかは、以下のように定量化できる 𝐻(𝑦(𝒙)) − 𝐻(𝑦(𝒙)|𝒚 𝑺) センサを箇所Sに置いたときの、 ある箇所𝑥に おける観測量𝑦(𝑥)の条件つきエントロピー ある箇所𝒙における観測の不確実性
- 91. 不確実性の削減の定量化 センサを箇所𝑆に置いた際に、どの程度観測量𝑦(𝒙)の不確 実性を減らすことができるかは、以下のように定量化できる 𝐻(𝑦(𝒙)) − 𝐻(𝑦(𝒙)|𝒚 𝑺) この値が大きければ、箇所𝑆に置いたことで不確実性がより 減っていることがわかる
- 92. 不確実性の削減の定量化 センサを箇所𝑆に置いた際に、どの程度観測量𝑦(𝒙)の不確 実性を減らすことができるかは、以下のように定量化できる 𝐻(𝑦(𝒙)) − 𝐻(𝑦(𝒙)|𝒚 𝑺) 現実的には、任意の箇所について計算することはできない。
- 93. 実際の評価方法：相互情報量 いくつかの代表的な箇所 𝒙 𝟏,…, 𝒙 𝒎 をあらかじめ選択してお きこれらの箇所と、センサを置けなかった箇所𝑉 ∖ 𝑆について のこの量を評価する この量は、𝒚 𝒔と(𝒚 𝑽∖𝑺, 𝐲( 𝒙)）の相互情報量とも呼ばれる 𝑦( 𝒙）： = (𝑦( 𝒙 𝟏), … , 𝑦( 𝒙 𝒎))
- 99. コンテンツ • 3.1 劣モジュラ最大化と貪欲法 • 3.1.1 劣モジュラ最大化と近似アルゴリズム • 3.1.2 劣モジュラ最大化のための貪欲法 • 3.1.3 貪欲法の近似率 • 3.2 適用例1 : 文書要約への適用 • 3.2.1 文書要約の劣モジュラ最大化としての定式化 • 3.2.2 文書要約のその他の規準 • 3.3 適用例2:センサ配掴問題 • 3.3.1 ガウス過程回帰による分布の推定 • 3.3.2 センサ配置の規準と劣モジュラ性 • 3.4 適用例3: 能動学習 • 3.4.1 一括型能動学習と劣モジュラ性 • 3.5 その他の適用例 • 3.6 補足：センサ配置可能箇所の設定について
- 100. • 本を参照あれ。
- 101. コンテンツ • 3.1 劣モジュラ最大化と貪欲法 • 3.1.1 劣モジュラ最大化と近似アルゴリズム • 3.1.2 劣モジュラ最大化のための貪欲法 • 3.1.3 貪欲法の近似率 • 3.2 適用例1 : 文書要約への適用 • 3.2.1 文書要約の劣モジュラ最大化としての定式化 • 3.2.2 文書要約のその他の規準 • 3.3 適用例2:センサ配掴問題 • 3.3.1 ガウス過程回帰による分布の推定 • 3.3.2 センサ配置の規準と劣モジュラ性 • 3.4 適用例3: 能動学習 • 3.4.1 一括型能動学習と劣モジュラ性 • 3.5 その他の適用例 • 3.6 補足：センサ配置可能箇所の設定について
- 102. 適用例3: 能動学習 • っとその前に
- 103. 能動学習とは？
- 105. 本の内容に戻るよ
- 106. 教師あり学習においてラベルづけのコストが高いような 場合 能動学習を使う場面 能動学習 重要なサンプルのみを選択してラベルづけを行うための 方法で、機械学習における重要な問題の1つ 能動学習の目的
- 110. 一括型能動学習の問題設定 𝒙 𝟏, … , 𝒙 𝒏 ∈ ℝ：ラベルづけされていないサンプル 簡単のため二値分 類器を対象として考える 𝑉 = {1, … , 𝑛}：𝒙の添え字の集合 𝑦𝑖 ∈ {−1, +1} ：各サンプル𝒙𝑖の（未知の）ラベル 記号
- 112. フィッシャー情報行列 ラベルづけを行うサンプルの集合がもつ有用性（どれだけ分 類器の学習のための情報をもっているか）をフィッシャ ー 情 報行列に基づいて考える 𝒘：有限のパラメ ー タ 𝑝(𝑦|𝒙)：パラメータ𝒘に基づく分類器 フィッシャ ー情報行列 𝑞(𝒙）：ラベルづけを行うサンプルに関する分布 𝑝(𝒙)：すべてのサンプルに関する分布
- 113. 補足：フィッシャー情報行列 • フィッシャー情報行列は統計学や情報理論におい てよく用いられるもの • 観測される確率変数が対象とするパラメ ー タに 対してもつ情報の量を与える規準 • 参考：
- 114. とりあえず今は、
- 115. フィッシャー情報行列 ラベルづけを行うサンプルの集合がもつ有用性（どれだけ分 類器の学習のための情報をもっているか）をフィッシャ ー 情 報行列に基づいて考える 𝒘：有限のパラメ ー タ 𝑝(𝑦|𝒙)：パラメータ𝒘に基づく分類器 フィッシャ ー情報行列 𝑞(𝒙）：ラベルづけを行うサンプルに関する分布 𝑝(𝒙)：すべてのサンプルに関する分布
- 116. というものだと抑えるので良いと思う。
- 117. フィッシャ ー情報行列を用いた能動学習の規 準 � ：有限のパラメ ー タ � (� |� )：パラメータ� に基づく分類器 フィッシャ ー情報行列 � (� ）：ラベルづけを行うサンプルに関する分布 � (� )：すべてのサンプルに関する分布 ラベルづけを行おうとするサンプルがもつ情報が、できるだ け全サ ンプルのそれに近くなるように選ぽうとする規準
- 121. 今回考えるべきは、以下の式。これから展開してくぞ！ 𝑡𝑟(𝐼 𝑞 −1 𝐼 𝑝) � ：有限のパラメ ー タ � (� |� )：パラメータ� に基づく分類器 フィッシャ ー情報行列 � (� ）：ラベルづけを行うサンプルに関する分布 � (� )：すべてのサンプルに関する分布 ラベルづけを行おうとするサンプルがもつ情報が、できるだ け全サ ンプルのそれに近くなるように選ぽうとする規準
- 122. 𝑆 ⊆ 𝑉 : ラベルづけを行うサンプル集合 𝐼 𝑑 : 𝑑行𝑑列の単位行列 𝛿 ≪ 1 : 特異行列を避けるための小さな実数値 これらを今回最小化したい𝑡𝑟(𝐼 𝑞 −1 𝐼 𝑝) に代入すると次のよう になる
- 123. 𝑆 ⊆ 𝑉 : ラベルづけを行うサンプル集合 𝐼 𝑑 : 𝑑行𝑑列の単位行列 𝛿 ≪ 1 : 特異行列を避けるための小さな実数値 これらを今回最小化したい𝑡𝑟(𝐼 𝑞 −1 𝐼 𝑝) に代入すると次のよう になる 𝛿に比例するので無視 できるほど小さい
- 124. 𝑆 ⊆ 𝑉 : ラベルづけを行うサンプル集合 𝐼 𝑑 : 𝑑行𝑑列の単位行列 𝛿 ≪ 1 : 特異行列を避けるための小さな実数値 これらを今回最小化したい𝑡𝑟(𝐼 𝑞 −1 𝐼 𝑝) に代入すると次のよう になる 選択するサ ンプル集合𝑺に 依存する項は第3項のみ
- 125. 𝑆 ⊆ 𝑉 : ラベルづけを行うサンプル集合 𝐼 𝑑 : 𝑑行𝑑列の単位行列 𝛿 ≪ 1 : 特異行列を避けるための小さな実数値 これらを今回最小化したい𝑡𝑟(𝐼 𝑞 −1 𝐼 𝑝) に代入すると次のよう になる この第３項についてもう少 し整理して見てみる
- 126. 第３項 {(λ𝑙, 𝒗𝑙)}𝑙=1 𝑑 ：𝐼 𝑞 𝑆, 𝒘 の固有値と固有ベクトルの組 任意の𝒙について次のような近 似を与える ことができる
- 127. 第３項 {(λ𝑙, 𝒗𝑙)}𝑙=1 𝑑 ：𝐼 𝑞 𝑆, 𝒘 の固有値と固有ベクトルの組 任意の𝒙について次のような近 似を与える ことができる 固有値 𝑵 の調和平均を 算術平均で置き換える 𝛾𝑖 = (𝒙Τ 𝒗𝑖)2/ 𝒙 2 2 とおくと ( 𝑙=1 𝑑 λ𝑖 −1 γ𝑖)−1≈ 𝑙=1 𝑑 λ𝑖 −1 γ𝑖
- 128. 今デー タの前処理を行うことによって サンプルは1に正規化されているとす る(つまり 𝒙 2 2 = 1) 近似した第３項 最終的な第３項
- 129. さぁ、思い出そう。
- 130. 今回考える、最小化すべきは、以下の式だったぞ！ 𝑡𝑟(𝐼 𝑞 −1 𝐼 𝑝) � ：有限のパラメ ー タ � (� |� )：パラメータ� に基づく分類器 フィッシャ ー情報行列 � (� ）：ラベルづけを行うサンプルに関する分布 � (� )：すべてのサンプルに関する分布 ラベルづけを行おうとするサンプルがもつ情報が、できるだ け全サ ンプルのそれに近くなるように選ぽうとする規準
- 131. なので
- 132. 最終的な第３項 ０無視
- 137. コンテンツ • 3.1 劣モジュラ最大化と貪欲法 • 3.1.1 劣モジュラ最大化と近似アルゴリズム • 3.1.2 劣モジュラ最大化のための貪欲法 • 3.1.3 貪欲法の近似率 • 3.2 適用例1 : 文書要約への適用 • 3.2.1 文書要約の劣モジュラ最大化としての定式化 • 3.2.2 文書要約のその他の規準 • 3.3 適用例2:センサ配掴問題 • 3.3.1 ガウス過程回帰による分布の推定 • 3.3.2 センサ配置の規準と劣モジュラ性 • 3.4 適用例3: 能動学習 • 3.4.1 一括型能動学習と劣モジュラ性 • 3.5 その他の適用例 • 3.6 補足：センサ配置可能箇所の設定について
- 138. 劣モジュラ関数最大化としての定式化と貪欲 法の適用例 • グラフマイニングにより得られた部分グ ラフ選択の劣モ ジュラ関数最大化として定式化(Thoma) • 線形回帰モデルにおける変数選択の規準の劣モジュラ性 に関してする議論(Das, Kempe)
- 139. 劣モジュラ関数最大化としての定式化と貪欲 法の適用例 • インデイアン・ブッフェ過程おいて 計算途中で必要となる最 適化を劣モジュラ関数最大化として近似的に定式化すること で効率的な実装を実現(Reed, Ghahramani) • ケンペらのネッ トワー ク上での影響最大化の劣モジュラ関 数最大化としての定式化が挙げら れる • ソーシャル・ネットワークにおけるマーケティング など、応用的にも 重要な適用例
- 142. 能動学習の拡張 • 時々刻々と変化する状況下での能動学習への拡張 • そこでは， 適応劣モジュラ性と呼ばれる劣モジュラ性を一 般化した概念も重要な役割を果たす
- 144. おわり