論文紹介 - EARS (Earthquake Alert and Report System): a Real Time Decision Support System for Earthquake Crisis Management
•Télécharger en tant que PPTX, PDF•
0 j'aime•1,382 vues
KDD2015の論文（EARS (Earthquake Alert and Report System): a Real Time Decision Support System for Earthquake Crisis Management）の紹介スライドです。
Recommandé
Contenu connexe
En vedette
En vedette (17)
Plus de Masanori Takano
Plus de Masanori Takano (20)
論文紹介 - EARS (Earthquake Alert and Report System): a Real Time Decision Support System for Earthquake Crisis Management
- 1. EARS (Earthquake Alert and Report System): a Real Time Decision Support System for Earthquake Crisis Management takano @mtknnktm 1
- 2. 概要 • 地震の規模や場所は既存のセンサーではわかる が、被害の内容や規模は実際に人が見てみないと わからない。 • しかし、行政にとって住民に素早くアラートを出すこ とは重要である。 • したがって地震直後であってもある程度被害の概 要を把握できようにすることは重要である。 • そのために、地震に直接的に関連する人の 生の情報をTwitterから取得できるシステムを開発 した。 2
- 3. 問題設定 • システムのユーザ – INGV (イタリアの地球物理学火山国立研究所) • 地震発生直後のINGVの役割 – 地震の2, 5, 10, 30分後に情報を提供する – 目的は問題のある地域の特定とそれの情報提供。 ただし、実際にヤバイかどうかは今のセンサーだけだと確 認できない。 • 【目的】 INGVのための意思決定支援ツールの提供 – ソーシャルセンサーとして人々のTweetを使い、被害状況 に関する情報をINGVの中の人が得られるようにする。 3
- 4. 設計と実装 – 概要 1. データを収集して 2. フィルタリングして 3. 地震イベントを検 知して 4. 被害評価をして 5. アプリで表示 4
- 5. データ収集 • データの収集にはTwitterのStreaming APIを使用 • Streaming APIではキーワードの設定が必要 • キーワードの選定 – 候補を先行研究と地震に関連する単語から9個選定 – 候補単語の頻度と地震イベントの相関を示さないも のを削除 →2ヶ月頑張って「earthquake, tremor（のイタリア語版）」の 2つに絞った 5
- 6. データ収集 • 「地震遭遇者の生の声がしりたい」という目的に対 してキーワードに向かない単語の特徴 – 特殊すぎる（いろんな情報が欲しいので） • wreckage, crack – 公式発表で使用される（個人ではあまり使われない） • seism, magnitude – 包括的すぎる（地震と関係ないことが多い） • shakes, shaking • 選択した単語は言語特有の問題なので他の状況 では使えず、汎用性はない 6
- 7. データフィルタリング • ノイズを除去したい • ノイズの2つの源泉 [M. Avvenuti, et al., 2014] – 異なる意味で検索キーワードが使用されている場合 – 過去の地震を指している場合 • 2段階のデータクリーニングでなんとかする 7
- 8. データフィルタリング 第一段階 • 本研究の地震イベントの検知におけるTwitter利用の特性 – 知りたいのはイタリア国内の一次情報。拡散とか二次情報は不要。 → この段階での目的: 自発的で独立したメッセージのみ抽出 • やったこと 1. Re-tweet, mentionを除去 2. 過去地震情報アカウント（Bot?）の除去（ブラックリストによる） 3. 同じ単語が使用される別の言語（スペイン語・ポルトガル語）の Tweetの除去 4. 偽アカウントの除去 [S. Cresci, et al., 2014] • 偽アカ1950個と通常アカ1950個を集めてきて、分類器作成 これを使ってオンラインにブラックリストを作成 8
- 9. データフィルタリング 第二段階 • この段階での目的: 進行中の地震と関連するツ イートのみ抽出 • 進行中地震の関連ツイートの特徴 – 通常より少ない句読点 – 俗語や攻撃的な言葉の使用 – 短い文章 – 怖がっている • 進行中でない地震に関連するツイートの特徴 – 過去の地震に関する言及や地震ニュースに言及するも のなので、構造化され長い。そしてURLが含まれる。 9
- 10. データフィルタリング 第二段階 • 以下を素性として決定木で分類器作成 – 文字・単語数 – 句読点数 – URL数 – mention数 – スラング・攻撃的単語数 • 教師データは手動で作成 • 教師データの90%以上を正しく分類できた（10- fold-CV） 10
- 11. データフィルタリング 結果 • およそ88%のTweetを削除 • ノイズに埋もれがちな小さな地震の時でも、フィ ルタリングによってtweetピークが検出できるよ うになった。 11
- 12. 地震イベント検出 • バースト検出アルゴリズム[R. Ebina, et al, 2011] の簡易版を採用 – 1分間のTweet率が1週間のTweet率より10倍高かっ たらバーストとする – 正確さよりも検出率優先のため、かなり甘めのしき い値設定 12
- 13. 被害評価 • 危機管理担当者への意思決定支援機能。 – これによって評価専門の担当者が実際に実地に行って 被害の評価しなくてもできるようにする。 • EARSは「座標、地名、n-gram」を情報として抽出す る。 – TagMe by Pica大学を使用して曖昧な地名から座標を抽 出（テキストアノテーションや曖昧さ回避のサービス） • 地震発生時には、メッセージの集合を拡張するた めに、自動的に地震に関連したメッセージをスト リーミング収集する。 – 地震が発生してそうな場所で生成・言及されたメッセー ジ収集のためにこの適応的接続を使用。 13
- 14. Webアプリ • EARSはWebアプリとして提供 • 機能 – サマリ画面 – 詳細画面 • 時系列推移 • 地理的情報 • メッセージ表示 14
- 15. Webアプリ – サマリ 15 INGVが検知した地震情報 ・赤: INGVが検出したがEARSでは未検出。 ・緑: INGV・EARS共に検出、かつ、担当者既読 EARSが検知した地震情報 ・橙: EARSが検出、かつ、担当者未読 ・緑: INGV・EARS共に検出、かつ、担当者既読 この画面で気になるものが有れば、詳細画面を確認する
- 17. テスト • 既存データを使ってテスト – 70日分の全メッセージを3時間未満で処理できた • 問題 – INGVで検出した地震をEARSでも検出できれば正解 – マグニチュード別で評価 17
- 18. テスト結果 • 全データだと小マグニチュードは全然検出でき なかった – 人が知覚できないので当然 → Tweetデータから「人が知覚できた地震データ」の みを抽出→ 再テスト → いい感じ 18