Created by Kshi_Kshi Twitter: @Kshi_Kshi Hatena_id:Kshi_Kshi_Research

1. Information Credibility on Twitter Twitter: @Kshi_Kshi Hatena_id: Kshi_Kshi_Research 1

2. 序論 - 論文 Information - 論文 Overview - 選定理由 2

3. 論文 information Title: Information Credibility on Twitter ( Twitter上での情報の信用性 ) Author: World Wide Web (WWW), ACM Press, 2011 Barbara Poblete @bpoblete http://research.yahoo.com/Barbara_Poblete Carlos Castill @chatox http://research.yahoo.com/Carlos_Castillo Marcelo Mendoza ??? http://research.yahoo.com/Marcelo_Mendoza research by 3

4. 論文 Overview 目的 ツイートに信用性があるかどうかを、ソーシャルメディア上の情報のみから、自動的に判断できるかどうか？の試みによって、 仮説：「ソーシャルメディアの中にはツイートの信用性を評価できる特徴があること」を示す。 手法 - “Twitter Monitor”を用いて、盛り上がっている話題（ツイートの集合）を取得 - NEWS(報道価値のある情報）とCHAT(友達間の会話)を分類する分類器を作成 - 情報の信用性を判断するために、分類器を作成 - 分類器の最適な特徴(Feature)について考察する 結果 - F値 92.4%の精度でNEWSクラスに分類できた。 - F値 86 %の精度で信用できるか否かに分類することができた。 - 情報の信用性と相関が高いor低い特徴(Feature)などが明らかになった。 論文のポイント 分類器を作成する時に、ソーシャルメディアのどのような情報を利用するのか？ 4

5. 選定理由 Twitterの可能性 ・Twitterの情報伝達スピードの速さは既存のメディアでは考えられないほど早い ・利用者の今の声を即時に反映させるサービスは工学的にも利用できるはず（参考に） 研究の参考に ・信頼性という不確かなもの、どのようにして計算機で扱うのか？ ・ユーザの感情をテキスト情報から察する技術 5

6. 論文紹介 はじめ - Twitter(研究背景) - 着目している問題点 - 目的 - 提案手法 概要図 <附録> - Twitter 基本用語① - Twitter 基本用語② 6

7. 140文字以内の短い投稿(ツイート)を投稿し て、 みんなで共有するサービスです。 今回の災害時には、大活躍！ 電話がつながらない中、安定してサービスを供給し、Twitterの特徴の即時性・手軽さの甲斐もあり、多くの人の情報源として貢献。 http://twitter.com 地方自治体もアカウントを開設し、 情報を提供している ・首相官邸（災害情報）@Kantei_Saigai ・ 総務省消防庁 @FDMA_JAPAN ・岩手県広聴広報課 @pref_iwate etc… しかし、 7

8. 嘘情報も同時に拡散してしまう デマの拡散 ex) “放射能対策：うがい薬、効果あり” “うがい薬” and “放射能”を含む Tweet数、時系列(2011/03/12) 8 http://getnews.jp/archives/107722

9. 目的 ・以下の仮説を明らかにする。 ソーシャルメディアの中には、 ユーザが情報の信頼性の評価に利用できる シグナル（要素）がある ex) ツイートの傾向(リプライ・リツイート・被リツイート頻度…),ユーザ情報(フォロワーの数,…),Other Info(付加したURL先の情報,…), etc… ・ソーシャルメディアの情報のみから、ツイートの信用性について、自動的に評価できるかどうか？の試み。 9

10. 提案手法 概要図 学習フェーズ 分類器A※を作成 (NEWS or CHAT ) 1 Tweet 集合 Trend Topicを取得 学習フェーズ 分類器B※ を作成 (情報の信頼性の有無) 分類器Aの適用 NEWS UNSURE 分類器Bの適用 CHAT TRUE FALSE or 2 Tweet の分類(NEWS or CHAT) 3 情報の信用性を評価 ※ Mechanical Turk にてラベル付けを行った後 10

11. ① Trend Topic の取得 -Twitter Monitorの利用 - データセット概要 <付録> - What is “Twitter Monitor” ? 11

12. Twitter Monitorの利用 ・Twitter上のツイートを解析 （一定期間でのキーワードの頻出確率や、ツイートに付加されたURLなど…) ・流行のトピックとしてツイートをまとめてくれるもの [18] M. Mathioudakis and N. Koudas. TwitterMonitor: trend detection over the twitter stream. In Proceedings of the 2010 international conference on Management of data,pages 1155–1158. ACM, 2010. http://mydailymonitor.net/ 12

13. Trend Topicデータセット 概要 ・期間: 2カ月 ・1トピックの取得期間: 書き込まれた頻度がピークだった時間を中心に２日間のツイートを取得 ・取得数: 2500トピック以上 ・データセット対象: 1トピックが10,000ツイート以下のトピック （取得した全体の99%に相当する） ピーク 2日間 図 ：Google リアルタイム検索 Query: ”もう帰るんですか” 図 ：1トピックに含まれるツイート数 13

14. ② Tweet の分類 (学習データの作成方法は発表時間の都合上,割愛させていただきます) - ”NEWS” or “CHAT”の定義 - 分類器作成に使う特徴(Feature) - 具体的な特徴(Feature)リスト - 分類器Aの作成・結果 <付録> - Mechanical Turk とは? - 学習データ(評価者の作業) - 学習データ 方法・結果 14

15. “NEWS” or “CHAT”の定義 “NEWS”クラス: 投稿者の友達だけではなく、世間の関心を引くような実際の出来事・事実についての声明 “CHAT”クラス: 友達間での個人的な意見・会話・やり取りを基本とした単なるメッセージ。 15

16. 分類器作成に使う特徴(Feature) 先行研究を手掛かりに属性をリストアップ。[1,2,12,26] Message-based(メッセージの特徴) ツイートの長さ。RT, @reply 以下の文字を含んでいるかどうか？”?”,”!”,”^^”,”(*- -)” Positive or Negative, etc… User-based（ユーザの特徴) 年齢,ツイート数,フォロー数,フォロワー数,プロフィールの有無,URLの有無。 Propagation-based (拡散(RT)の特徴) 拡散の深さ(RT),平均深さと最大深さ, etc… Topic-based(トピックの特徴) 含まれているURLのドメインは有名(popular)なURLなのか？リツイートの頻度,ポストしたユーザの平均年齢, etc… 16

17. 具体的な特徴(Feature)リスト 17

18. 分類器Aの作成アルゴリズム・結果 ・Algorithm: “J48 tree” (C4.5決定木を拡張した) 採択理由: (SVM, ベイジアンネットワーク, decision trees, decision rulesなどの様々なアルゴリズムで試した結果、精度が一番良かったため。) 結果 適合率・再現率(F値 92.4%) 共にいい精度が得られた。 18

19. ③ 情報の信用性の評価 (学習データの作成方法は発表時間の都合上,割愛させていただきます) - 分類器作成時の特徴の選択 - 分類器Bの作成 - 分類器Bの結果 - 特徴と信用性との関係 <付録> - 学習データ(評価者の作業) - 学習データ作成 方法・結果 19

20. 分類器作成時の特徴(Feature)をどうするのか？ 最良優先探索(best-first)アルゴリズムにて 15の特徴(Feature)を選択 標準偏差 中央値 ユーザ 平均年齢 平均ツイート数 平均フォロワー数 平均フォローされている数 URLを含む頻度 平均感情スコア POSITIVE感情頻度 NEGATIVE感情頻度 短縮URL数 著者が書いた発言の割合 リプライ頻度 ?マーク頻度 スマイルマーク頻度 一人称を用いる頻度 RT最大深さ トピック 拡散 20

21. 分類器Bの作成 21 ・Mechanical Turkで 作成した学習データ ・前述の15の特徴 を用いて、 J48 treeアルゴリズム で決定木を作成した。 A: TRUE B: FALSE

22. 分類器Bの結果 22 学習データ計 747 topics テストデータ計 608 topics 判定結果 TRUE 306 topics FALSE 302 topics 結果 適合率・再現率(F値: 86.0%)ともに高精度な結果が得られた

23. 特徴(Feature)と信用性との関係 23 Non-Credibility Credibility ・多くリツイート(RT)されているツイート ・フォローされている数の多さ ・Negativeニュアンスをもつトピック etc… ・URL無ツイート ・ツイート数が未熟なユーザ ・Positiveニュアンスの頻度が低い etc… フォローされている数が多いユーザは、信用できるとされるツイートが多かった。 彼らはとても影響力のあるユーザなので、 自然とTwitterのソーシャルフィルターになっている。

24. 最後に - まとめ -今後の研究 - 私見 24

25. まとめ ツイッター上の流行のトピックに関して ・”報道価値のあるもの”(NEWS)と”友達間の会話”(CHAT)クラスに高精度で分類することができた。(F値:92.4%) ・情報の信用性の有無をソーシャルメディアに有る情報のみを利用して、高精度で判断することができた。(F値:86.0%) この高精度の結果から ”ソーシャルメディア上の情報のみから、信頼性を評価できる要素がある” という仮説を明らかにできたといえる。 また、その評価を可能とした特徴(Feature）と情報の信用性との関係について様々なことがわかった。 25

26. 今後の研究 データセット: ・大きなもの ・局所的なデータ（トピックの一番最初のツイートなど) 属性: ・情報の信用性に深く関連する特徴(Feature)探し。 ・表示させているアバターなどはどのような影響をもたらすのか？ 26

27. 私見 Positive ・精度の高さ、素晴らしい。 ・特徴(Feature)のための分析が豊富だった。 ・結局、影響力のあるユーザ(例: 孫正義)がリツイートしたら、このシステムでは、そのツイートの情報は正しと判断されてしまうと思う。 ・このシステムは影響力のあるユーザの判断に依存してしまうのではないか？ 人間でさえ判断ができない情報に対して、計算機が分類するのには無理があるのかもしれない。 27

28. ご清聴ありがとうございました Thank you for listening. Let’s move on a question and answer session. 28

29. 付録 - Twitter 基本用語集① - Twitter 基本用語集② - What is “Twitter Monitor” ? - What is “Mechanical Turk” ? - 学習データの作成方法 (分類器A,B) 29

30. Twitter 基本用語集①（本論文の理解に必要と思われる） Example Community @A_san @C_san @B_san Tweet(ツイート): 各ユーザが行う140文字以内の投稿 Timeline/TL (タイムライン): Twitterのページで他のユーザーや自分の投稿が表示される部分のことを示す言葉。 Follow(フォロー): あるユーザをフォローすると,自分のタイムラインに表示されるようになる。 Ex) @A_sanは@C_sanのみをフォローしているので、 @A_sanのタイムラインには @A_sanと @C_sanのTweetが表示される。 Followers(フォロワー): フォローしているユーザをさす。 Ex) @A_sanのフォロワーは @B_san, @C_san, @D_sanの3人。 @C_sanのフォロワーは@A_sanの1人。 @D_san : follow 30

31. Twitter 基本用語集②（本論文の理解に必要と思われる） Example Community Mention/reply(リプライ): ツイートの先頭に, ”@ユーザ名” をつけて,発言を行う行為。そのユーザに対して発言することを意味する。両者をフォローしていないと他のユーザのTLには表示されない。 Ex) @A_sanが@C_sanにMentionを行った場合、@B_sanのTLには、その発言が表示されないが、両者をフォローしている@D_sanには表示される。 Retweet / RT(リツイート): 返信(Reply)の場合その相手もフォローしていないとタイムラインに流れない仕様だが、多くの人に報知したい時など、他のユーザの発言を自分のフォロワーに共有したい場合に用いる。(公式RT,非公式RTがある) Ex) @A_sanがリツイートすると、@A_sanをフォローしている@B_san,@C_san,@D_sanのタイムラインに表示される。 @A_san @C_san @B_san @D_san : follow Hash tag(ハッシュタグ): ツイートに記号 # から始まる識別子をつけると一つのテーマに沿った投稿を横断的に見ることができるようになる。ユーザ達のツイートを一つのテーマにまとめて観覧することができる。 Ex) まだまだ、ありますが、実際にアカウントを作って、 体験するのが近道かと。 -> http://twitter.com 31

32. What is “Twitter Monitor”※?※ 現在はmyDailyMonitorという名前で公開されてます About myDailyMonitor is an online monitoring system that performs trend detection over the Twitter stream. The system identifies emerging topics (i.e. 'trends') on Twitter and provides meaningful analytics that synthesize an accurate description of each topic.myDailyMonitor is currently under development as a research project at the University of Toronto. System myDailyMonitor is written in Java and it runs on two Sun server machines. Its main components include (i) the Twitter streamlistener, a multi-threaded crawler that collects in real time over 15 million tweets per day, (ii) the trend detection module, which distills the collected data to identify trends and (iii) the trend analysis module, which employs text analysis algorithms to extract additional information about trends. http://mydailymonitor.net/ 32

33. Mechanical Turk とは? 33 Amazon Mechanical Turkとは、今まではソフトウェアに実行させていた処理の中でも、人間の方が得意であると思われる作業を、開発者がウェブ上に掲示することによって行ってもらうという市場形式のことである。 http://www.sophia-it.com/content/Amazon+Mechanical+Turk 詳しくはコチラ↓ https://www.mturk.com/mturk/welcome

34. 学習データ作成(評価者の作業) 評価者には以下のような作業が求められる。 ①それぞれに属するtopicの10ツイートとTwitter Monitor で表示される各々のtopicを代表するキーワードを見せる。 ② そのトピックに属しているツイートが、 ・現在,広がっている特定の出来事についての情報なのか?(NEWS) ・コメントや会話なのか？(CHAT) 尋ねる？ ③ 各々のトピックで、そのトピックについて評価者は短い説明を求められる。 ※ 情報が曖昧で、回答不可能と判断した場合、回答を無視できる。 Understanding a topic NEWSor CHAT ? Asking the reason 34

35. 学習データ作成 方法・結果 -無作為に選択した 383 topics -３つに分ける (3 HITs) -10日間の評価(公開)期間 -必ず7人に評価してもらう(each HIT) -7人中5人以上が同じクラスとした場合、クラスが決まる、それ以外は”UNSUREクラス”に属するものとする。 NEWSクラス 29.5% (113 topics) CHATクラス 34.9% (134 topics) UNSUREクラス 35.6% (136 topics) Result 35

36. 分類器Bの作成まで概略図 2524 topics 747 topics Mechanical Turk にて 学習データ作成 NEWS 分類器A CHAT UNSURE 36

37. 学習データ（評価者の作業） ・各々のトピックに対して、10tweetsを見せ、 ・そのトピックの信用性について、いずれかに属すか？評価者に判断してもらう。 (i) almost certainly true (ほぼ確実に正しい) (ii) likely to be false (嘘っぽい) (iii) almost certainly false (ほぼ確実に嘘) (iv) I can’t decide. (決められない) ・また、判断した根拠を短い文章で求める。 37

38. 学習データ作成 方法・結果 対象: NEWSクラスに分類された 747topics 評価者: 各々のトピックに対して7人に評価してもらう 判定基準： 7つの評価のうち少なくとも5つ以上の一致があれば、その評価値に定まる。それ以外は”Ambiguous”とした。 Result “almost certainly true” 41.0% (306 topics) “likely to be false” 31.8% (237 topics) “almost certainly false” 8.6% (65 topics) “Ambiguous” 18.6% (139 topics) 38