Recommandé
Contenu connexe
Tendances
En vedette
En vedette (20)
Similaire à ビッグデータとクラウドソーシング
Similaire à ビッグデータとクラウドソーシング (20)
Dernier
Dernier (10)
ビッグデータとクラウドソーシング
- 1. Copyright (C) 2012 Yahoo Japan Corporation. All Rights Reserved. ビッグデータとクラウドソーシング 第３３回データマイニング＋WEB＠東京 ヤフー（株） 事業戦略統括本部 Yahoo! JAPAN研究所 清水伸幸
- 2. P2自己紹介 清水伸幸 2011年- ヤフー（株） 事業戦略統括本部 Yahoo! JAPAN研究所。ク ラウドソーシング企画、自然言語処理、機械学習およびデータ マイニングの研究開発に従事。 博士 (情報工学) 2010年- 東京大学情報基盤センター特任講師。 2007年- 東京大学情報基盤センター特任助教。 2006年 ニューヨーク州立大学オルバニー校にて博士課程修了。
- 3. ヤフー株式会社 設立 ： 1996年1月31日 資本金 ： 80億2,200万円 売上高 ： 3,429億8,900万円 従業員数 ： 3,842人 （2013年3月31日現在） 売上構成比： マーケティングソリューション事業 68% コンシューマ事業 31% その他事業 2% (2012年度) 東証一部、ジャスダック 上場 ソフトバンク 35.44% ヤフーインク 34.74% ほか
- 4. P4アウトライン クラウドソーシングとは 現在のクラウドソーシング・ランドスケープ Crowdfunding, Collective Knowledge/Creativity, Open Innovation, Crowd Labor クラウドソーシング市場の成長率 クラウドソーシング具体例１ Open Innovation： Netflix Prize ビッグデータを用いた機械学習で成果を出すまでに必要な タスク設定・改良プロセス クラウドソーシング具体例２ Crowd Labor： Amazon Mechanical Turk, Yahoo!クラウドソーシング マイクロタスク型クラウドソーシングにおける課題 クラウドソーシング全体のまとめ
- 5. P5クラウドソーシングとは 2005年 Wired magazine の編集者 ジェフ・ハウによって提唱される 2006年6月 Wired magazine に The Rise of Crowdsourcing 記事が掲載 インターネットで不特定多数の人間との コミニュケーションが容易になったことで、 ビジネスが、以前であれば特定の人物を 雇用して行なっていた作業を、 不特定多数の人物に依頼するように なってきているのではないだろうか？ Crowd(群衆) Sourcing(調達先の選定、確保) 著作権が 存在するため削除
- 7. P7クラウドソーシング ランドスケープ ・Crowdfunding 募金を募って商品化を支援 Kickstarter ・Tools クラウドソーシングを行うツール、 アイディアの投稿・投票を管理する プラットフォームを提供 IdeaScale ・ Crowd Labor お金を払って作業をしてもらうタイプの クラウドソーシング Amazon Mechanical Turk ・ Civic Engagement 草の根活動や、災害時の対応支援 Crisis Commons ・ Collective Knowledge 皆の知識を集めて役立てる Wikipedia, CNN iReport ・ Collective Creativity ロゴのデザインや、写真などのアート系 iStockphoto, 99designs ・Community Building （アート以外の）同じ趣味の仲間を 集めて何かを作る Flying Dog Brewery--Open Source Beer ・Open Innovation エキスパートを集めて問題に チャレンジする Netflix Prize, Kaggle
- 10. Confidential :Discussion purpose only Copyright (C) 2012 Yahoo Japan Corporation. All Rights Reserved. クラウドソーシング具体例１ Open Innovation： Netflix Prize
- 13. P13ネットフリックス・プライズ 終了への道のり 2006年10月 Netflix Prize 米国オンラインDVDレンタル会社のNetflixが機械学習アルゴリズムのコンテストを開始。 2009年7月 世界中のプログラマーを巻き込み、186カ国の5169チームが挑んだ 3年にわたる開発競争を経て優勝者が決定し、コンテスト終了 コンテスト開始後、 2週間程度で、4％までの改善は達成 一年あまりで8.43％までの向上を実現 そこからの向上が困難だった。 多様なモデルを混ぜたアンサンブル学習を行うことが有効である ことが徐々に判明、当初、ライバルだったチームが協力関係へ。 2000時間以上の労力をかけ、最終的に107アルゴリ ズムの組み合わせからできたモデルが勝者となった
- 14. P14ネットフリックス・プライズ その後 2009年8月 Netfix Prizeの成功から続編を発表するも、プライバシー問題から実施 にいたらなかった。 これは、匿名化された位置情報が付与される予定だったものが、複数の データを統合することでプライバシーが侵害される恐れがあり、米連邦取 引委員会の調査を受けたほか、法律家による訴訟も起こされたため。 また、 Netflixのビジネスのモデルが、DVDの郵送から、ビデオのスト リーミング配信に急速に変わり、予測の条件が大幅に変わったため、 最も効果的だった以下の２つのモデル以外はサービスに実装されな かった Singular Value Decomposition (SVD) and Restricted Boltzmann Machines (RBM) クラウドソーシング自体は非常に有用だが、 課題を浮き彫りにする結果となった。
- 15. Confidential :Discussion purpose only Copyright (C) 2012 Yahoo Japan Corporation. All Rights Reserved. タスク設定・改良プロセス ビッグデータを用いた機械学習で 成果を出すまでに必要な
- 16. P16Open Innovationとビッグデータ解析 ビッグデータを用いた機械学習で成果を出すまでに必要な タスク設定・改良プロセス Open Innovation 型のクラウドソーシングを行うプロセス 社外公開のメリット • 社外にしか存在しない、分野を超えた専門知識の利用が推 進される。 参加者増加による競争の促進 社外公開のデメリット • プライバシーポリシー、知財、競争優位性（？）など 同じ
- 18. P18KPI 重要業績評価指標 KPI: サービスで最大化したい数値 機械学習で言えば二乗誤差などの評価指標 KPI = Key Performance Indicators =重要業績評価指標 =組織の目標達成の度合いを定義する指標 例：収益、ページビュー数、クリック率、その他 機械学習では AUC（Area Under the ROC Curve） 二乗誤差 適合率 再現率 などが使われる
- 26. P26本手法のメリット • チーム共通の客観的ゴールが設定できる • 声の大さではなく、客観的な評価が高いものを採用できる。 公平。(新人にもチャンスあり！) • 「計画→実験→評価」のサイクルを高速に回せる • ライブテストでは、数百の方式の比較しかできない。 • オフラインで評価は数万のパラメータのチューニングも可能 • おまけ • ライブテストなどの実配信のシステムを開発をする前に 「何を開発するべきか」がわかる (ログデータから、実配信で本当に必要になるデータがわかる）
- 27. Confidential :Discussion purpose only Copyright (C) 2012 Yahoo Japan Corporation. All Rights Reserved. クラウドソーシング具体例２ Crowd Labor： Amazon Mechanical Turk, Yahoo!クラウドソーシング
- 29. P29Amazon Mechanical Turk タスクの電子市場 • 商品説明ページの重複を見つ けるために、当初はアマゾン社 内用に開発、その後、外部に 開放 • ユーザーインターフェースのカ スタマイズにより、非常に安い 価格で様々なタスクを投稿可 能 • タスクは一般に単純な繰り返 し作業の類であり、ワーカーの 収入は1タスクに2～3 セント であることも • 手数料10％ マイクロタスクと呼ばれる単純なタスクのクラウドソーシング 著作権が 存在するため削除
- 32. P32Y!クラウドソーシング FAQ Q 登録者数は？ A 現在では２０万人以上となっております。 Q １日にできるタスクの数が少ないです。 A 非常に多くの皆様にご利用いただいており、なるべく 幅広いユーザーの方に 実施いただけるよう、一人 あたりの実施できる件数を少なくしております。 Q Yahoo! クラウドソーシングサービスの法的位置づけは どんなものですか？ A 懸賞広告となっております。
- 33. P33筑波大学とY!クラウドソーシングの共同研究スタート Yahoo! JAPANを運営するヤフー株式会社（以下、Yahoo! JAPAN）と国立 大学法人筑波大学（以下、筑波大学）は、5年間の計画で、クラウドソーシング におけるマイクロタスクの高度化・実用化を目指し、共同研究を開始いたしま した。 本共同研究では、Yahoo! JAPANがクラウドソーシング事業で得られる様々 な情報を筑波大学に提供し、マイクロタスクを用いたクラウドソーシングの研 究で日本の第一人者である図書館情報メディア系 森嶋厚行教授と、Yahoo! JAPAN研究所を中心とした研究チームがクラウドソーシングで解決できる新 たなタスクの検討・実験などを行います。Yahoo! JAPANはその研究成果を 活用して、クラウドソーシングを "より高度な分業"という便利な仕組みとして進 化させていくことで、世の中の課題解決につなげてまいります。 Yahoo! JAPANを運営するヤフー株式会社（以下、Yahoo! JAPAN）と国立 大学法人筑波大学（以下、筑波大学）は、5年間の計画で、クラウドソーシング におけるマイクロタスクの高度化・実用化を目指し、共同研究を開始いたしま した。 本共同研究では、Yahoo! JAPANがクラウドソーシング事業で得られる様々 な情報を筑波大学に提供し、マイクロタスクを用いたクラウドソーシングの研 究で日本の第一人者である図書館情報メディア系 森嶋厚行教授と、Yahoo! JAPAN研究所を中心とした研究チームがクラウドソーシングで解決できる新 たなタスクの検討・実験などを行います。Yahoo! JAPANはその研究成果を 活用して、クラウドソーシングを "より高度な分業"という便利な仕組みとして進 化させていくことで、世の中の課題解決につなげてまいります。 http://blogs.yahoo.co.jp/yj_pr_blog/24823176.html ～高度な分業による世の中の課題解決を目指して～～高度な分業による世の中の課題解決を目指して～ クラウドソーシングでの産学連携も始まるクラウドソーシングでの産学連携も始まる
- 34. Confidential :Discussion purpose only Copyright (C) 2012 Yahoo Japan Corporation. All Rights Reserved. マイクロタスク型 クラウドソーシングにおける課題 成果物の質に対する不安を取り除くこと 適切なタスク設定を見つけること 実験を効率化するプラットフォームとなること
- 35. P35成果物の質に対する不安を取り除くこと 日本のマイクロタスクをこなすユーザー（Y!用語：エージェント）は、 概して真面目で、きちんとタスクをこなす人が大半だが、ポイ ント狙いで数をこなそうとして、不注意になるエージェントや、 スクリプトなどで自動化しようとするスパマーも存在する 対策 ・ダミー問題 – タスクに答えがわかっているクイズを混ぜてエージェントがまじめにやっ ているか判別する ・複数エージェントによる評価 – 同じタスクを複数のエージェントにしてもらうことで精度を上げる ・役割を分けた段階的なチェックの仕組み – タスク１で投稿してもらったのち、タスク２の投票で良し悪しを判断する ・機械学習によるノイズ・スパマー除去 ・メカニズムデザインによるインセンティブ設計 等
- 36. P36適切なタスク設定を見つけること タスク設定の難しさ タスクの設問を考えるユーザー（Y!用語：オーナー）は、厳密な ガイドラインを設定しないため、つい、自分の意図しない解釈 が存在したり、曖昧な質問をしがち – 設問が曖昧なのに、自分が期待しない答えが多数になるとスパマーを 疑ったりする結果になる – これに気づくためには試行錯誤による市場との対話が必要 試行錯誤の自動化・効率化 試行錯誤を効率的に行う手法は未解決の問題 – タスクを設定するオーナーの手間を省き、 – タスクを行うエージェントに迷惑にならないよう、 – 複雑なタスクの作り込みや、試行錯誤を自動化したい
- 37. P37タスクの意図を正確に伝えることの難しさ 固有名詞抽出の技術を評価するため、抽出したある名詞X につ いて、クラウドソーシングで「X は飲食店の名前ですか？」と、 質問する。結果は少なくとも以下の３つの解釈が混じったもの となる。 – （１）店としての存在の有無にかかわらず、文字列として飲食店らしい かどうかで判断すればよい、という解釈。 – （２）検索などで、店として現実に開店していることを確認して答えを出 す、という解釈。 – （３）よくある店の知名度調査だと解釈し、店の名前を以前に聞いたこ とがあるかないかで返答すれば良い、という解釈。 一見単純そうな質問でも、タスク依頼者の意図とタスクを行う ユーザーの解釈が分かれる事態は頻繁に起こる。 クラウドとの対話が必要 37
- 38. P38実験を効率化するプラットフォームとなること 成果物の質に対する不安を 取り除くこと – ダミー問題や複数チェック – 事後的に機械学習でノイズ やスパムを取り除く – メカニズムデザインでスパム のインセンティブを減らす 適切なタスク設定を見つけ 出すこと – 成功：大勢のエージェントか ら結果を得られる – 失敗：無駄な労力をする人 が増える 薬の効き目に対する不安を 取り除くこと – 被験者のランダム化 – プラシーボ – コントロール・グループ 化学物質の効能を発見する こと – 成功：大勢の病で苦しんで いる人を治癒できる – 失敗：副作用で苦しむ人が 増える 成果物を得るまでの試行錯誤 新薬発見のプロセス
- 42. P42サーベイドクター