Contenu connexe
Similaire à リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介 (20)
Plus de Recruit Technologies (20)
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
- 5. 自己紹介
5(C) Recruit Technologies Co.,Ltd. All rights reserved.
池田 英哲(いけだ ひであき)
株式会社 リクルートテクノロジーズ
ビッグデータ部
IDポイント ビッグデータインフラグループ
2003年~2006年 某SIer
Flashを用いたWebアプリケーション開発等を担当
2006年~2013年 某コンサル会社
インフォメーションマネジメント(BI・DWH)関連部署に配属
Analytics部隊の設立に携わる
2014年1月~ リクルートテクノロジーズ
入社後一貫して、リクルートIDプロジェクトのDWH構築・運用を担当
職歴
- 9. リクルートのビジネスモデル ~ リボンモデル
9(C) Recruit Technologies Co.,Ltd. All rights reserved.
マッチング
カスタマー
(一般ユーザー)
クライアント
(サービス提供企業)
世界中の生活者と産業界に
「まだ、ここにない、出会い。」を提供します
- 17. ビッグデータとは?
17(C) Recruit Technologies Co.,Ltd. All rights reserved.
ビッグデータ=大量データ
Volume
量
Variety
多様性
Velocity
速度
Volume
行動履歴・ソーシャル・センサ(GPS)等
Variety
構造化データだけでなく、
文書・画像・動画・音声などの非構造データ
Velocity
リアルタイムに発生するCSの嗜好データ
スマホ/アプリデータ
利用者・利用パターンの増加
- 18. ビッグデータ活用事例① 経験知をモデル化
18(C) Recruit Technologies Co.,Ltd. All rights reserved.
豊富な経験値を持つCAが創りだした過去データ・ロジックをレコメンド作成に利用
求人検索システム
求職者 CA(キャリアアドバイザー)
応募
求人紹介
検索
レコメンドリスト
求人紹介(メール送付・管理画面表示)
レコメンドロジック
求職者 求人 確信度
001 O社 0.5
001 X社 0.3
001 Y社 0.2 求職者
A社 O社 P社 Q社 ・・・
B社 X社 Y社 Z社 ・・・
- 21. ビッグデータ基盤
ビッグデータ(データの量/種類/頻度の増加)への対応と、利用者の増加
に合わせ、基盤は常に進化
21(C) Recruit Technologies Co.,Ltd. All rights reserved.
データソース データ格納 プレゼンテーション 利用者
外部データ
Hadoop
エコシステム
高度分析やモデル作成
レポート/モニタリング
ビジネスインサイト
(マーケター)
機械学習やモデル実装
エンドユーザー
(エグゼ/営業
/マネージャ)
(プロデューサ/事業
企画)
データ
サイエンティスト
(高度分析者)
データ
サイエンティスト
(エンジニア)
行動ログ
事業DB
事業Hadoop
全社DWH
中央Hadoop
• モニタリング
• レポート
• モデル作成
• データ収集
• 整形・加工
• データストレージ
• 高速分析処理
Webアクセスログ
アプリログ
PUSH通知ログ
ビーコンログ
- 28. データソース データ格納 プレゼンテーション 利用者
外部データ
Hadoop
エコシステム
高度分析やモデル作成
レポート/モニタリング
ビジネスインサイト
(マーケター)
機械学習やモデル実装
エンドユーザー
(エグゼ/営業
/マネージャ)
(プロデューサ/事業
企画)
データ
サイエンティスト
(高度分析者)
データ
サイエンティスト
(エンジニア)
行動ログ
事業DB
事業Hadoop
全社DWH
中央Hadoop
• モニタリング
• レポート
• モデル作成
• データ収集
• 整形・加工
• データストレージ
• 高速分析処理
Webアクセスログ
アプリログ
PUSH通知ログ
ビーコンログ
ビッグデータ活用に伴い…
(C) Recruit Technologies Co.,Ltd. All rights reserved.
データの質・量の増加 利用者の増加
- 29. メタデータ管理Web構築の背景
データ意味情報(メタデータ)の問い合わせに忙殺される。
29(C) Recruit Technologies Co.,Ltd. All rights reserved.
最新の会員情報はどこに!?
XXの意味を教えてください!
利用者
テーブル定義書(ファイル)
DWH
Select * from XX limit 100
Select * from YY limit 100
Select * from ZZ limit 100
・・・
開発者
システム管理者
分からないです…
いつの間にか変更された
引用元)気がつくと机がぐちゃぐちゃになっているあなたへ
ISBN 978-4-7942-1146-0
“平均的なビジネスマンは、探し物をするためだけ
に、1年間で約150時間を費やしている”
利用者がわかる形で回答
×
データの質・量の増加
利用者の増加
- 32. 32(C) Recruit Technologies Co.,Ltd. All rights reserved.
ココに来れば必要な情報があるという状態を作り出し、分析担当者のデータ
特定に至る時間やシステム担当者の負担を軽減させる。
メタデータ管理Webで実現した世界
探す手間が省ける
ナレッジが共有される
利用者
テーブル定義書(ファイル)
システム管理者
探す
メタデータ管理Web
DWH
システム管理者
問合せが減る!
潜在的なニーズを拾える!
問合せが減る!
自分のDBの最新情報が把握できる!
開発者
自動
自動
自動
- 41. 41(C) Recruit Technologies Co.,Ltd. All rights reserved.
こういった取組でデータ活用を進めています
データの収集・整形・提供にも大きく苦労されると
思いますが、
実際に利用する際に活用できる基盤を提供できたと
自負してます
- 44. ②F/S検証・効果算出 → 起案
簡単な仕組み( MVP minimum viable product:実用最小限の製品)を
開発、公開。
44(C) Recruit Technologies Co.,Ltd. All rights reserved.
簡易システム構築・公開
convert
効果ありそう!検索機能の充実等、
利用者が求めている機能もわかった!
DB管理者
データ利用者 DB開発者/システム開発者
検索が便利!
意味説明が
分かりやすい!
統一の定義書が
すぐ手に入る!
メモを残したい 最新情報がない履歴が見たい