Submit Search
Upload
第4回関西ソーシャルゲーム勉強会 ソーシャルゲームのビジネスインテリジェンス
•
13 likes
•
6,953 views
OCHI Shuji
Follow
第4回関西ソーシャルゲーム勉強会で「ソーシャルゲームのビジネスインテリジェンス」と題して発表しました。25分程度。
Read less
Read more
Business
Report
Share
Report
Share
1 of 52
Download now
Download to read offline
Recommended
Japanr01
Japanr01
Yohei Sato
20160120 CODE for IKOMA活動紹介@登大路カフェ
20160120 CODE for IKOMA活動紹介@登大路カフェ
Takuya Sato
Core Animation 使って見た
Core Animation 使って見た
OCHI Shuji
Manual en
Manual en
OCHI Shuji
スペースハルク
スペースハルク
OCHI Shuji
iOS ジオフェンシングで簡単リアル連動
iOS ジオフェンシングで簡単リアル連動
OCHI Shuji
神戸AEDマップの紹介
神戸AEDマップの紹介
OCHI Shuji
第3回関西ソーシャルゲーム勉強会 アクセス時間帯の分析
第3回関西ソーシャルゲーム勉強会 アクセス時間帯の分析
OCHI Shuji
Recommended
Japanr01
Japanr01
Yohei Sato
20160120 CODE for IKOMA活動紹介@登大路カフェ
20160120 CODE for IKOMA活動紹介@登大路カフェ
Takuya Sato
Core Animation 使って見た
Core Animation 使って見た
OCHI Shuji
Manual en
Manual en
OCHI Shuji
スペースハルク
スペースハルク
OCHI Shuji
iOS ジオフェンシングで簡単リアル連動
iOS ジオフェンシングで簡単リアル連動
OCHI Shuji
神戸AEDマップの紹介
神戸AEDマップの紹介
OCHI Shuji
第3回関西ソーシャルゲーム勉強会 アクセス時間帯の分析
第3回関西ソーシャルゲーム勉強会 アクセス時間帯の分析
OCHI Shuji
Cocoa勉強会pdf関連
Cocoa勉強会pdf関連
OCHI Shuji
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
OCHI Shuji
2012 05-19第44回cocoa勉強会発表資料
2012 05-19第44回cocoa勉強会発表資料
OCHI Shuji
モノタロウを支える Solr による商品検索システム
モノタロウを支える Solr による商品検索システム
株式会社MonotaRO Tech Team
Py "Baseball" Data入門〜サービス(と野球)を支えるデータ分析基盤 #monotarotech
Py "Baseball" Data入門〜サービス(と野球)を支えるデータ分析基盤 #monotarotech
Shinichi Nakagawa
モノタロウの商品データ連携について
モノタロウの商品データ連携について
株式会社MonotaRO Tech Team
第1回関西ソーシャルゲーム勉強会 kpi発表
第1回関西ソーシャルゲーム勉強会 kpi発表
OCHI Shuji
【SED】勉強会 第5回ソーシャルゲームの行動解析
【SED】勉強会 第5回ソーシャルゲームの行動解析
zyanki
ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT
ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT
OCHI Shuji
いじめられた子供を支援する 仮想世界ピグパーティの コミュニケーション
いじめられた子供を支援する 仮想世界ピグパーティの コミュニケーション
cyberagent
Data Science Workshop 「クリエイティブAI」で新たな価値を創造する
Data Science Workshop 「クリエイティブAI」で新たな価値を創造する
Masaya Mori
秋葉原IT戦略研究所のご紹介(2016/05/04)
秋葉原IT戦略研究所のご紹介(2016/05/04)
Junichi Noda
ShangriLa Anime APIを利用してアニメ関連のビッグデータ解析を最速で行う
ShangriLa Anime APIを利用してアニメ関連のビッグデータ解析を最速で行う
Junichi Noda
秋葉原IT戦略研究所のご紹介
秋葉原IT戦略研究所のご紹介
Junichi Noda
Shinyを自由に使ってみる
Shinyを自由に使ってみる
Masanori Takano
IKZAP(育児ゼロアクションプロジェクト)開発裏話
IKZAP(育児ゼロアクションプロジェクト)開発裏話
英明 伊藤
さくらのIoTプラットフォーム「sakura.io」を使ってみよう
さくらのIoTプラットフォーム「sakura.io」を使ってみよう
法林浩之
SIGSPATIAL2020 参加報告
SIGSPATIAL2020 参加報告
Fumihiko Takahashi
データサイエンティスト養成読本の解説+書き忘れたこと
データサイエンティスト養成読本の解説+書き忘れたこと
Tokoroten Nakayama
kontagent紹介資料
kontagent紹介資料
Eiji Hachiya
関西Itコミュニティ集まれ!デブサミ名物コミュニティlt大会(発表版)
関西Itコミュニティ集まれ!デブサミ名物コミュニティlt大会(発表版)
rip jyr
2017年下期コーポレートフェロー募集資料 活動紹介 葛城友香さん
2017年下期コーポレートフェロー募集資料 活動紹介 葛城友香さん
Code for Japan
More Related Content
Viewers also liked
Cocoa勉強会pdf関連
Cocoa勉強会pdf関連
OCHI Shuji
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
OCHI Shuji
2012 05-19第44回cocoa勉強会発表資料
2012 05-19第44回cocoa勉強会発表資料
OCHI Shuji
モノタロウを支える Solr による商品検索システム
モノタロウを支える Solr による商品検索システム
株式会社MonotaRO Tech Team
Py "Baseball" Data入門〜サービス(と野球)を支えるデータ分析基盤 #monotarotech
Py "Baseball" Data入門〜サービス(と野球)を支えるデータ分析基盤 #monotarotech
Shinichi Nakagawa
モノタロウの商品データ連携について
モノタロウの商品データ連携について
株式会社MonotaRO Tech Team
第1回関西ソーシャルゲーム勉強会 kpi発表
第1回関西ソーシャルゲーム勉強会 kpi発表
OCHI Shuji
【SED】勉強会 第5回ソーシャルゲームの行動解析
【SED】勉強会 第5回ソーシャルゲームの行動解析
zyanki
ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT
ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT
OCHI Shuji
Viewers also liked
(9)
Cocoa勉強会pdf関連
Cocoa勉強会pdf関連
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
2012 05-19第44回cocoa勉強会発表資料
2012 05-19第44回cocoa勉強会発表資料
モノタロウを支える Solr による商品検索システム
モノタロウを支える Solr による商品検索システム
Py "Baseball" Data入門〜サービス(と野球)を支えるデータ分析基盤 #monotarotech
Py "Baseball" Data入門〜サービス(と野球)を支えるデータ分析基盤 #monotarotech
モノタロウの商品データ連携について
モノタロウの商品データ連携について
第1回関西ソーシャルゲーム勉強会 kpi発表
第1回関西ソーシャルゲーム勉強会 kpi発表
【SED】勉強会 第5回ソーシャルゲームの行動解析
【SED】勉強会 第5回ソーシャルゲームの行動解析
ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT
ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT
Similar to 第4回関西ソーシャルゲーム勉強会 ソーシャルゲームのビジネスインテリジェンス
いじめられた子供を支援する 仮想世界ピグパーティの コミュニケーション
いじめられた子供を支援する 仮想世界ピグパーティの コミュニケーション
cyberagent
Data Science Workshop 「クリエイティブAI」で新たな価値を創造する
Data Science Workshop 「クリエイティブAI」で新たな価値を創造する
Masaya Mori
秋葉原IT戦略研究所のご紹介(2016/05/04)
秋葉原IT戦略研究所のご紹介(2016/05/04)
Junichi Noda
ShangriLa Anime APIを利用してアニメ関連のビッグデータ解析を最速で行う
ShangriLa Anime APIを利用してアニメ関連のビッグデータ解析を最速で行う
Junichi Noda
秋葉原IT戦略研究所のご紹介
秋葉原IT戦略研究所のご紹介
Junichi Noda
Shinyを自由に使ってみる
Shinyを自由に使ってみる
Masanori Takano
IKZAP(育児ゼロアクションプロジェクト)開発裏話
IKZAP(育児ゼロアクションプロジェクト)開発裏話
英明 伊藤
さくらのIoTプラットフォーム「sakura.io」を使ってみよう
さくらのIoTプラットフォーム「sakura.io」を使ってみよう
法林浩之
SIGSPATIAL2020 参加報告
SIGSPATIAL2020 参加報告
Fumihiko Takahashi
データサイエンティスト養成読本の解説+書き忘れたこと
データサイエンティスト養成読本の解説+書き忘れたこと
Tokoroten Nakayama
kontagent紹介資料
kontagent紹介資料
Eiji Hachiya
関西Itコミュニティ集まれ!デブサミ名物コミュニティlt大会(発表版)
関西Itコミュニティ集まれ!デブサミ名物コミュニティlt大会(発表版)
rip jyr
2017年下期コーポレートフェロー募集資料 活動紹介 葛城友香さん
2017年下期コーポレートフェロー募集資料 活動紹介 葛城友香さん
Code for Japan
シビックテックにとってのオープンデータ
シビックテックにとってのオープンデータ
Kouji Kozaki
地域デザイン×オープンデータ
地域デザイン×オープンデータ
Iwao KOBAYASHI
浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ
浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ
Naoyuki Yamada
世界最安値!? 鯖江産コンピューターIchigoJam 〜福井技術者の集い その2〜
世界最安値!? 鯖江産コンピューターIchigoJam 〜福井技術者の集い その2〜
Taisuke Fukuno
LTを支える技術(LLD'11 Winter)
LTを支える技術(LLD'11 Winter)
masayoshi takahashi
Demonstration of Einstein Language with Platform Event
Demonstration of Einstein Language with Platform Event
Takahito Miyamoto
「HOME'Sデータセット」を通じた不動産分野の研究活性化
「HOME'Sデータセット」を通じた不動産分野の研究活性化
Yoji Kiyota
Similar to 第4回関西ソーシャルゲーム勉強会 ソーシャルゲームのビジネスインテリジェンス
(20)
いじめられた子供を支援する 仮想世界ピグパーティの コミュニケーション
いじめられた子供を支援する 仮想世界ピグパーティの コミュニケーション
Data Science Workshop 「クリエイティブAI」で新たな価値を創造する
Data Science Workshop 「クリエイティブAI」で新たな価値を創造する
秋葉原IT戦略研究所のご紹介(2016/05/04)
秋葉原IT戦略研究所のご紹介(2016/05/04)
ShangriLa Anime APIを利用してアニメ関連のビッグデータ解析を最速で行う
ShangriLa Anime APIを利用してアニメ関連のビッグデータ解析を最速で行う
秋葉原IT戦略研究所のご紹介
秋葉原IT戦略研究所のご紹介
Shinyを自由に使ってみる
Shinyを自由に使ってみる
IKZAP(育児ゼロアクションプロジェクト)開発裏話
IKZAP(育児ゼロアクションプロジェクト)開発裏話
さくらのIoTプラットフォーム「sakura.io」を使ってみよう
さくらのIoTプラットフォーム「sakura.io」を使ってみよう
SIGSPATIAL2020 参加報告
SIGSPATIAL2020 参加報告
データサイエンティスト養成読本の解説+書き忘れたこと
データサイエンティスト養成読本の解説+書き忘れたこと
kontagent紹介資料
kontagent紹介資料
関西Itコミュニティ集まれ!デブサミ名物コミュニティlt大会(発表版)
関西Itコミュニティ集まれ!デブサミ名物コミュニティlt大会(発表版)
2017年下期コーポレートフェロー募集資料 活動紹介 葛城友香さん
2017年下期コーポレートフェロー募集資料 活動紹介 葛城友香さん
シビックテックにとってのオープンデータ
シビックテックにとってのオープンデータ
地域デザイン×オープンデータ
地域デザイン×オープンデータ
浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ
浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ
世界最安値!? 鯖江産コンピューターIchigoJam 〜福井技術者の集い その2〜
世界最安値!? 鯖江産コンピューターIchigoJam 〜福井技術者の集い その2〜
LTを支える技術(LLD'11 Winter)
LTを支える技術(LLD'11 Winter)
Demonstration of Einstein Language with Platform Event
Demonstration of Einstein Language with Platform Event
「HOME'Sデータセット」を通じた不動産分野の研究活性化
「HOME'Sデータセット」を通じた不動産分野の研究活性化
Recently uploaded
Japan IT Week 2024 Brochure by 47Billion
Japan IT Week 2024 Brochure by 47Billion
Data Analytics Company - 47Billion Inc.
株式会社ベクトル総研会社概要 Vector Research Institute (VRI) Corporate Profile
株式会社ベクトル総研会社概要 Vector Research Institute (VRI) Corporate Profile
vrihomepage
JAPAN WEB3.0 AWARD 2023 ブロックチェーン(NFT)技術を活用したアイディア 優秀賞作品 遺3.0相続
JAPAN WEB3.0 AWARD 2023 ブロックチェーン(NFT)技術を活用したアイディア 優秀賞作品 遺3.0相続
Yusuke Katsuma
エンジニア採用のミスマッチを防ぐコーディング試験サービス『HireRoo(ハイヤールー)』
エンジニア採用のミスマッチを防ぐコーディング試験サービス『HireRoo(ハイヤールー)』
Kousuke Kuzuoka
株式会社フィジオ会社説明資料|採用の際の福利厚生やカルチャーなどを紹介しています
株式会社フィジオ会社説明資料|採用の際の福利厚生やカルチャーなどを紹介しています
chizurumurakami
ROMS_recruting_deck_for_website_20240322.pdf
ROMS_recruting_deck_for_website_20240322.pdf
hirokisawa3
HRMOS(ハーモス)タレントマネジメント_ご紹介資料_Saleshub掲載用
HRMOS(ハーモス)タレントマネジメント_ご紹介資料_Saleshub掲載用
wataruhonda3
HCCソフト株式会社 2025年新卒採用向け 会社紹介・採用情報資料------
HCCソフト株式会社 2025年新卒採用向け 会社紹介・採用情報資料------
ssusercbaf23
hakuten_company profile for saleshub_202404
hakuten_company profile for saleshub_202404
keiibayashi
chouhou_obuse_reiwa6nenn_4_2404slide.pdf
chouhou_obuse_reiwa6nenn_4_2404slide.pdf
ssuser31dbd1
第15回販促コンペ 審査員個人賞(林 知幸 氏) アルカナ? アディダスジャパン
第15回販促コンペ 審査員個人賞(林 知幸 氏) アルカナ? アディダスジャパン
Yusuke Katsuma
株式会社AllAdsと申します。サービス紹介資料で御座いますので、是非ご覧くださいませ。
株式会社AllAdsと申します。サービス紹介資料で御座いますので、是非ご覧くださいませ。
takuyamatsumoto29
Recently uploaded
(12)
Japan IT Week 2024 Brochure by 47Billion
Japan IT Week 2024 Brochure by 47Billion
株式会社ベクトル総研会社概要 Vector Research Institute (VRI) Corporate Profile
株式会社ベクトル総研会社概要 Vector Research Institute (VRI) Corporate Profile
JAPAN WEB3.0 AWARD 2023 ブロックチェーン(NFT)技術を活用したアイディア 優秀賞作品 遺3.0相続
JAPAN WEB3.0 AWARD 2023 ブロックチェーン(NFT)技術を活用したアイディア 優秀賞作品 遺3.0相続
エンジニア採用のミスマッチを防ぐコーディング試験サービス『HireRoo(ハイヤールー)』
エンジニア採用のミスマッチを防ぐコーディング試験サービス『HireRoo(ハイヤールー)』
株式会社フィジオ会社説明資料|採用の際の福利厚生やカルチャーなどを紹介しています
株式会社フィジオ会社説明資料|採用の際の福利厚生やカルチャーなどを紹介しています
ROMS_recruting_deck_for_website_20240322.pdf
ROMS_recruting_deck_for_website_20240322.pdf
HRMOS(ハーモス)タレントマネジメント_ご紹介資料_Saleshub掲載用
HRMOS(ハーモス)タレントマネジメント_ご紹介資料_Saleshub掲載用
HCCソフト株式会社 2025年新卒採用向け 会社紹介・採用情報資料------
HCCソフト株式会社 2025年新卒採用向け 会社紹介・採用情報資料------
hakuten_company profile for saleshub_202404
hakuten_company profile for saleshub_202404
chouhou_obuse_reiwa6nenn_4_2404slide.pdf
chouhou_obuse_reiwa6nenn_4_2404slide.pdf
第15回販促コンペ 審査員個人賞(林 知幸 氏) アルカナ? アディダスジャパン
第15回販促コンペ 審査員個人賞(林 知幸 氏) アルカナ? アディダスジャパン
株式会社AllAdsと申します。サービス紹介資料で御座いますので、是非ご覧くださいませ。
株式会社AllAdsと申します。サービス紹介資料で御座いますので、是非ご覧くださいませ。
第4回関西ソーシャルゲーム勉強会 ソーシャルゲームのビジネスインテリジェンス
1.
ソーシャルゲームの ビジネスインテリジェンス 第4回関西ソーシャルゲーム勉強会 KLab株式会社 開発本部データ分析G 越智修司 13年5月20日月曜日
2.
自己紹介 •越智 修司(神戸市在住) •開発本部 データ分析グループ所属 •
Felica/Edy,ガラケサイト,銀行アプリ,きせかえ • アプリ・サービスのプロトタイピング • 有名アーティスト・アイドルのファンクラブアプリ開発 • 最近はデータ解析 • python,Rなど @ponpoko1968 13年5月20日月曜日
3.
作ったもの 「クリップリーダー」 電子書籍リーダー • 自炊PDFに特化 • evernote連携 •
段組書籍 「勤怠くん」 勤怠メールを素早く送信 iPhone版 (無料) iPad版 (85円) 13年5月20日月曜日
4.
データ分析グループ 横断的にデータの面倒を見る技術者集団 13年5月20日月曜日
5.
31サイト(分析対象分) 数千万PV/日/タイトル KLabのソーシャルゲーム 13年5月20日月曜日
6.
ラブライブ! スクールアイドルフェスティバル 大ヒット御礼!! 13年5月20日月曜日
7.
flyshot Golf 13年5月20日月曜日
8.
今日のテーマ • データ分析グループの紹介 • データ分析グループの課題 •
いま取り組んでいること 13年5月20日月曜日
9.
データ分析グループの 提供するサービス • Webサイト • 各種データのグラフが閲覧できます •
速報メール • 前日のkpi速報値がメールで送信され ます。 • データのダウンローダー 13年5月20日月曜日
10.
組織の特徴 • メンバーのバックグラウンド • モバイルサイト・ソーシャルゲーム開発経験 •
統計の知識 • 業務システムの経験は比較的少ない • 試行錯誤を重ねつつ分析システムを作ってきた • 発足時点で複数のコンテンツが稼働していた • 限られた人数で横断的に活動する工夫 13年5月20日月曜日
11.
技術的特徴 1 • Python •
運用に用いる • 可読性・保守性 • 豊富なライブラリ • 統計 (Numpy,pandas) • S3(boto) • Excel (pyexcelerator) • R • 探索的な分析 13年5月20日月曜日
12.
技術的特徴 2 •AWSを全面的に使用 •EC2 •RDS(MySQL) •S3 •EMR 13年5月20日月曜日
13.
システム構成図 分析システムコンテンツ側システム S3Web server バッチ サーバ Log Log MySQL Log snapshot 010010010001 110011001110 111110111111 11 010010010001 110011001110 111110111111 11 EMR RDS EC2 Log snapshot 13年5月20日月曜日
14.
最近の変化 • 業界の競争激化 • 差別化→多様化 •
スマホネイティブ →ゲームの複雑化 • =KPIの多様化・複雑化に直結 • 市場の成長と成熟 • 広告・マーケティング手段が増えてきた • 効果測定 13年5月20日月曜日
15.
要望と課題 • 可視化 • 多次元性 •
対象データの絞り込み • 客単価 • 各種ゲーム内パラメータ • リアルタイム性 13年5月20日月曜日
16.
多次元性 • ゲーム途中での離脱度 • レベルxUU •
DAUxクエスト進度 • レベル帯x各種ゲーム内行動回数 13年5月20日月曜日
17.
分析用DBの高速化 ※両者は直交していない※ 可視化 多次元性 BIスイート リアルタイム性 13年5月20日月曜日
18.
BI • Business Intelligence •
ビジネスインテリジェンス 13年5月20日月曜日
19.
インテリジェンス • インテリジェンスは既に述べたとおり、知能やそれの働き、あ るいは知能が働く上で利用する情報群などを内包した概念であ るが、物を考える能力があるからといって、或いは情報が集積 されているからといって、それがインテリジェンスの概念に相 当する訳ではなく、その双方が って正しく機能することがイ ンテリジェンスであると解される。 •
wikipediaより 13年5月20日月曜日
20.
BI • 主な要素 • ETL(Extract/Transform/Load) •
レポーティング・ダッシュボード • OLAP 13年5月20日月曜日
21.
ETL • データの抽出(Extract) • 加工(Transform) •
格納(Load) • ひたすら地道に • 多数コンテンツを持っている会社は大体苦労している模様 • 事前の準備大事 • 調整と交渉 • インフラ部隊との連携 • ログフォーマットの統一など 13年5月20日月曜日
22.
レポーティング・ダッシュボード • 読んで字の通り • 情報統制上、閲覧権限がきめ細かくで きること 13年5月20日月曜日
23.
OLAP • On-Line Analytical
Processing (オーラップと発音) ユーザがリアルタイムに、複数の分析 軸を組み合わせて多角的にデータを分 析するための仕組み 13年5月20日月曜日
24.
OLAP • 多次元データ • ソーシャルゲームで言うと、、、 •
PV • 売り上げ • 客単価 • 課金率 • 時間軸(毎時、毎日、週間、月間、四半期..) • アプリ • キャリア・(ガラケ/スマホ) • PF (モバゲー/GREE/mixi/apple...) • ゲーム内パラメータ • 行動履歴 13年5月20日月曜日
25.
OLAP-cube 出典: http://thinkit.co.jp/article/1173/1 13年5月20日月曜日
26.
用語 • ディメンジョン • 分類変数 •
分類軸 • レベル • 分類項目 • 年月日 • レベル(プレイヤーの) • アイテムの種類 • メジャー • 測定値、観測値 • 売り上げ • 行動回数 13年5月20日月曜日
27.
OLAPエンジン • 多次元データモデルからリレーショナ ルデータモデルへの変換を行う • RDBに入れたデータを多次元にみせて くれるもの 13年5月20日月曜日
28.
MDX • MultiDimensional EXpression •
多次元データを切り出すためのクエリー言語 • 方言はあるものの、多次元データ処理のデ ファクトスタンダード • OLAPエンジンは、スキーマ設定ファイルを 元に、MDXをRDBMS向けSQLに変換する役割 をもつ 13年5月20日月曜日
29.
BIプロダクト BIを謳ったプロダクトは大手ベンダー各社 がリリースしています。 今回はOSSベースの製品である、 • pentaho • saiku について評価しました。 13年5月20日月曜日
30.
• オープンソースのBIスイート製品 • BIのプロセス全てをカバーしているソフトウェアパッケー ジ •
部分的に使うことも可能 • 一部案件にてすでに活用中 • レポーティング • OSSである • community edition • 商用版 pentaho 13年5月20日月曜日
31.
saiku • pentahoの機能のうち、OLAPのUI部分を改善した別のソフト • jsベースのUIにより、OLAP操作が使いやすい •
OLAPエンジン部分はpentahoと共通 • pentahoのプラグインとしても使える 13年5月20日月曜日
32.
saiku画面 テキスト http://www.screenr.com/mIe 13年5月20日月曜日
33.
評価1 • スキーマ設定ファイルを作るのはすこし面倒 • 既にテーブルがある場合はOLAP用にスキーマ設 計をし直して、インポートした方がよさそう •
要件からいって、ディメンジョンやメジャーに したい項目をすべてテーブルに盛り込む必要が ある。 • →慎重なスキーマ設計が必要 13年5月20日月曜日
34.
感想2 • OLAPエンジンがSQLを生成して、都度 クエリーをDBに発行する仕組みなの で、DBそのものが高速でないとUIレス ポンスが悪化する • (クエリーキャッシュ機能は持ってい る) 13年5月20日月曜日
35.
リアルタイム性 分析DBの高速化 13年5月20日月曜日
36.
RDB vs. hadoop •
RDB(リレーショナルデータベース) • TSV,CSV形式からインポートしやすい • SQLが使える • 保守性 • BIスイートなどレポーティングの仕組みと相性が良い • Hadoop • 構築・運用が面倒 • データ形式を選ぶ • MDXのようなリアルタイムに集計する仕組みと相性が悪い • データの再利用のため、どのみち集計結果はRDBは格納する必要がある→故 障点が増える 13年5月20日月曜日
37.
システム構成図 分析システムコンテンツ側システム S3Web server バッチ サーバ Log Log MySQL Log snapshot 010010010001 110011001110 111110111111 11 010010010001 110011001110 111110111111 11 EMR RDS EC2 Log snapshot 13年5月20日月曜日
38.
大データ量小 クエリの複雑さ 多様さ 小 大 Hadoop RDB ? 13年5月20日月曜日
39.
高速DB • データウェアハウス・データ分析に特 化したデータベース 13年5月20日月曜日
40.
高速化技術 • 列指向(columnar)DB • パラレルDB 13年5月20日月曜日
41.
列指向DB • Columnar • NoSQLの「列指向DB」とは別物 13年5月20日月曜日
42.
通常の(行指向)RDB • 1行をひとまとめにする設計 13年5月20日月曜日
43.
列指向DB • 列方向に並べる • 多数の行に対して少数の列に対する集計処理が得意 •
トランザクションは苦手 • 分析用途ではほとんど使わない 13年5月20日月曜日
44.
• 商用製品 • Sybase
IQ • HPVertica • MySQLのストレージエンジンとして使えるもの • Infobright • InifiniDB • 独自I/F • MonetDB • postgres互換 • redshift 13年5月20日月曜日
45.
いくつか評価してみました • クエリの種類により性能が偏るものがあ る • そもそもSQLの解釈を間違えて出力するも のがあった •
データ量が増えると性能が下がるもの • InnoDBの優秀さを再認識(一同苦笑) 13年5月20日月曜日
46.
redshift • 比較的安定的に高速 • S3から直接インポート出来る •
列指向+パラレルDB • スケールアウト可能 • 安価(最小構成なら約600ドル/月) • +2Tのストレージ 13年5月20日月曜日
47.
パラレルDB • 複数データベースを分散配置 • 中央ノードで集約 13年5月20日月曜日
48.
13年5月20日月曜日
49.
大データ量小 クエリの複雑さ 多様さ 小 大 Hadoop RDB 13年5月20日月曜日
50.
今後の課題 • 可視化・多次元性 • BIシステムのカスタマイズ •
高速化 • データのマイグレーション • データ設計の改善 • 列指向DBのチューニングノウハウ • ETLの高速化 • 疎結合→もう少し密結合に • fluentd 13年5月20日月曜日
51.
お知らせ ブログ始めました http://analysis.blog.jp.klab.com/ 13年5月20日月曜日
52.
ご清聴ありがとう ございました 13年5月20日月曜日
Download now