Contenu connexe
Similaire à Hadoop Conference Japan 2016 LT資料 グラフデータベース事始め (20)
Hadoop Conference Japan 2016 LT資料 グラフデータベース事始め
- 1. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グ
ラ
フ
データベース事始め
日本オラクル株式会社
ビッグデータ系の製品とか担当エンジニア
中井亮矢(Ryoya.Nakai@oracle.com)
1
Hadoop Conference Japan 2016 ライトニングトーク
- 2. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
• 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明する
ものです。また、情報提供を唯一の目的とするものであり、いかなる契約
にも組み込むことはできません。以下の事項は、マテリアルやコード、機
能を提供することをコミットメント(確約)するものではないため、購買決定
を行う際の判断材料になさらないで下さい。オラクル製品に関して記載さ
れている機能の開発、リリースおよび時期については、弊社の裁量により
決定されます。
2
OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。
文中の社名、商品名等は各社の商標または登録商標である場合があります。
- 3. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
3
何気に人気の
グラフデータベース
- 4. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフブーム到来
4
出典:日経コンピュータ,ITPro出典:TechTarget Japan
出典:IT Leaders
出典:@IT
- 5. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフデータベース構築!
5
(*´∀`*)
- 6. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフデータベース
サンプル動かしました!
映画俳優、共演、可視化!
\(*T▽T*)/
6
- 7. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフデータベース性能!
大規模!スケール!
沢山トラバーサル
(`・ω・´)キリッ
7
- 8. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
が、、、
ふと立ち止まる・・・
(´・ω・`)
8
- 9. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
9
何に使えば・・・・
(ノω・、)
- 10. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
主たる(期待される)用途
いろんな非構造データの
受け皿・分析
10
- 11. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
受け皿
スキーマレス
色んなデータ
あなた色で受けとめる
(*/∇\*)
11
- 12. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
分析
知る
数値化,全体構造/個体の位置
見る
可視化
切る
クラスタ・スコアリング
12
尊敬(Level:中)
信頼(6)
便利(頻度:週一)
(事例:援軍)
尊敬(Level:兄貴)殺意(Level:MAX)
便利 [頻度:毎日]
[事例:草履/殿軍]
恐怖(対象:没後)
(対応:隔離)
3
1
2
2
- 13. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
よろしい
ならば分析だ
( ゚д゚ )クワ
13
- 14. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
ありがちモデリング
14
( ・∀・)
( ・ὢ・ ) (´▽`)
(๑•﹏•)(´・ε・̥ˋ๑)
ソーシャル
データ
(・ิω・ิ)
- 15. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
そんなデータ
社内にねぇ
FBデータも買えねぇよ
ヽ(`Д´#)ノ
15
- 16. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
そんなあなたに
2部グラフ
16
- 17. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
メールなんて結構お手軽
17
( ・∀・) ( ・ὢ・ )
(´▽`)
(๑•﹏•)(´・ε・̥ˋ๑)
(・ิω・ิ)
メーリングリストA
スレA スレB
投稿
投稿
レス
レス
レス レス レス
レス
スレ単位もよし From/Toだけもよし キーワードでもよし
- 18. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
18
( ・∀・) ( ・ὢ・ )
(´▽`) (๑•﹏•)(´・ε・̥ˋ๑)
(・ิω・ิ)
人間グラフも作れます
graphM %*%
t(graphM)
- 19. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
19
スレのクラスターも作れます
スレB
スレC
スレD
スレA
スレE
スレF
スレG
メールの全自動仕分け
- 20. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
20
Visualized by
Cytepscape
可視化
そのまま可視化でもなんかわかるかも
- 21. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフ化の前に
21
メール
アーカイブ
CC: も追加
投稿数で重みづけ
レスの多さで重みづけ
投稿内容をQAと情報提供で分類
投稿文書のキーワード抽出
メーリングリストも対象に
少し味付け あとは結構、力技
正規化
集計
(group by)
形態素解析
- 22. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフ技
22
重要情報発信者隠れコミュニティ 隠れスキルホルダー
影のメーリス王者コミュ活性化のカギハブられっ子
コミュニティ抽出コンダクタンス
巨大ファイルアタッチメント派閥 座敷童情報伝達の方向
わかるかもしれないこと
スコアリング
媒介中心性近接中心性固有ベクトル中心性可視化
- 23. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
仕事じゃねぇ
ヽ(`Д´#)ノ
23
- 24. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
24
商品C 商品D商品A 商品B 商品E
顧客A 顧客B 顧客C 顧客D
売上単位でもよし 伝票単位でもよし 商品カテゴリでもよし
売上データ・・・
- 25. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
可視化
25
データ出典:新潟県ITビジネスフォーラム データ分析の勧め
でっかいオーダーは
食彩鍋が基本でサイズ違い
が同じ店舗で売れている
総売り上げのでかい天ぷら
鍋は意外とでっかいオー
ダーに絡んでない
- 26. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
商品
データ
グラフ化の前に
26
注文単位
店舗単位
売上額で重みづけ
売上個数で重みづけ
商品の粒度
商品カテゴリ
顧客の属性
店舗の属性
商品の属性
少し味付け
あとは結局、力技
正規化
集計
(group by)
統計
技術者魂
店舗
データ
売り上げ
データ
- 27. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフ技
27
売上優秀店舗の共通点
商品のクラスタ 隠れ優良店舗
隠れ優良商品
コミュニティ抽出コンダクタンス
店舗のクラスタ
意外な売れ線
顧客のクラスタ
わかるかもしれないこと
スコアリング
媒介中心性近接中心性固有ベクトル中心性
新規セット販売商材への道
商品の隠れた属性
可視化
- 28. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
グラフ技
28
売上優秀店舗の共通点
商品のクラスタ 隠れ優良店舗
隠れ優良商品
コミュニティ抽出コンダクタンス
店舗のクラスタ
意外な売れ線
顧客のクラスタ
わかるかもしれないこと
スコアリング
媒介中心性近接中心性固有ベクトル中心性
新規セット販売商材への道
商品の隠れた属性
可視化
結局やることはほとんど同じです
- 29. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
行形式のデータでも、、
29
伝票番号 商品CD 商品名 大分類名 分類名 売上日 得意先名
売上
数
売上金額 粗利益
1001439 2305200Pオイルポット 1.2L 鍋類 フライパン 2012/7/1B配送センタ 44 15620 2640
accessログでも
crawl139.tkl.iis.u-tokyo.ac.jp - - [08/Feb/2016:05:57:47 +0900] "GET /uploads/2012/03/20140530-A1-10-low.jpg
HTTP/1.1" 304 - "http://www.takahiroyoshikawa.com/ja/concert/" "Mozilla/5.0 (compatible; Steeler/3.5;
http://www.tkl.iis.u-tokyo.ac.jp/~crawler/)"
- 30. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
たいてい関心事を絡めて
グラフを興せます
30
- 31. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
31
データを
探す
データを
突っ込む
知る
見る
切る
なんか
分かる
味付けを
探す
- 32. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
さあ、
データを探そう!
32
- 33. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
PGX Parallel Graph AnalytiX (PGX)
• 並列グラフ解析エンジンPGX
– Oracle Labの成果物PGXをベースに実装されています
– 製品版(Big Data Spatial and Graph)は、これをベースに拡張されたものになります
– Apache TinkerPop対応
– 30超のアルゴリズム実装
• 中心性演算,SALSA, 頂点被覆,PageRank,コミュニティ抽出,グラフ変換,弱連結成分抽出,counting triangle...etc.
– 並列グラフ演算は昨今活発に研究開発が行われている領域になりSCなどのHPC領域でもOracle
Laboratories からの論文発表も活発に行われています
• Oracle Lab版PGXはOTNのOracle Labsからダウンロードして利用可能です
33
Oracle Technology Network >> Oracle Labs >> Parallel Graph Analytics >> Overview
Welcome to Parallel Graph Analytics (PGX)
http://www.oracle.com/technetwork/oracle-labs/parallel-graph-analytics/overview/index.html
ロイヤリティフリー (OTN License)
このページは広告です
>>>スキップする
Oracle PGX
- 34. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
ご清聴ありがとうございました
その他、Hadoop関連Oracle製品↓
www.slideshare.net/oracle4engineer/
oraclehadoop
34
- 35. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
35
0120-155-096
(平日9:00-12:00 / 13:00-18:00)
http://www.oracle.com/jp/direct/index.html
各種無償支援サービスもございます。
Oracle Direct 検索
Oracle Direct
あなたにいちばん近いオラクル