データサイエンティスト協会木曜勉強会 #02 講演２：『ビッグデータの０次分析手法と適用例のご紹介～俯瞰から始まる企業内ビッグデータの活用～』

ビッグデータの0次分析手法と適用例のご紹介
～俯瞰から始まる企業内ビックデータの活用～
2014年10月16日
サイバネットシステム株式会社
ＩＴ事業部
矢野弘海
データサイエンティスト協会木曜勉強会

CYBERNET SYSTEMS Co., LTD All Rights Reserved
サイバネットシステム概要
名称：サイバネットシステム株式会社（東証一部4312）
Cybernet Systems Co., Ltd.
本社：東京都千代田区神田練塀町３番地富士ソフトビル
拠点：西日本支社（大阪）、中部支社（名古屋）
設立： 1985年4月17日
資本金： 995百万円
社員数：連結544名、個別342名（2014年３月31日現在）
事業内容：ＣＡＥソリューション及びＩＴソリューションの提供
（プロダクト販売、受託解析、コンサルティング、ＣＡＥソフトウェア開発）
開発元提携先：ＡＮＳＹＳ社、Ｓｙｎｏｐｓｙｓ社、Ｃａｄｅｎｃｅ社など米国中心に２０社
子会社
連結Ｍａｐｌｅｓｏｆｔ（カナダ）
対話的数式処理ソフトウェア「Maple」及び複合物理モデリング環境「MapleSim」
の開発、販売、サポート
ＮｏｅｓｉｓＳｏｌｕｔｉｏｎｓＮＶ（ベルギー）
ＰＩＤＯツールの開発、販売、技術サポートの提供
Ｓｉｇｍｅｔｒｉｘ,ＬＬＣ（米国）
公差解析ソフトウェアの開発、販売、技術サポートの提供
莎益博工程系統開発(上海)有限公司（中国）
ＥＤＡ、光学系ＣＡＥソリューション、制御系ＣＡＥソリューションの提供
サイバネットシステムコリア株式会社（韓国）
Maple、MapleSimを中心としたＣＡＥソリューションの提供
非連結思渤科技股份有限公司（台湾）
ＥＤＡ、光学系、制御系ＣＡＥソリューションの提供
2

ITソリューション
ITインフラ構築
IT資産管理
セキュリティ
ITパフォーマンス向上
業務パフォーマンス改善
ビッグデータ
ビッグデータ可視化
特許解析
ものづくり支援ツール
最適設計支援
製品イノベーション支援
事業全体図
ＣＡＥトータル・ソリューション企業
光学
電気・電子
制御
数式処理
画像処理
機械
・・・・
ITインフラ構築
IT資産管理
セキュリティ
ITパフォーマンス向上
業務パフォーマンス改善
ビッグデータ
ビッグデータ可視化
特許解析
ものづくり支援ツール
最適設計支援
製品イノベーション支援
技術サポート
ＣＡＥ教育
ユーザ技術教育
導入・運用コンサルタント
受託解析サービス
統合／カストマイズ・サービス
3

ビッグデータ解析に新たな提案
4

ビッグデータ時代の情報検索の課題
CYBERNET SYSTEMS 5 Co., LTD All Rights Reserved
従来型情報検索の限界
（KW検索＋リスト表示の限界）
有
効
情
報
比
率
検索表示件数
リスト表示
閲覧限界
2000 2010 2020
モバイル化による
限界の加速
画面サイズは１／３に
・表示件数は減少
・ヒット率（検索精度）も減少
ビッグデータ時代
課題① 検索精度の格段の向上
課題② 表示件数の拡大＆容易な絞り込み
次世代の検索＆表示手法が必要に！

「見える化」ソリューション：toorPIA
課題① 検索精度の格段の向上課題② 表示件数の拡大
容易な絞り込み
（従来）KW検索/分類
概念検索
（従来）リスト表示
マップ表示
コンピュータ技術の
格段の進歩
・意味的に近い情報を互いに近くに配置
・膨大な件数を表示可能
・ピンチアウトにより探したい領域をズームアップ
→欲しい情報をまとめて探し当てられる
• ベクトル空間モデルにより情報間の距離を定量化
→互いの内容の近さが数値化される
• 入力条件が詳しいほど、より正確に条件に近い情報
を抽出できる
【toorPIA】
「見える化検索」エンジン
＋toorPIA-GUI

天気予報における「見える」化のメリット
現状のビッグデータの状況
・
「見える」化できれば！
今後の天気が予想できる！
・天気
・気温、雨量、・・
・風力、風向、・・
マップ化
（見える化）
「見える化」により
人間の直感が機能する！
・
緯度、軽度、気圧、風
速、風向、温度、雨
量、・・・・
どう分析すれば
いいの？
ビッグデータの可視化による将来予測
１．現状を把握
２．過去からの状態遷移の把握
３．将来予測

分析のためには仮説立案が重要
「仮説は誰が？」
「どう立案？」
すでに分かっている事象から仮説を立てている
ビッグデータ解析の課題
ビッグデータは処理しきれないほど膨大なデータ量
しかし、ビッグデータを活用するためには、処理しなければな
らない
「処理可能なデータに切り出す？」
「サンプリング？」
「結果には驚きがない」
「気づきがない」
8

ビッグデータ０次分析
膨大なビッグデータを見える化（マップ化）し、気付きを生み出し、
更なる解析、施策のための仮説立案を支援する
9
BIツールで解析
アプリ開発

データ可視化により、売上増に繋がる施策の
アイデアを生み出す
事例紹介
POSデータの解析による
スーパーのマーケティングでの活用例
スーパーチェーンのPOSからのポイントカード
IDと購入製品の履歴データ
目的：
対象データ：
10

事例紹介：俯瞰
toorPIAで可視化(マップ化)を実行。
一人一人の購買データを入力
して、購買動向の類似性から
マップ化。
特性別に七つの購買層が色
濃く出現した
メインの客層
毎日、食材を買いに来る
お客様
11

今まで認識していなかった
客層に気づく
事例紹介：属性探査/気づき
気になる範囲のデータを詳細
に解析し、集団の属性分析を
行なう。
・特売日・休日に、食材を買い
に来るお客様
・エコバックを利用する
12

この層の売上を拡大するためには？
来店頻度を高める？購入商品の拡大？
事例紹介：仮説/プランニング
このお客様を賢い主婦層と名付けましょう。
エコに対する意識が高そうだね。
キャンペーンに対する感応度も高そうだ。
平日のタイムセールのお知らせを渡せば、平日も来
てくれるようになるのでは？
オーガニック食品や、エコパッケージを使用した食
品に反応するのでは？
13

事例紹介：キャンペーン実施/評価
じゃぁ、結果を確認しましょう。
この層の1週間の売上が上がっ
たわね。
頻度、商品種別も増えた。
賢い主婦層の島が、メイン層
に近づいたね。
14

•戦略の改善•気付きと発見
•マーケティング戦略
１to1マーケティングへの活用Step
１．ビッグデータ全体を可視化(マップ化)し俯瞰
２．マップを操作して探査（気づき/発見）
・顧客属性
・地域性
・用途等など
３．目的に対してマーケティング戦略の仮説立案
４．施策実行
５．時系列のマップ比較により、レビュー効果を確認
•プランの実施
•マップによる効果の
確認
15

ビッグデータ『見える化』のためのミドルウェア
toorPIA

toorPIAソフトウェア構成（概念図）
球面視覚化
エンジン
準階層的クラスタ
Hadoop
&
汎用KVS
NonHadoop
既存フレームワークとの連携も可能
既存フレームワークとの連携も可能
最適ソリューションを選択
最適ソリューションを選択
&
汎用KVS
Hadoop
&
NoSQL
解析エンジン
maguna
API連携
iterra
qlus
R&D Naviなど
球面/平面上にMAP化
ビッグデータを高速でクラスタ化
法人向け最適化
MapReduce&KVS
ttoooorrPPIIAA
App

コア技術: maguna
• オンプレミス、プライベートクラウド上
で構築でき秘密情報を扱える
• 高性能ノードの能力を最大限に活用
（低レイテンシ）
• １ノードのみで稼動可能
（コストパフォーマンス高）
• リアルタイム処理に対応
maguna
Enter-
Prise
(R&D
etc)
FFiinnaaccee Marke
ting
qqlluuss,, iitteerrrraa,, eettcc..
ON-Premises
又は
PPuubblliicc CClloouudd ((AAWWSS eettcc))
Private Cloud (高列並列&
高速Storage)

コア技術：クラスタ化と可視化
19

データ処理(MapR)系計算機リソース
(1台〜）
サービス系計算機リソース
(1台〜）
システム構成例
ログデータ
（Rawデータ）
ＳＮＳデータ
（Rawデータ）
収集
収集
Mapper
Parser
shuffle&sort
Reducer
Parser
ログデータ用
Key-Value
（NoSQL）
ログデータの
メタ属性
(SQL)
SNS用
Key-Value
（NoSQL）
SNSデータの
メタ属性
(SQL)
専用Viewer API
又は専用アプリ
カスタマイズ部分
パッケージ標準機能
DB構築
目的および業務に
最適なViewerや
アプリケーションを
開発
・・・
20

ビッグデータと「見える化」アプリケーション
 知財情報
 医療情報
 法曹関連情報
 犯罪情報
 履歴書／求人情報
 Twitter
 Facebook
 Blog
 POSデータ
 顧客販売データ
 センサーデータ
 Logデータ
 投稿画像／映像
④④機機器器ロロググ分分析析
マクロ
／俯瞰分析
②②リリススククママネネーージジメメンントト
①特許調査/係争
（RDN)
ミクロ分析
リアルタイム性
／最新性
時間軸
静的分析
（累積／蓄積）
②②ニニュューースス
範囲
①①人人材材ママッッチチンンググ
④④運運転転分分析析//警警報報
③③顧顧客客デデーータタ分分析析
①特許調査/係争
（RDN)
②②ママーーケケテティィンンググ
④④イインンフフララ劣劣化化分分析析
①①医医学学情情報報提提供供
③③PPOOSSデデーータタ分分析析
販売データ
リッチテキスト
短文データ
ログ・センサー
データ
⑤⑤映映像像ニニュューースス
ミクロ分析：近いものを探すマクロ分析：全体の傾向を見る
リアルタイム分析：最新のデータの動きを見る静的分析：蓄積データから分析
21

実用例： R&D Navi （特許を見える化）

例）知財からＭ＆Ａ戦略を可視化
内視鏡分野における
・オリンパス
・富士フイルム
・ソニー
の関係をマップ化
各社の注力する技術領域
競合する領域が一目で把
握できる

toorPIA解析例

W ik ip e d ia (ja )の全貌
仮想世界の情報
to o r
現実の世界の情報
Wikipedia(ja)分析
• 解析内容
– Wikipedia (ja)80万件をtoPIA
で解析して球面配置
• 結果
– 欧米言語でも見られる現実世
界の情報大陸（法人、個人、
地域、百科事典的情報）の他
に、日本語コンテンツ特有の
仮想世界の情報大陸（オタク
系、秋葉原系、アニオタ、サブ
カル系情報）の存在を示すこ
とができた。
– 球面上に配置することで「情
報の端」をなくすことができ、
広範な情報を無理なく配置す
ることができた

特売日に来る顧客。
惣菜や出来合いのモノが主。
（めんどくさがり屋？）
毎日買いに来る顧客。
牛乳・たまご・豆腐を中心に
広範な商品を買う層。
合わせてレジ袋買う層
カレーや煮物材料メイン
やきとりメイン。
日中に来る客。
高齢者
+コロッケ
+フルーツ
特売日および休日に来る顧客。
牛乳・たまご・豆腐を中心に
広範な商品を買う層。ただし、
レジ袋は買わない層。
（賢い主婦層？）
+魚
POSデータ解析
• 解析内容
– スーパーマーケットのPOSデー
タ解析。
– ポイントカード利用者の購買履
を解析
• 結果
– 購買者の購買行動（購買物の
組み合わせの特徴）のみから購
買者を７つの層に分類すること
ができた
– また、これらのユーザ分類は、
時間帯によってダイナミックに変
換することが確認できた
• 活用
– 時間帯＆ユーザ分類を考慮し
たレコメンデーションのベースと
しての活用
– 特売等のイベントの影響を確認
しつつ、戦略的な新規顧客層の
拡大を狙う
– 材料と栄養素の関係から、栄養
の偏りによる健康リスクを評価
して顧客へフィードバックする新
しいサービス展開
20
15
10
5
0
-5
-10
-15
-20
-20 -15 -10 -5 0 5 10 15 20

従来分析法だと早期発見が
困難な新規の口コミ・評判
よくある口コミ＆評判
（マクロ分析ターゲット、
大勢の把握）
Twitter解析
• 解析内容
– あるカテゴリにに関する口コミtweetを
解析
– ReplyやRTといったコンテンツ間の依
存関係を一切加味せず、記述内容の
みに基いて分析
• 結果
– 短文から成るtwitterコンテンツについ
ても、コンテンツの意味の類似性に基
いて分類可能。
– これにより、大勢を占める通常意見と
、新しくインフレーションの兆しを見せ
る意見とを区別して識別することが可
能となる
• 活用
– Twitter Streaming APIを利用したユーザによ
る口コミのリアルタイム観測
– 時間とともにマップが徐々に変化する様子が
確認できる。
– 新しい評判情報のインフレーションをいち早く
発見できる
• 従来型の「特定キーワードに関連する
tweet数の増減解析」だけでは、未知のキ
ーワードを伴う口コミのインフレーションを
見逃してしまうが、toPIAによる解析では、
未知のキーワードの出現にもリアルタイム
で対応可能
20
10
0
-10
-20
-20 -10 0 10 20

機そ器のロ他グ分析解例析(機に器よロるグ故によ障る予故知障予知)
正常稼働
ゾーングレー
ゾーン
故障ゾーン
過去のログと故障発生記録の比較
分析から、【正常】【故障】ゾーンか
らなる白地図を作成する。
この上に日々更新される最新ログ
をリアルタイムプロットする。
グレーゾーンをウォッチすることに
よって、故障発生の予兆を早期に
検出し、故障を未然に防ぐことがで
きる。
28

データサイエンティスト協会木曜勉強会 #02 講演２：『ビッグデータの０次分析手法と適用例のご紹介～俯瞰から始まる企業内ビッグデータの活用～』

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (20)

Similaire à データサイエンティスト協会木曜勉強会 #02 講演２：『ビッグデータの０次分析手法と適用例のご紹介～俯瞰から始まる企業内ビッグデータの活用～』

Similaire à データサイエンティスト協会木曜勉強会 #02 講演２：『ビッグデータの０次分析手法と適用例のご紹介～俯瞰から始まる企業内ビッグデータの活用～』 (20)

Plus de The Japan DataScientist Society

Plus de The Japan DataScientist Society (8)