M2Mプラットフォームとビッグデータ　(Cloudian Summit 2012)

M2Mプラットフォームとビッグデータ
～弊社のCloudianに対する取組
み～
株式会社科学情報システムズ
2012/06/05

We Draw the Future
All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.

目次

1.M2Mとは

2.M2Mプラットフォームの概要と詳細

3.大規模データ分析モジュールについて

4.おわりに

1 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.

M2Mとは（その１）

M2M（Machine To Machine）とは機械同士が人手を介さずに自律的に相互に通信を行うためのコ
ンセプト、または、それを実現するための技術の総称です。

M 2M プラトォーム
ッフ

適用範囲
・ホームオートメーション分野：ホームセキュリティ、家電制御など
・テレマティクス分野： ITS（高度道路交通システム）、EV（電動輸送機器）、
カーナビなど
・テレメトリ分野：エレベータ等の機器の遠隔メンテナンス、ヘルス
ケアなど

M2Mとは（その２）

デバイス同士の双方向通信

H2M(Human To Machine) M2M(Machine To Machine)

判断
情報
判断情報
指示
指示
情報
情報指示
指示
情報

人間のアクションを介して各デバイスから収集した情報を基
情報と指示がやり取りされに
る判断と次の指示を機械自身が行う


M2Mプラットフォーム概要

サービス・アプリケーション
リアルタイム分・・
データ蓄積
析・
M2Mプラットフォーム

膨大な数・種類のデバイスを統合的に管理し、
情報を利用するための基盤(プラットフォーム)が必要!
 デバイスから収集した大量のデータを、
1. リアルタイムで分析し、状況に応じてアクションを起こす
2. 蓄積し、必要に応じて分析・統計処理などを行い、利用しやすい形で提供する


M2Mプラットフォーム詳細～全体の流れ～
大量のデバイスからデータを受け取データの処理をし、外部へ送り出す/内部で蓄積
るする
M2Mデバイス M2Mプラットフォーサービス・アプリケー
ムション
大規模データ
データスト分析モジュー蓄積データの利用
アル
M2M
必要なデータの
スマートグリッゲートウェフィルタリン
ドイグ・
振り分け (1) データ蓄積
M2M
ゲートウェ

入力インターフェイス

出力インターフェイス
イ

交通インフラ
M2M 大量の入
ゲートウェデータの見える化
イ力データ
(リアルタイムモニタリン
グ)
リアルタイム分析処理
（CEP） (2) リアルタイム異常が
データ監視起きました

土木・建築アラート送信
監視条件と一致し
た
データが来たとき

アラート送信外部
システ
ム
出力インターフェイス

デバイスの動作を指示

スマート家電

 CEP(Complex Event 外部
M2M Processing) システ
ゲートウェ
イ大量に流れるデータを、あらム
M2M
かじめ決められたルールに
ゲートウェ従って、
運輸イ
オンメモリで処理していく

デバイスを制御す
る

M2Mプラットフォーム詳細～データ蓄積と分析～
M2Mプラットフォームサービスアプリケーション

大容量データストア大規模データ分析モジュール

データストア Slave node
蓄積データの利用

S
データストア
大規模
Slave node
分析要求
3 分散処理
イ Slave node
データストア
ン Slave node
Master
node
データストアタ分析結果
・フ Slave node
・
・
・
ェ・
データストアー・
Slave node
ス
 大量データの管理に『Cloudian』を使用
 大量データの分析に『Hadoop』を適用
 デファクトスタンダードの『S3』インタフェース
で接続
なぜCloudianか？
大量データを格納可能。またスケールアウトが容易。
製品であり、サポートが存在する。
デファクトスタンダードであるＳ３Ｉ／Ｆをサポートし
ており、
データの格納や移行等が容易。
PrivateおよびPublicクラウドの両方で使用できる。

大規模データ分析モジュール～実機検証～
Step1: インタフェース及び動作検証
Cloudian ～ S3インタフェース～ Hadoop でデータの取り出し・分析・格納ができることを確認

３通りの実装方式で検証
大容量データストア大規模データ分析モジュー・Javaによる実装
ル・Hiveによる実装
・Pigによる実装

S
フ 3 Map/Reduce処理
ェイ
データーン
スタ
ストア

用途台数 OS CPU メモリ備考
Cloudian 1台 CentOS 5.7 Pentium4 2.7GH 1.0GByte Cloudian 2.1
ｚ
Hadoop 1台 CentOS 5.7 Pentium4 2.8GH 1.5GByte Hadoopバージョン cdh3u4
⇒結果（いくつかの問題は発生したが・・・・・）ｚ
・Javaによる実装 → 問題なく動作！！
・Hiveによる実装 → 問題なく動作！！
・Pigによる実装 → 問題なく動作！！

Step2: パフォーマンスの検証

実施中です。
出来上がり次第
ご報告いたしま
す。


M2Mプラットフォーム詳細～Hadoopを活用した分析～
Hadoop Map Reduce による大規模分散処理のイメー
ジ
大容量データストア ②プログラム実行を大規模データ分析モジュール
各ノードに割り当
てる

Master node
Job ①分析の要求
Tracker 全ドキュメントか
ら
ワードの出現数を
Task Slave node Task Slave node 数える
Tracker Map処理 Tracker
“Science”
“Information”
“Systems”

Reduce処理
Task Slave node
④各ノードのMap処理の結
Tracker Map処理
果
集計を集計し出力する
Science 215
Information 184
Systems 116

Task Slave node
Tracker Map処理
③分担してドキュメン
ト
を解析、検索する
重い処理を手分けして片付ける発想
・（従来はデータ構造やロジックを工夫して
・軽く
・する発想←限界があった）
Task Slave node
Tracker Map処理 パフォーマンスはノード数にほぼ比例
（ボトルネックを排除するための高度な技
術）


大規模データ分析モジュール～活用例～
分析要求
レガシーデータアクセス 大量のレガシーデータを格納し、
ログ分析に活用
過去データと現在データを融合
することで幅広い分析が可能
販売履歴 データ移行においてもS3インタ
データ
観測記録フェースを利用可能
データ

大容量大規模データ

データ移行
運行履歴データストア分析モジュール
データ

証券売買
履歴デー
タ

データの蓄積 …過去・現在データを融合

ライブデータ
リアルタイリアルタイ
ム監視ム
M2M モニタリン
M2M
ゲートウェM2M
ゲートウェリアルタイム分析グ
イ
ゲートウェ
イ
イ


大規模データ分析モジュール～今後の展望と課題～

 CloudianとHadoopの組み合わせが可能
→ 【ビッグデータ】を扱う事が可能なCloudianと分散で処理できるプラットフォーム
（Hadoop）を組み合わせることにより、今まで実現が困難であった大量データの分析処
理可能なインフラを構築できることが可能に。
→ Enterprise分野での活用をより活発に。
→ サービス事業者向けには、S3 I/Fと共にMapReduceプラットフォームが提供可能に。

 より確実なソリューションとする為の検証の継続
→ 複数台構成でのテストの実施。及び性能検証。
→ いくつかの問題点・課題の解決。

 Hadoop周辺技術との組み合わせ
→ PigやHiveといったHadoopをより簡単に使用するための技術（SQLのような言語によ
りデータの集計が可能な技術）により、データウェアハウスの実現を検討する。


さいごに・・・


弊社の取組み

安心してご利用いただくために

先端技術への取組みソリューション・パッケー様々な業種における
（ビッグデータへの取り組ジシステム開発実績
み）
分散KVSの活用 Cloudian
の拡充 通信キャリア系システム
- Apache Cassandra ネットワーク高度化基盤 放送メディア系システム
大規模分散処理の活用 MDM 金融公共系システム
- Apache Hadoop 産業系システム
M2Mプラットフォーム
リアスタイム分析の活用 その他、開発支援サービ
位置情報サービス基盤
- Siddhi-CEP ス
勤時（勤怠管理）

ＳＩプロジェクトの運営実績充実したサポート
立上げフェーズ（提案、見積、要件定義） コンサルティングサービス
設計フェーズ（基本仕様、ＵＩ、アーキテクチャ、接続I/F） 品質保証
制作、内部試験フェーズ（制作、単体試験、内部結合試験） 運用・サポート
連動試験フェーズ（外部結合試験、システム試験、運用試験、性能・負
荷試験）
導入/サービス開始（移行、サービス開始）


弊社概要

商号株式会社科学情報システムズ
Science Information Systems Co., Ltd.（略称：SIS）

設立 1984年4月3日技術
沿革 1984年資本金3,000万円で設立
1986年大阪支店開設
1990年資本金6,000万円に増資
2001年ｼｽﾃﾑｲﾝﾃｸﾞﾚｰﾀ企業認定品質
2001年ﾌﾟﾗｲﾊﾞｼｰﾏｰｸ取得
2004年 ISO9001:2000取得
2006年 ISMS認証取得ｿﾘｭｰｼｮﾝ
所在地本社：横浜市神奈川区金港町2-6 横浜ﾌﾟﾗｻﾞﾋﾞﾙ6F
Tel.045-450-6311 （代） Fax.045-450-6351

大阪本社：大阪市中央区博労町4-3-2 ｵｰﾂｸﾞﾗﾝﾄﾞﾋﾞﾙ5F
Tel.06-6243-2111 （代） Fax.06-6243-2122

代表者取締役社長小島仲市

資本金 6,000万円

従業員数 246名（2012年4月現在）

売上高 25億470万円(2011年3月実績)


ご清聴ありがとう
ございました


M2Mプラットフォームとビッグデータ　(Cloudian Summit 2012)

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (18)

Similaire à M2Mプラットフォームとビッグデータ　(Cloudian Summit 2012)

Similaire à M2Mプラットフォームとビッグデータ　(Cloudian Summit 2012) (20)

Plus de CLOUDIAN KK

Plus de CLOUDIAN KK (20)

Dernier

Dernier (7)