下記勉強会での発表スライドです。 【AWS勉強会】CM re:Growth Developers.IO Meetup 01 - connpass http://connpass.com/event/4123/

1. Amazon Redshift &
Amazon EMR &
Tableau Desktop
で実現する
CloudTrailログ解析
2013/12/10(Tue) at SAP
18:30 - 22:15(EventAllTime)
18:35 - 18:55(EventMyPart)
#cmdevio
@shinyaa31
classmethod.jp
13年12月11日水曜日
1
1

2. 自己紹介
・しんや (@shinyaa31)
・AWSコンサルティング部所属
・昔Java、ちょろっとFlex等も
・AWS利用は今年から本格的に。
・個人ブログ(2007.01.01∼)
Shinya s Daily Report http://d.hatena.ne.jp/absj31/
・Developers.IO 出張ブロガー (2013.04.29∼)
・クラスメソッド AWSエンジニア (2013.08.01∼)
http://dev.classmethod.jp/author/shinyaa31/
classmethod.jp
13年12月11日水曜日
2
2

3. 自己紹介
・割と良くブログを書いています
※2013/12/10現在
→3560本(個人ブログ, 2007年∼現在)
→103本(Developers.IO, 出張時代＆入社約4ヶ月間で)
・割と良くイベントに参加し、レポートを
書いています
→183回(2010.10.21以来現在までの通算参加回数)
→229本(個人:202 + Developers.IO:24 + 寄稿:3)
・割と良くまとめています
→323本(Togetterまとめ数合計)
classmethod.jp
13年12月11日水曜日
3
3

4. ハッシュタグ：
#cmdevio
(Classmethod Developers.IO)
2013/12/10 CM re:Growth Developers.IO Meetup 01
#cmdevio - Togetter
http://togetter.com/li/592882
classmethod.jp
13年12月11日水曜日
4
4

5. アジェンダ
1.はじめに
2.監査ログの設定と出力(CloudTrail)
3.ログの成形処理(EMR)
4.データウェアハウス管理(Redshift)
5.データ照会・分析(Tableau Desktop)
6.さいごに
classmethod.jp
13年12月11日水曜日
5
5

6. 1.はじめに
＜今回の目的(ゴール)＞
→CloudTrailのログを
Tableau Desktopで
閲覧、分析してみたい。
classmethod.jp
13年12月11日水曜日
6
6

7. 環境構成図
classmethod.jp
13年12月11日水曜日
7
7

8. 2.CloudTrail
classmethod.jp
13年12月11日水曜日
8
8

9. 2.CloudTrail
・2013/11/13リリース
・AWS APIコールを記録、S3にログを保存
・各種対応への利用が見込める
コンプライアンス対応/リソースライフサイクル管理
トラブルシューティング対応
・利用可能リージョン(2013/12/10現在)
米国東リージョン(N.Virginia), 米国西リージョン(Oregon)
・対応サービス(2013/12/10現在)
EC2, EBS, VPC, RDS, IAM, STS, Redshift
classmethod.jp
13年12月11日水曜日
9
9

10. 2.CloudTrail
・SNS通知設定を事前に作成しておく
SNS：
Amazon Simple Notification Service
プッシュメッセージングサービス。
classmethod.jp
13年12月11日水曜日
10
10

11. 2.CloudTrail
・対応リージョンに移動、[CloudTrail]選択
classmethod.jp
13年12月11日水曜日
11
11

12. 2.CloudTrail
・必要事項記入の後、[Subscribe]で作成
・S3バケット設定
・操作対象サービス設定
・SNS通知設定
classmethod.jp
13年12月11日水曜日
12
12

13. 2.CloudTrail
・作成完了→ログ生成確認
classmethod.jp
13年12月11日水曜日
13
13

14. 2.CloudTrail
・ログ出力内容
<userIdentity>
・type
・principalId
・arn
・accountId
・sessionContext
・invokedBy
・sessionIssuer
・webIdFederationUser
classmethod.jp
13年12月11日水曜日
<RecordBody>
・eventTime
・eventVersion
・eventSource
・eventName
・awsRegion
・sourceIPAddress
・userAgent
・errorCode
・errorMessage
・requestParameters
・responseElements
14
14

15. 3.EMR
classmethod.jp
13年12月11日水曜日
15
15

16. 3.EMR
・Amazon Elastic MapReduce
大量データを迅速且つ容易に
コスト効果良く処理する為のサービス
・Hadoopデータ分散処理をEC2上で実行
・各種分析、ETL、DWH等用途は様々
・利用可能なディストリビューション
・Amazon Distribution
・MapR Distribution(M3, M5, M7)
classmethod.jp
13年12月11日水曜日
16
16

17. 3.EMR
・今回、EMRでやりたい事
→ログファイルを良い感じに分割・整形したい。
{"Records":[
{"eventVersion":"1.0","userIdentity":{"type":"IAMUser".
…},
…
}
{"eventVersion":"1.0","userIdentity":{"type":"IAMUser".
…},
…
}
{"eventVersion":"1.0","userIdentity":{"type":"IAMUser".
…},
…
}
:
]}
Before
1.0|IAMUser|
...
|ec2.amazonaws.com|DescribeInstances|...
1.0|IAMUser|
...
|rds.amazonaws.com|DescribeDBInstances|...
1.0|IAMUser|
...
|redshift.amazonaws.com|...
classmethod.jp
13年12月11日水曜日
After
17
17

18. 3.EMR
・Mapper/Reducerプログラムを作成
・プログラム作成にはRubyを利用
・Mapper：
→標準入力を受け取る→ログ1行から情報を抽出
→指定文字区切りの情報を1行ずつ標準出力
・Reducer：
→標準入力をそのまま標準出力へ
・プログラム実行：Hadoop Streamingを使用
※Java以外のプログラムを実行する場合に用いる
classmethod.jp
13年12月11日水曜日
18
18

19. 3.EMR
・EMRクラスタ作成(Step作成)
classmethod.jp
13年12月11日水曜日
19
19

20. 3.EMR
・EMRクラスタ作成(Step作成)
classmethod.jp
13年12月11日水曜日
20
20

21. 3.EMR
・EMRクラスタ作成(クラスタ実行)
classmethod.jp
13年12月11日水曜日
21
21

22. 3.EMR
・EMRクラスタ作成(実行結果確認)
classmethod.jp
13年12月11日水曜日
22
22

23. 4.Redshift
classmethod.jp
13年12月11日水曜日
23
23

24. 4.Redshift
・Amazon Redshift
高速＆管理も安全なDWHサービス
・特徴と利点
・列指向ストレージ技術
・複数ノード間でのクエリ並列化&分散化
・各種管理タスクを自動化可能
・高機能なセキュリティ機能も標準搭載
・料金: 1.250$/時 (東京, XLノード2TBストレージ1ノードあたり)
classmethod.jp
13年12月11日水曜日
24
24

25. 4.Redshift
本日リリース！会員様向けAWSコスト最適化支援サイト『メンバーズポータル』はじめました。 ｜ Developers.IO
http://dev.classmethod.jp/cloud/aws/members-portal-released/
classmethod.jp
13年12月11日水曜日
25
25

26. 4.Redshift
・Redshiftクラスタ作成(クラスタ詳細)
classmethod.jp
13年12月11日水曜日
26
26

27. 4.Redshift
・Redshiftクラスタ作成(ノード設定)
classmethod.jp
13年12月11日水曜日
27
27

28. 4.Redshift
・Redshiftへアクセス、テーブル作成
※SQL Workbench/J http://www.sql-workbench.net/
classmethod.jp
13年12月11日水曜日
28
28

29. 4.Redshift
・s3からデータをRedshiftへロード
COPY (テーブル名)
from s3://(バケット名&ファイル名)
CREDENTIALS (認証情報)
delimiter (区切り文字)
dateformat (日付時刻データの形式)
※COPY - Amazon Redshift
http://docs.aws.amazon.com/redshift/latest/dg/r_COPY.html
classmethod.jp
13年12月11日水曜日
29
29

30. 5.Tableau Desktop
classmethod.jp
13年12月11日水曜日
30
30

31. 5.Tableau
・米国Tableau Software社(2003年創業)のBIツール
世界114カ国の1万2000を超える政府機関、教育機関
企業等、産業、業種、規模を問わず幅広く導入
・日本展開: 2012年11月にTableau Japan設立
・コンセプトは『Excelユーザーなら誰でも使えるツール』
・様々な接続データソースに対応、AWS対応も充実(※後述)
・用途に応じた製品を展開
・Desktop (デスクトップ版/有料)
・Server (サーバ版/有料)
・Public (分析データを一般配信・共有/無料)
・Reader (ビューワ/無料)
http://www.tableausoftware.com/ja-jp
http://www.atmarkit.co.jp/ait/articles/1305/28/news076.html
classmethod.jp
13年12月11日水曜日
31
31

32. 5.Tableau
ローカルファイル
Tableauデータ抽出/テキスト
Microsoft Access/Excel等
RDBMS
MySQL, Oracle, SQL Server
PostgreSQL, DB2等
DWH
Amazon Redshift, SAP HANA,
EMC Greenplum, Actian Vectorwise等
Hadoop
Cloudera Hadoop, MapR Hadoop Hive,
Hortonworks Hadoop Hive等
Google Analytics, Google BigQuery,Oracle
Essbase等
OLAP
ParAccel, Aster Database等
MPP
※Tableauで始めるBI(ビジネス・インテリジェンス)：
製品＆対応データソース一覧 ｜ Developers.IO
http://dev.classmethod.jp/business/business-analytics/
getting-started-tableau-product-and-datasources/
classmethod.jp
13年12月11日水曜日
32
32

33. 5.Tableau
・ダウンロード＆ インストール
http://www.tableausoftware.com/ja-jp/ products/
・JDBCドライバのインストール
Drivers & Activation ¦ Tableau Software
http://www.tableausoftware.com/support/drivers
※2013年12月現在、Windows版のみ対応
classmethod.jp
13年12月11日水曜日
33
33

34. 5.Tableau
・接続設定
classmethod.jp
13年12月11日水曜日
34
34

35. 5.Tableau
・接続＆分析！
例)サービス別
利用回数
ランキング
classmethod.jp
13年12月11日水曜日
35
35

36. 5.Tableau
・接続＆分析！
classmethod.jp
13年12月11日水曜日
例)時系列で
利用内容を
分類、表示
36
36

37. 5.Tableau
・接続＆分析！
例)円グラフで
割合を表示
classmethod.jp
13年12月11日水曜日
37
37

38. 5.Tableau
・接続＆分析！
classmethod.jp
13年12月11日水曜日
例)表形式で
内容確認
38
38

39. 5.Tableau
<おまけ>Tableau Publicでこんなグラフも。
2014年ブラジルW杯
グループリーグ突破予想
2014 World Cup Group Stage Odds ¦ Tableau Public
http://www.tableausoftware.com/public/gallery/2014-world-cup-group-stage-odds
classmethod.jp
13年12月11日水曜日
39
39

40. 5.Tableau
<おまけ>Tableau Publicでこんなグラフも。
1900∼2013年までの
サッカー選手移籍推移
をグラフ化
Football Player Transfers (1900 - 2013) ¦ Tableau Public
http://www.tableausoftware.com/public/gallery/football-player-transfers
classmethod.jp
13年12月11日水曜日
40
40

41. 5.Tableau
<おまけ>Tableau Publicでこんなグラフも。
映画監督
ランキング
Top Movie Directors by Film ¦ Tableau Public
http://www.tableausoftware.com/public/gallery/top-movie-directors-film
classmethod.jp
13年12月11日水曜日
41
41

42. 6.まとめ
・十分な分析・解析を行うためには、
『何をどのように分析したいのか』が大事。
・用途や目的に応じてツールやサービスを
色々組み合わせて利用。
・分析の為には様々な 武器 が必要
・ETL (Extract/Transform/Load)
・ログ周り、ログ分析周り
・分析手法や分析ツール
・対象分野のビジネス知識
・連携自動化重要
・目指せ!? データサイエンティスト
classmethod.jp
13年12月11日水曜日
42
42

43. ご清聴ありがとうございました。
classmethod.jp
13年12月11日水曜日
43
43