20161214 re growth-sapporo

1Copylight © Classmethod, Inc.
ビックデータ観点で見た
AWS re:Invent 2016
re:Growth 2016 Sapporo
1
2016.12.14 クラスメソッド株式会社
石川覚

自己紹介
石川覚 (いしかわさとる)
• データインテグレーション部
• 昨年インフラエンジニアからビックデータへ
• メーカー系SE、ベンチャーを経てCMに
• AWS全般、Redshift,Tableau,EMR
• マイブームは Amazon Athena
クラスメソッド株式会社
ソリューションアーキテクト

アジェンダ
• 新サービスのピックアップ
Amazon Glue•
Amazon Athena•
最後• に

新サービスのピックアップ

新サービス
1. AWS Organizations
2. AWS Service Delivery Program
3. AWS Partner Solutions Finder
4. Amazon Aurora PostgreSQL-Compatible Edition
5. Amazon Rekognition
6. Amazon Lex
7. Amazon Polly
8. Amazon Athena
9. Amazon LightSail
10. AWS Greengrass
11. AWS Batch
12. AWS Step Functions
13. AWS CodeBuild
14. AWS X-Ray
15. AWS Pinpoint
16. AWS Shield
17. AWS Glue
18. AWS Personal Health Dashboard
19. …

新サービス
4. Amazon Aurora PostgreSQL-Compatible Edition [Coming Soon]
6. Amazon Lex
7. Amazon Polly
8. Amazon Athena [GA]
9. Amazon LightSail
10. AWS Greengrass
11. AWS Batch [Coming Soon]
12. AWS Step Functions [GA]
13. AWS CodeBuild
14. AWS X-Ray
15. AWS Pinpoint [Coming Soon]
16. AWS Shield
17. AWS Glue [Coming Soon]
19. …

新サービス
4. Amazon Aurora PostgreSQL-Compatible Edition [Preview]
6. Amazon Lex
7. Amazon Polly
9. Amazon LightSail
10. AWS Greengrass
13. AWS CodeBuild
14. AWS X-Ray
16. AWS Shield
19. …
• 従来のPostgreSQLと比較して2倍
以上のパフォーマンス
• PostgreSQL 9.6.1
• 互換他のAWSサービスとの統合

新サービス
6. Amazon Lex
7. Amazon Polly
9. Amazon LightSail
10. AWS Greengrass
11. AWS Batch [Preview]
13. AWS CodeBuild
14. AWS X-Ray
16. AWS Shield
19. …
スケーラブルかつ• 、完全マネージ
ド型バッチ処理サービス

新サービス
6. Amazon Lex
7. Amazon Polly
9. Amazon LightSail
10. AWS Greengrass
11. AWS Batch [Preview]
13. AWS CodeBuild
14. AWS X-Ray
16. AWS Shield
19. …
• 視覚的なワークフローを使用して
分散アプリケーションを構築・運
用できるサービス

新サービス
4. Amazon Aurora PostgreSQL-Compatible Edition [Coming Soon]
6. Amazon Lex
7. Amazon Polly
9. Amazon LightSail
10. AWS Greengrass
13. AWS CodeBuild
14. AWS X-Ray
16. AWS Shield
19. …
本日はこの２つをご紹介

Amazon Glue

AWS Glueとは
『データストア間でデータ移動を簡単に行うため
の完全マネージド型 ETL サービス』
3つの機能を提供
• Data Catalog Job
• Authoring Job
• Execution
困難で時間のかかるデータ検出、変換、マッピン
グ、ジョブスケジューリングのタスクを自動化

Data Catalog
『データ検索と型定義を自動化』
• Hiveメタストア互換のメタデータリポジトリ
• 予め設定していたデータソースのメタ情報を定
期的に取得
データソースの理解、分析用データの準備、デー
タソースから宛先へ信頼性の高いロードを実行

Data Catalog
『パーティション情報の自動検知と更新』

Job Authoring
『データ連携のロジックを自動生成』
• データ連携のためのPythonコード (PySpark)を
自動生成
• 任意のIDEで改造し、Gitで共有

Job Authoring
『データ連携のロジックを自動生成、コード生成』

Job Execution
『データドリブン、スケジュールベースにスケー
ラブルなジョブ実行』

Coming Soon

Amazon Athena

Amazon Athena とは
標準SQLを用いてAmazon S3上にあるデータを
簡単に分析できるインタラクティブなクエリサー
ビス
ザックリ表現で、
「S3のデータに、
直接SQL投げられるサービス」
マネジメントコンソールで• 数アクション
標準• SQLでアドホッククエリ実行
結果• は数秒

特長
• すぐ使える、直接クエリできる
– データのロードが不要
– Athenaにデータを移す必要がない
– S3上のファイルにテーブル定義を適用するだけで、
ファイルに変更を加える必要なく、高速にクエリを
実行可能
• サーバレス
– セットアップや管理用インフラは不要
– 高可用性、運用性
• 数秒で結果が得られる
– クエリを自動で並列化し、何百、何千コアに並列分
散し、高速処理

データソース
• 分散SQLエンジンPrestoでクエリ実行
• Hive メタストアがベース（Hive DDL）
• 様々なデータフォーマットに対応
– JSON、CSV、TSV、ログファイル、AWS サービスログ、カス
タム区切りのテキスト、 Apache Parquet、Apache ORC、
AVRO(Coming Soon) 等
• 圧縮フォーマットもサポート
– Snappy、Zlib、GZIP
• 結果はS3に保管される
– s3://aws-athena-query-results-<account-id>-
<region>/Unsaved
– S3_Staging_dir

S3
• S3へのストリームデータも対応
複数– ファイルに対応することで実現
Athena• 未対応リージョンのS3に対しても実行
可能
東京– リージョンのバケットに対して利用可能
– 異なるリージョンのデータ転送費用が必要
従量課金•
実行– したクエリのみ課金

連携・接続
• Amazon QuickSightとの連携(Coming Soon?)
• JDBC接続
– Amazon Athena用のJDBCドライバはS3で公開済み
– WorkbenchなどSQLクライアントやJavaアプリケー
ションからクエリ実行可能

データのパーティショニング
• データを分割することのメリット
– パフォーマンスが向上
– コストを削減
– クエリのスキャンしたデータの量を制限
• 要件
– 想定したルールでパーティションデータを格納
– テーブル定義後、またはパーティションデータ追加
後にパーティション構成の反映が必要

データのパーティショニング
パ• ーティション化されている場合
フォルダが– 「/<カラム名>=<分割文字列>」形式
テーブル– 定義で PARTITIONED BY (dt string)
テーブル– 定義後 MSCK REPAIR TABLE <テーブル名
>;を実行
パ• ーティションの考慮がない場合(ELBログ等)
フォルダが– 「/YYYY/MM/DD」のような場合
パーティションデータ– 毎に ALTER TABLE
elb_logs_raw_native_part ADD PARTITION
(year=‘2015’,month=‘01’,day=‘01’) location
‘s3://athena-
examples/elb/plaintext/2015/01/01/‘;を実行

利用費
• 実行したクエリのみに対する課金
• 各クエリでスキャンされたデータ量
• S3上のデータ1TBスキャン毎に$5
• 失敗クエリは課金対象外
• 異なるリージョンのデータ転送費用が必要
例． 0.33TBのデータスキャンに対して「$1.67」
$1.67 = 0.33TB * $5/TB

利用費削減のポイント
• データ圧縮
• カラムナフォーマット
– Parquet等の利用でデータ転送量を縮小し、
データスキャンを縮小
– (必ずしもParquetの方が速くなる訳では無い)
• パーティショニング
– スキャン対象を指定
利用費削減 ≒ スキャン対象の削減

Athenaの利用用途
データレイク• （in S3）のデータ分析向け
実行頻度• の少ない大きなデータのクエリで強み
が活かされる
ETL• 済みデータの参照用途での利用が想定され
ている
JDBC• ドライバ経由の参照
更新系• クエリに対応していないので、一時テー
ブル、中間テーブルが利用しないで済む用途

適切な選択
• Amazon Redshift
– データウェアハウス
– 膨大な構造化データに対して複雑なクエリに対して
高速に結果を得られる
• Amazon EMR
– Hadoop, Spark, Presto等の利用
– これらの分散処理フレームワークを効率的に高いコ
スト効率で利用できる
• Amazon Athena
– データレイク（in S3）
– S3へのアドホッククエリを実行する最も簡単な方法
要件や環境に応じた最適な選択

今すぐ、ご利用可能です！ [GA]

最後に
データレイクは• Amazon Athena、データウェア
ハウスは Amazon Redshift
高度• かつ大規模なデータ分析は Amazon EMR
これらを• 効果的に連携するのが、Amazon Glue
Hadoopのエコシステムを活用して、ストレージと
コンピューティングを分離した費用対効果の高い
データ分析基盤の提供が可能になりました。

ご清聴ありがとうございました。

20161214 re growth-sapporo

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à 20161214 re growth-sapporo

Similaire à 20161214 re growth-sapporo (20)

Plus de Satoru Ishikawa

Plus de Satoru Ishikawa (13)

20161214 re growth-sapporo