Contenu connexe
Similaire à AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
Similaire à AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05 (20)
Plus de 都元ダイスケ Miyamoto (20)
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
- 2. 自己紹介
• よく訓練されたアップル信者、都元です。
• Webアプリ屋出身のAWS屋
• Classmethod所属
• AWS歴 2.5年
• @daisuke_m
CloudFormation
EC2S3
Glacier
ElasticMapReduce
AutoScaling
ELB
CloudFrontRDS
DynamoDB
ElastiCache
RedShift
IAM
CloudWatch
Beanstalk
Data Pipeline
OpsWorks
CloudHSM
CloudSearch
SWF
SQS
SNS
SES Transcoder
Route53VPC
DirectConnect
StorageGateway
Mechanical Turk
CloudTrail
AppStream
Kinesis
- 5. Design for failure
(障害を見越した設計)
‣ まずはAZ障害に耐える設計を!
‣ AWSは比較的カジュアルにEC2
インスタンスに再起動を要求w
‣ だからMulti-AZで冗長化。
‣ WebサーバはELBによる
クラスタリング構成
‣ RDBサーバはMulti-AZによる
Master-Slave構成
#cmdevio
- 6. バッチ on AWS
‣ バッチサーバをAWSにどのように実装するか。
‣ アドホック処理は素朴にどうぞ。
‣ バックグラウンド処理は?
‣ ジョブスケジューラ処理は? cron
?
#cmdevio
- 8. Producer & Consumer
‣ producerというのはデータを
生産する生産者
‣ consumerというのはデータを
消費する消費者
‣ Queue(FIFOバッファ)で
2者がつながる
#cmdevio
- 14. Beanstalk worker tier
‣ Beanstalkは一般的に、ELB+Webサーバの
構成を提供してくれるデプロイ環境である。
‣ だけどね。ELB+Webサーバだけではなくてね。
‣ Queue+Workerサーバの環境も提供。
#cmdevio
- 19. Quartz と Brian
‣ QUARTZ
‣ JavaのOSSジョブスケジューラ
‣ RDBMSをセマフォとした分散・同期
‣ Brian by
‣ QUARTZをラップしたBeanstalkアプリ
‣ Web tier / internal ELBで使うとよい
#cmdevio