Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Kinesushi cmregrowth-2014-tokyo-20141216

444 vues

Publié le

KinesushiをAmazonKinesisで作った話。

Publié dans : Technologie
  • Soyez le premier à commenter

Kinesushi cmregrowth-2014-tokyo-20141216

  1. 1. Ⓒ Classmethod, Inc. Kinesushiでみた Amazon Kinesisの話 1 DEVIO-MTUP11-TOKYO-004 鈴木亮,AWSチーム,クラスメソッド(株) 2014年12月16日
  2. 2. Ⓒ Classmethod, Inc. 自己紹介 • 氏名 鈴木 亮(すずき りょう) • 所属 • クラスメソッドAWSチーム • チームUKYO reve(ロードレース) • Twitter suzryo 2
  3. 3. 3
  4. 4. ストリーミングデータを リアルタイムで処理する 完全マネージド型サービス Amazon Kinesis とは? 4
  5. 5. Ⓒ Classmethod, Inc. AWS Solutions Architect ブログ 5 http://aws.typepad.com/sajp/2014/08/kinesis_01.html
  6. 6. Ⓒ Classmethod, Inc. 弊社ブログ(AWS Summitレポート) 6 http://dev.classmethod.jp/cloud/aws/aws-summit2014tokyo-kinesis/
  7. 7. Ⓒ Classmethod, Inc. 弊社ブログ2(Kinesis特集) 7 http://dev.classmethod.jp/referencecat/aws-kinesis/
  8. 8. Amazon Kinesis メリット 8
  9. 9. スケール性 9
  10. 10. Ⓒ Classmethod, Inc. Kinesushi構成図(水曜日:0日目) 10
  11. 11. Ⓒ Classmethod, Inc. Kinesushi構成図(木曜日:1日目) 11
  12. 12. Ⓒ Classmethod, Inc. 木曜日 • 上限緩和申請(AWSサポート申請) • Kinesisシャード数を10→32 • 検証用Kinesisストリーム設置 • パーティションキーの検証 • 店舗番号を用いる妥当性 • シャード分散確認 12
  13. 13. Ⓒ Classmethod, Inc. Kinesushi構成図(金曜日:2日目) 13
  14. 14. Ⓒ Classmethod, Inc. 金曜日 • 10店舗PUT開始 • シャードの実性能確認 • Kinesisシャード上限緩和 14
  15. 15. Ⓒ Classmethod, Inc. Kinesushi構成図(月曜日:3日目) 15
  16. 16. Ⓒ Classmethod, Inc. 月曜日 • 377店舗先行PUT開始 • 準備時間3日 • ピーク時:200万PUT/1時間 • 1日:1500∼2000万PUT • 1ヶ月:5億前後PUT 16
  17. 17. Ⓒ Classmethod, Inc. 月額コスト 17 AWSサービス 拡張前 拡張後 Kinesis 数十$ 百数十$ S3 0.数$ 数$ EC2 数十$ 数百$
  18. 18. 可用性 保守性 冪等性 18
  19. 19. Ⓒ Classmethod, Inc. Kinesushi構成図 19
  20. 20. Ⓒ Classmethod, Inc. 障害 20 App障害時も、データPUTは継続 データは3重冗長保管 (24時間以内に復旧すれば)データロストなし
  21. 21. Ⓒ Classmethod, Inc. 復旧 21 連番による冪等性確保 リトライが可能
  22. 22. Ⓒ Classmethod, Inc. メンテナンス 22 AP一時停止でデータロストなし
  23. 23. Ⓒ Classmethod, Inc. Blue-Green Deployment 23
  24. 24. ビッグデータを お手頃に 24
  25. 25. Ⓒ Classmethod, Inc. EC2([2,4,8]xlarge), EMR 25
  26. 26. Ⓒ Classmethod, Inc. Kinesis 26
  27. 27. Ⓒ Classmethod, Inc. 27
  28. 28. Ⓒ Classmethod, Inc. まとめ(Kinesisとは) • 高い拡張性と信頼性を備えたバッファです。 • 入口は1つ、出口は沢山を実現します。 • クラウドならではのメリット、
 Dev、Ops、Mng、
 皆で享受する事が可能です。 28
  29. 29. Ⓒ Classmethod, Inc. #cmdevio ご静聴ありがとうございました。 スライドは後日ブログで公開します。 29 DEVIO-MTUP11-TOKYO-004

×