Jawsdays2016 田舎とAWS Lambdaと私
•Télécharger en tant que PPTX, PDF•
1 j'aime•2,063 vues
Jawsdays2016 田舎とAWS Lambdaと私
Recommandé
Contenu connexe
En vedette
Similaire à Jawsdays2016 田舎とAWS Lambdaと私
Similaire à Jawsdays2016 田舎とAWS Lambdaと私 (20)
Jawsdays2016 田舎とAWS Lambdaと私
- 2. 今年のAWS Summit Tokyoは３日間開催に！ 1日目にはエンタープライズ企業の皆様を対象にした「Enterprise Day」を新たにご用意。 2日目、3日目は大企業から中小企業まで様々な企業規模の皆様へ向けた最新のクラウド導入事例、AWS クラウドの最新テクノロジートレンドをご紹介するセッションをご提供いたします。またデベロッパーの 皆様のための様々な技術・ビジネスセッションをご提供する「Developer Conference」も開催。AWS クラウドの最新動向を一挙にご紹介いたします。 参加申し込みは4月から開始予定！まずは「申込受付開始通知メール」に ご登録ください http://aws.amazon.com/jp/summits/tokyo-2016/
- 4. まずは 公式Twitterアカウントを ふたつフォローしよう AWS公式 @awscloud_jp JAWS DAYS公式 @jawsdays 写真ブースで 撮影しよう #jawsdays #jawsphoto をつけて投稿しよう 参加方法は簡単! 3ステップ! たくさん リツイー ト され方へ 豪華景品! 17:00～の懇親会で優勝者を発表します ※9:00～16:30までのTweetが対象です Workshop セッション横
- 5. AWS公式Facebookをフォローし て AWS25ドルクーポンをGETしよう ！ 公式Facebookの 『いいね！』数が 増えれば増えるほ ど、 ビー玉がなくなり、 最後に 応募用クーポン番号が 現れます！
- 6. AWS Facebook ページに いいね！しよう！ アマゾン ウェブ サービス 検索 17時～の懇親会にて、応募用URLを公開します！ http://bit.ly/AWS-JP-FB
- 7. 自己紹介 • 石澤直人(youyo_) • 株式会社ヘプタゴン • JAWS-UG青森 • 青森出身仙台在住 • http://blog.youyo.info/ • 最近ハマっているもの • terraform • circle ci
- 8. 会社紹介 • 本社は青森県三沢市 • 宮城県仙台市にも事務所あり • 社員は3人+インターン1人 代表 社員 インターン
- 9. JAWS-UG 青森の活動 • 第０回 AWS勉強会 ２０１３年２月２３日 ＠三沢市図書館 • 第１回 AWS勉強会 ２０１３年５月１９日 ＠三沢市公会堂 • 第２回 AWS勉強会（JAZUG合同勉強会） ２０１３年１０月１９日 ＠三沢市公会堂 • 第３回 AWS勉強会 ２０１４年５月３１日 ＠三沢のおしゃれなバー • 第４回 AWS勉強会 ２０１４年１２月６日 ＠三沢市福祉センター (たぶん非公式なロゴ)
- 10. JAWS-UG 青森の活動 • 勉強会の内容としては基礎的なものが多い。 • AWSとは？クラウドとは？ • たまにハイレベルな内容も。 • 徐々に参加者のレベルが高くなってきた感もある。 • 田舎なので集客大変。 • 車必須。 (たぶん非公式なロゴ) <= 田舎感が伝わりそうな写真
- 11. 田舎の案件ってどういうものがあるのか ？ • 予算なし、アクセス少ない、でもサーバ落としちゃダメだよ？ • バックアップも冗長化もバッチリお願いね？ • でも予算はないからね？ => そうだ！ サーバーレスでイベントドリブンな構成にすればいいんだ！ => AWS Lambdaに手を出してみた。 ！！注意！！ 本日ご紹介する会社様と上記記述は関係ございません m(_ _)m
- 13. 事例紹介 一般社団法人MAKOTO様 お客様の課題 • 手作業で統計処理を行っていたプロジェクトがあった • データ量が増えて処理が大変に • 人的リソースの確保も困難に =>業務効率化のためにシステム化したい！
- 14. 事例紹介
- 15. 事例紹介 • ユーザーが統計処理対象のマスターデータをs3にアップロード • S3のevent notificationでLambda Function実行 • マスターデータを細分化し、S3にput • またS3のevent notificationでLambda Function実行 • 解析/統計処理/細分化を繰り返し、最終的に統計処理結果ファイルをS3にput • S3のevent notificationからSNS経由しSESを使いユーザーにメール通知 • ユーザーがS3からファイルをダウンロードし処理終了。
- 16. 事例紹介 • AWSのサービスを利用したServerLess アーキテクチャー =>運用がお手軽！ • ec2などの常時コストが発生するサービスは使用していない => 完全従量課金実現！ • マスターデータが増えた場合でもデータの細分化を行うことで その後実行されるLambda Functionを並列化できる => データ量が増えても普段通りの処理速度をキープ！
- 18. CloudWatchからデータ取得して Zabbixに投げる • 今まではzabbix-serverでaws-sdkを利用しcloudwatchからデータを取得し zabbixに登録していた。 • 監視対象が増えるにつれてzabbix-serverに結構な負荷がかかるようになっていった • cloudwacthデータ取得のための専用のzabbix-proxyを用意して分離した • 監視対象が増えるたびにインスタンス増やすのイケてない =>ここの部分をLambdaに置き換えられないか？
- 22. まとめ • 田舎には田舎なりのAWSの使い方がある • 必要な時だけ処理を実行できるAWS Lambdaは 田舎の強い味方！ • AWS Lambdaの特徴をよく理解して適材適所で より良いAWSライフを！
- 23. ありがとうございました
Notes de l'éditeur
- では始めさせていただきます。よろしくお願いします。まずはじめに「部屋とワイシャツと私」に関する話は出てきませんのでご了承ください。あとlambdaに関するテクニカルな内容も特にないのでご了承ください。 まず告知！
- 今日いろんなセッションで見ているとは思いますが、一応。 AWSサミットが6月1日から3日間開催されます。場所はグランドプリンスホテル新高輪で、いつものところですね。ぜひみなさん来てください！
- で、twitter連動企画やってます。顔抜き写真をtwitterへ投稿して景品をゲットしよう。
- 公式アカウントをフォローして写真ブースで写真撮影してハッシュタグをつけて投稿！そしてそのツイートがたくさんリツイートされた方には豪華賞品がもらえます。 16:30までなのでもう時間的に厳しくなってきましたが是非みなさんやってみてください。優勝者は懇親会で発表になります。
- AWS公式フェイスブックをフォローして25ドルクーポンをゲットしよう。 よくわかってないのですがとりあえずフォローしていいねしとけばいいんだと思います。
- で、こちら応募用URLは懇親会で発表ということなので、みなさんぜひ懇親会も出てください。
- ということで告知は以上で、まず自己紹介から始めさせていただきます。私、石澤直人と申します。twitterアカウントyouyo_というのでやっております。青森出身の仙台在住です。普段青森にいないのですが一応jawsug青森のコアメンバーをやっております。で、一応ブログも書いてて、このブログがcloudfrontとs3とGAE、グーグルアップエンジンなんですけども、それらを組み合わせて作ってます。cloudfrontをL7バランサーとして使用しててマルチオリジンでs3とgaeに振り分けています。詳細は雑ですけどブログに書いてあるので興味ある方はぜひみてください。最近はterraformとcircleciにハマっています。git pushでデプロイされてaws環境作れちゃうーとかいうのかっこいい！やってみたい！で完全に手段が目的になってる状態なんですけども、この辺に詳しい、自信あるという方は是非、教えて欲しいので声かけてください。
- 会社紹介の方も少し。株式会社ヘプタゴンという会社で今回のjawsdaysのスポンサーもやっています。本社は青森県三沢市にあって、東北初のAPNコンサルティングパートナーを取得しています。青森と仙台を中心に東北で活動してて、業務内容としては設計/構築/運用/保守まで行うフルマネージドサービスや、クラウド導入支援/教育みたいなものもやっております。 社員は今インターン含めて4名で、今日は3人で来ています。4人とも普段いる場所はバラバラでリモートワークしています。何かのイベントのついでに4人集まって久しぶりーみたいな感じになります。 現在一緒に働いてくれる仲間を募集しています。興味がある方はこの3人までお声がけください！
- 今回出張jaws-ugということで、jaws-ug青森についてもちょっと触れます。2013年の第0回から第4回まで5回やっております。全部三沢市という米軍基地があるところでやってます。 右上のロゴですけども、その米軍基地を意識してアメリカ人風というか、そういう感じに仕上がっています。たぶん非公式なロゴです。 2015年はjaws-ug青森単体では開催していないですが、他の県内コミュニティグループと合同で勉強会を開催していました。一番大きなものとしては夏に行った東北IT物産展があります。これは東北六県のIT系のコミュニティを集めて、特にawsに限らずな感じで開催したものになります。その第1回を青森で開催したんですが、100人を超える人が来てくれて大盛況な感じでした。今年の開催地は秋田の予定なので、興味ある方はとか秋田出身だーとかいう方は是非来てください。
- で、その行ってきた勉強会の内容なんですけども、基本的にはawsとはなんぞや？クラウドとは？、各サービスの説明というような基礎的なものから、たまにはディープラーニング/マシンラーニングのようなハイレベルなものまでいろいろやっております。んで徐々に参加者のレベルも高くなってきたような感じはあります。ただし田舎なので集客はそれなりに大変です。だいたい10人15人とかそれくらいですね。あと交通手段も車必須になるので県外からの参加者は移動に苦労するかもしれないです。でも来てくれるのであれば僕が駅から車で送迎するので、もし参加したいけど交通手段がないーという方も安心してください。 んでまぁ写真は田舎感が一番伝わりそうな写真です。これ本社の裏側がもう畑です。だいたい青森ってこんなところですっていうと怒られそうですけど、まぁこんな感じです。で、
- そんな田舎での仕事/案件ってどういうものがあるかというと、予算が少ない、サーバへのアクセスも少ない、でもサーバは落としちゃいけない、もちろんバックアップも冗長化もやってくれ、と。でも安くね？みたいなのがあるわけです。もしかしたら田舎限らずどこでもそうなおかもしれないですが。。で、お客様のこういう要望に対してどうやったら実現可能かを考えて提案するのがうちの仕事なわけでして、まぁ考えた結果サーバーレスでイベントドリブンなアーキテクチャーにすればいいんじゃないかと。いうことでLambda使ってみました。ちょっと注意点があって、下の方に書いてある通り、上記の流れと今回紹介する会社様は関係ございません。無茶な要求はなかったということを言っておきます。
- ということで AWS Lambda使ってみました。
- 事例紹介ということで一般社団法人MAKOTOさまの事例を今回紹介させていただきます。MAKOTOさまは田舎のお客様というわけではなく仙台の都会のイケてる会社様になります。で、お客様の方でいくつか抱えていた課題があって、それまで手作業で統計処理を行っていたプロジェクトがあったのですが、その統計処理対象のデータ量が増えるにつれて統計処理にかかる作業時間が長くなり、人的リソースの確保も困難になっている状態だと。で、業務の効率化のために一連の作業をシステム化したいというご要望をいただきました。そしてうちで提案したのが次の構成になります。
- 使用しているサービスはS3とLambda、SNSとSESになります。
- 処理の流れとしては、まずユーザーが統計処理対象のマスターデータをs3にアップロードします。ここは割り切ってマネジメントコンソールからやってもらいます。で、s3のevent notificationを使いLambda functionを実行します。ここで一度マスターデータの細分化を行い、再度s3にputします。またs3のevent notificationでlambda functionを実行します。この流れで細分化/解析/統計処理を繰り返しながら最終的な結果のファイルをs3にまたputします。最後にs3のevent notificationからSNS、SESを使用しユーザーに通知を行います。そしてユーザーがs3からファイルをダウンロードして終了となります。で、この構成にしてどうなったかというと、
- awsのクラウドサービスを利用したシステムなので、とにかく運用のコストを下げられたというのが大きいです。また、ec2のような常時コストが発生するサービスは使用していないので、完全に使った分だけの従量課金を実現できました。そのおかげであまり使用しない時期などのランニングコストを大幅に削減できました。 マスターデータが大きくなった場合でもデータの細分化を行うことで、その後実行されるlambda functionを並列に実行でき、処理速度の低下を抑えることができました。 で、お客様にも大変満足していただけるシステムが無事完成しました。お客様の方から、「インフラの維持コストがほとんどかからない構成を提案していただき非常に助かりました。他社提案とは全く異なるサーバレスの構成と聞いて心配していましたが、処理件数が非常に多い場合でも、ほとんど数秒で結果が返ってきて非常に満足しています。」というありがたいお言葉を頂いています。この他者提案とは全く異なるサーバーレスな構成を出せるというのも、awsまたlambdaの魅力の一つかと思います。 で、今回の事例紹介は以上になるんですが、もうちょっとだけLambda使ってみた話をします。
- cloudwatchからデータを取得してzabbixに投げるということで、弊社ではサーバの監視業務も行っています。zabbixを言うソフトを使用していて、そこからcloudwatchのデータを取得/保存しています。で、このcloudwatchからデータを取得する部分なんですが、rubyでスクリプト書いて行っていたんですけども、どうも重いと。監視対象、取得データ数の増加に伴って、zabbix-serverの負荷が厳しくなってきました。で、とりあえずcloudwatchからのデータ取得用にzabbix-proxyを使って分離してスケールアウトできるようにしたのですが、監視対象が増えて重くなるたびにインスタンス増やすのイマイチだなーと思っていました。そこでこのcloudwatchのデータ取得の部分をlambdaに置き換えられないかと考えました。
- で、できたのがこの構成になります。ぱっと見でわかるようなシンプルなものです。今まではzabbix-serverの部分でスクリプトを実行し直接cloudwatchのデータを取得していました。この構成では、まずzabbix-serverからcurlコマンドでhttpリクエストをapi-gatewayに投げます。そこでlambda functionを実行し、cloudwatchからデータ取得してレスポンスを返す、と。綺麗にスクリプト実行部分だけをlambdaに移植出来たと思っています。
- で、結果どうなったかというと、切り替え後からcpu負荷がガクッと下がりました。
- で、この構成にすることによりcpu負荷を大きく下げられたというのもありますが、lambdaを利用することにより、今後監視対象が増えてzabbix-serverからのリクエスト数が多くなった場合でも自動でスケールアウトしてくれる、というのもポイントかと思います。
- はい、では今回のまとめです。田舎には田舎なりのaws/クラウドの使い方がある。必要な時に必要な分だけ処理を実行できるlambdaは、コスト面でも、田舎の強い味方です。lambdaの特徴をよく理解して適材適所で使用し、より良いawsライフを送ろう！以上になります。ありがとうございました！