Soumettre la recherche
Mettre en ligne
サーバレスで分析基盤〜ブートキャンプに参加してみた〜
•
Télécharger en tant que PPTX, PDF
•
0 j'aime
•
394 vues
Y
Y K
Suivre
fun-tech#1(2017/7/4開催) LT資料
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 16
Télécharger maintenant
Recommandé
about AWS Lambda in Java
Lambda in java_20160121
Lambda in java_20160121
Teruo Kawasaki
Elasticsearch at Makuake 第12回 Elasticsearch 勉強会に登壇したときの資料です!
Elasticsearch at Makuake
Elasticsearch at Makuake
Yoshiaki Yoshida
rails + serverengineで お手軽daemon
rails + serverengineで お手軽daemon
rails + serverengineで お手軽daemon
Akira Miki
@threetreeslight Repro Inc. shinjuku.rb #32@metaps Dec 16, 2015
1秒でも早くAutoScale
1秒でも早くAutoScale
Akira Miki
クラスメソッドre:Inventフォロー re:GrowthでAmazon Athenaの概要について発表
re:Growth athena
re:Growth athena
淳 千葉
Lambdaによるクラウド型言語の実装
Lambdaによるクラウド型言語の実装
Lambdaによるクラウド型言語の実装
Sugawara Genki
AWSで作るビッグデータの話です! AWSさんの拡散事例に載りたいんでみんな拡散してください!
Awsで作るビッグデータ解析今とこれから
Awsで作るビッグデータ解析今とこれから
Shohei Kobayashi
社内勉強会の資料。 EFKスタックについて。
第一回Web技術勉強会 efkスタック編
第一回Web技術勉強会 efkスタック編
tzm_freedom
Recommandé
about AWS Lambda in Java
Lambda in java_20160121
Lambda in java_20160121
Teruo Kawasaki
Elasticsearch at Makuake 第12回 Elasticsearch 勉強会に登壇したときの資料です!
Elasticsearch at Makuake
Elasticsearch at Makuake
Yoshiaki Yoshida
rails + serverengineで お手軽daemon
rails + serverengineで お手軽daemon
rails + serverengineで お手軽daemon
Akira Miki
@threetreeslight Repro Inc. shinjuku.rb #32@metaps Dec 16, 2015
1秒でも早くAutoScale
1秒でも早くAutoScale
Akira Miki
クラスメソッドre:Inventフォロー re:GrowthでAmazon Athenaの概要について発表
re:Growth athena
re:Growth athena
淳 千葉
Lambdaによるクラウド型言語の実装
Lambdaによるクラウド型言語の実装
Lambdaによるクラウド型言語の実装
Sugawara Genki
AWSで作るビッグデータの話です! AWSさんの拡散事例に載りたいんでみんな拡散してください!
Awsで作るビッグデータ解析今とこれから
Awsで作るビッグデータ解析今とこれから
Shohei Kobayashi
社内勉強会の資料。 EFKスタックについて。
第一回Web技術勉強会 efkスタック編
第一回Web技術勉強会 efkスタック編
tzm_freedom
第25回 TokyoWebmining 発表スライド
TokyoWebminig カジュアルなHadoop
TokyoWebminig カジュアルなHadoop
Teruo Kawasaki
Alibaba Cloudがいま考えている新しいネットワークの概念であるCEN(Cloud Enterprise Network)についてご紹介します。
Global Network on Alibaba Cloud
Global Network on Alibaba Cloud
Shinya Mori (@mosuke5)
Spark Casual Talk #1( http://connpass.com/event/15575/ )で発表したSpark Streaming + Amazon Kinesisの話。
Spark Streaming + Amazon Kinesis
Spark Streaming + Amazon Kinesis
Yuta Imai
JSUG SpringOne Platform 2016 報告会で発表した資料です。内容はSpring Dataの最新の情報です。 https://jsug.doorkeeper.jp/events/50931
JSUG SpringOne Platform 2016 報告会 - New in Spring Data
JSUG SpringOne Platform 2016 報告会 - New in Spring Data
Tommy Ludwig
VIOPS09 AWSで実現するクラウドと物理製品の融合
VIOPS09 AWSで実現するクラウドと物理製品の融合
Hiroyasu Suzuki
Maya を Azure でクラウドレンダリング 【入門編】https://azure.connpass.com/event/74006/ で実施した内容です
Azure Batch Renderingではじめるクラウドレンダリング
Azure Batch Renderingではじめるクラウドレンダリング
Microsoft
DynamoDBのまえにキャッシュおく奴
DynamoDBのまえにキャッシュおく奴
DynamoDBのまえにキャッシュおく奴
Sugawara Genki
The deck for Serverless Meetup #2 at Jan 17, 2017. About how to improve the performance of AWS Lambda.
Tune Up AWS Lambda
Tune Up AWS Lambda
Keisuke Nishitani
記念すべきAliEaters第1回でDataVで遊んでみた話をします。ライブコーディングを交えてどのようにDataVを操作できるのか紹介しました。
AliEaters meetup#1 ド派手ダッシュボードDataVで遊んでみよう
AliEaters meetup#1 ド派手ダッシュボードDataVで遊んでみよう
Shinya Mori (@mosuke5)
今からでも大丈夫!Firebase入門でのスライドです。
今からでも大丈夫!Firebase入門
今からでも大丈夫!Firebase入門
Tomoki Koga
Presto 勉強会 at IPROS https://iprostm.doorkeeper.jp/events/23044
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
Taro L. Saito
#hcj2016 Hadoop / Spark Conference Japan 2016 LT資料
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
Sotaro Kimura
2021/12/09 Elasticsearch勉強会のLT資料
20211209 lt runtime_field
20211209 lt runtime_field
Nomura Yuta
AWSerにも知ってほしいDBの話
AWSerにも知ってほしいDBの話
AWSerにも知ってほしいDBの話
Kenichiro Mori
AWSプレミアナイト#3
AWS新サービス活用事例
AWS新サービス活用事例
Shinichi Takahashi
Altair Converge 2017で利用した資料です。
20171122 altair converge2017publish
20171122 altair converge2017publish
Hiroshi Tanaka
FirebaseをJavaScriptから使う手触りを感じ取っていただければと。
JavaScriptから利用するFirebase
JavaScriptから利用するFirebase
Takuji Shimokawa
20140930 anything as_code
20140930 anything as_code
20140930 anything as_code
Sugawara Genki
SQLによるDynamoDBの操作
SQLによるDynamoDBの操作
SQLによるDynamoDBの操作
Sugawara Genki
第14回Elasticsearch勉強会 LTの資料です。
Elasticsearchインデクシングのパフォーマンスを測ってみた
Elasticsearchインデクシングのパフォーマンスを測ってみた
Ryoji Kurosawa
第6回 関西DB勉強会のセッション「PostgreSQLエンジニアにとってのデータ分析プロジェクト:テクノロジーとその実践」の中の、「アナリティクスをPostgreSQLで始めるべき10の理由」のパートのスライドです。 イベントの詳細は以下を参照してください。 第6回 関西DB勉強会 https://kansaidbstudy.connpass.com/event/62974/
アナリティクスをPostgreSQLで始めるべき10の理由@第6回 関西DB勉強会
アナリティクスをPostgreSQLで始めるべき10の理由@第6回 関西DB勉強会
Satoshi Nagayasu
IVS CTO Night and Day powered by AWS 2016 WinterのMorning Sessionにおける検索技術に関する資料です
Search Solutions on AWS
Search Solutions on AWS
Eiji Shinohara
Contenu connexe
Tendances
第25回 TokyoWebmining 発表スライド
TokyoWebminig カジュアルなHadoop
TokyoWebminig カジュアルなHadoop
Teruo Kawasaki
Alibaba Cloudがいま考えている新しいネットワークの概念であるCEN(Cloud Enterprise Network)についてご紹介します。
Global Network on Alibaba Cloud
Global Network on Alibaba Cloud
Shinya Mori (@mosuke5)
Spark Casual Talk #1( http://connpass.com/event/15575/ )で発表したSpark Streaming + Amazon Kinesisの話。
Spark Streaming + Amazon Kinesis
Spark Streaming + Amazon Kinesis
Yuta Imai
JSUG SpringOne Platform 2016 報告会で発表した資料です。内容はSpring Dataの最新の情報です。 https://jsug.doorkeeper.jp/events/50931
JSUG SpringOne Platform 2016 報告会 - New in Spring Data
JSUG SpringOne Platform 2016 報告会 - New in Spring Data
Tommy Ludwig
VIOPS09 AWSで実現するクラウドと物理製品の融合
VIOPS09 AWSで実現するクラウドと物理製品の融合
Hiroyasu Suzuki
Maya を Azure でクラウドレンダリング 【入門編】https://azure.connpass.com/event/74006/ で実施した内容です
Azure Batch Renderingではじめるクラウドレンダリング
Azure Batch Renderingではじめるクラウドレンダリング
Microsoft
DynamoDBのまえにキャッシュおく奴
DynamoDBのまえにキャッシュおく奴
DynamoDBのまえにキャッシュおく奴
Sugawara Genki
The deck for Serverless Meetup #2 at Jan 17, 2017. About how to improve the performance of AWS Lambda.
Tune Up AWS Lambda
Tune Up AWS Lambda
Keisuke Nishitani
記念すべきAliEaters第1回でDataVで遊んでみた話をします。ライブコーディングを交えてどのようにDataVを操作できるのか紹介しました。
AliEaters meetup#1 ド派手ダッシュボードDataVで遊んでみよう
AliEaters meetup#1 ド派手ダッシュボードDataVで遊んでみよう
Shinya Mori (@mosuke5)
今からでも大丈夫!Firebase入門でのスライドです。
今からでも大丈夫!Firebase入門
今からでも大丈夫!Firebase入門
Tomoki Koga
Presto 勉強会 at IPROS https://iprostm.doorkeeper.jp/events/23044
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
Taro L. Saito
#hcj2016 Hadoop / Spark Conference Japan 2016 LT資料
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
Sotaro Kimura
2021/12/09 Elasticsearch勉強会のLT資料
20211209 lt runtime_field
20211209 lt runtime_field
Nomura Yuta
AWSerにも知ってほしいDBの話
AWSerにも知ってほしいDBの話
AWSerにも知ってほしいDBの話
Kenichiro Mori
AWSプレミアナイト#3
AWS新サービス活用事例
AWS新サービス活用事例
Shinichi Takahashi
Altair Converge 2017で利用した資料です。
20171122 altair converge2017publish
20171122 altair converge2017publish
Hiroshi Tanaka
FirebaseをJavaScriptから使う手触りを感じ取っていただければと。
JavaScriptから利用するFirebase
JavaScriptから利用するFirebase
Takuji Shimokawa
20140930 anything as_code
20140930 anything as_code
20140930 anything as_code
Sugawara Genki
SQLによるDynamoDBの操作
SQLによるDynamoDBの操作
SQLによるDynamoDBの操作
Sugawara Genki
第14回Elasticsearch勉強会 LTの資料です。
Elasticsearchインデクシングのパフォーマンスを測ってみた
Elasticsearchインデクシングのパフォーマンスを測ってみた
Ryoji Kurosawa
Tendances
(20)
TokyoWebminig カジュアルなHadoop
TokyoWebminig カジュアルなHadoop
Global Network on Alibaba Cloud
Global Network on Alibaba Cloud
Spark Streaming + Amazon Kinesis
Spark Streaming + Amazon Kinesis
JSUG SpringOne Platform 2016 報告会 - New in Spring Data
JSUG SpringOne Platform 2016 報告会 - New in Spring Data
VIOPS09 AWSで実現するクラウドと物理製品の融合
VIOPS09 AWSで実現するクラウドと物理製品の融合
Azure Batch Renderingではじめるクラウドレンダリング
Azure Batch Renderingではじめるクラウドレンダリング
DynamoDBのまえにキャッシュおく奴
DynamoDBのまえにキャッシュおく奴
Tune Up AWS Lambda
Tune Up AWS Lambda
AliEaters meetup#1 ド派手ダッシュボードDataVで遊んでみよう
AliEaters meetup#1 ド派手ダッシュボードDataVで遊んでみよう
今からでも大丈夫!Firebase入門
今からでも大丈夫!Firebase入門
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
20211209 lt runtime_field
20211209 lt runtime_field
AWSerにも知ってほしいDBの話
AWSerにも知ってほしいDBの話
AWS新サービス活用事例
AWS新サービス活用事例
20171122 altair converge2017publish
20171122 altair converge2017publish
JavaScriptから利用するFirebase
JavaScriptから利用するFirebase
20140930 anything as_code
20140930 anything as_code
SQLによるDynamoDBの操作
SQLによるDynamoDBの操作
Elasticsearchインデクシングのパフォーマンスを測ってみた
Elasticsearchインデクシングのパフォーマンスを測ってみた
Similaire à サーバレスで分析基盤〜ブートキャンプに参加してみた〜
第6回 関西DB勉強会のセッション「PostgreSQLエンジニアにとってのデータ分析プロジェクト:テクノロジーとその実践」の中の、「アナリティクスをPostgreSQLで始めるべき10の理由」のパートのスライドです。 イベントの詳細は以下を参照してください。 第6回 関西DB勉強会 https://kansaidbstudy.connpass.com/event/62974/
アナリティクスをPostgreSQLで始めるべき10の理由@第6回 関西DB勉強会
アナリティクスをPostgreSQLで始めるべき10の理由@第6回 関西DB勉強会
Satoshi Nagayasu
IVS CTO Night and Day powered by AWS 2016 WinterのMorning Sessionにおける検索技術に関する資料です
Search Solutions on AWS
Search Solutions on AWS
Eiji Shinohara
世界中のオンラインゲームやスマフォアプリの分析をしてきたPlayFab。最近、従来のイベント分析に加えて様々なテレメトリーを包含したクラウド分析機能が備わりました。今回は、その裏の Azure Data Explorer a.k.a Kusto での構成や仕組みをご紹介します。Windowsのテレメトリー分析やAzureのログ解析基盤の裏側と共通した仕掛けが含まれているのでお楽しみに!ゲーム業界に限らず、ビックデータ運用を考えている大規模なSaaS事業やIoT事業にもご参考いただけたら幸いです。 at db tech showcase ONLINE 2020 https://db-tech-showcase.com/dbts/2020/online #dbts2020 #gamestackjp *本資料は 2020年11月11日に開催された DB Tech Showcase イベントにてお話させていただいた、同タイトルのセッション資料となります
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
Daisuke Masubuchi
https://www.elastic.co/jp/webinars/getting-started-with-devops-with-elastic-x-circleci
Elastic circle ci-co-webinar-20210127
Elastic circle ci-co-webinar-20210127
Shotaro Suzuki
本日最初のdb tech showcaseセッションは16時20分から、話します。こちらはその抜粋Preview資料です。もしよければお手元にDLください #dbts2020 #DB ★ db tech showcaseへご登録お済みの方: https://bit.ly/2IoQKps ★ 未登録の方 https://bit.ly/3ljdXYt db tech showcase ONLINE 2020 イベントページ https://db-tech-showcase.com/dbts/2020/online #dbts2020 #gamestackjp 以下の内容をおはなしいたします。 第一部: PlayFab Insights ゲームの BaaS 「 PlayFab 」の分析機能 についてお話します 従来の分析機能が大幅にバージョンアップしました(新機能=PlayFab Insights) 内部には、Azure Data Explorer が使われています。機構をご紹介します 第二部: Azure Data Explorer Azure Data Explore についてさらにお話します この製品の生い立ち、過去の経緯、Microsoft社内での利用シナリオについてご紹介します
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
Daisuke Masubuchi
ほぼ週刊AWSマイスターシリーズでは、毎週テーマを決めて、各サービスの詳細情報を解説します。第2回は、S3です。 皆様と一緒に、AWSマイスターへの第一歩を踏み出しましょう!
S3 -ほぼ週刊AWSマイスターシリーズ第2回-
S3 -ほぼ週刊AWSマイスターシリーズ第2回-
SORACOM, INC
AWSなにそれ美味しいの!?
データを扱いたい!はじめてのAWS
データを扱いたい!はじめてのAWS
ShoichiYashiro
AWSの検索ソリューション at IVS CTO Night and Day 2016 Spring Apache Lucene, Amazon CloudSearch , Amazon Elasticsearch Serviceのご紹介
Search on AWS - IVS CTO Night and Day 2016 Spring
Search on AWS - IVS CTO Night and Day 2016 Spring
Eiji Shinohara
Yesod(at FPM2012)
Yesod(at FPM2012)
Seizan Shimazaki
第五回JAWS-UG札幌勉強会で発表したスライドです。詳細はブログ(http://blog.dateofrock.com/)に書きますw
AWS小ネタ集
AWS小ネタ集
Takehito Tanabe
BigData-JAWS 勉強会#6での議論たたき台資料 https://jawsug-bigdata.connpass.com/event/52590/
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Sotaro Kimura
クラスメソッド データインテグレーション部は、AWSをベースとしたデータ分析基盤構築案件を多数手掛けています。 本セッションでは、その経験上得られたデータ分析基盤をAWSサービスで構成する際のノウハウをお伝えします。
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
Yosuke Katsuki
Global Azure Boot Camp 2016 in JapanでのLT資料です
20160416 Azure Data Lakeのはまりどころ
20160416 Azure Data Lakeのはまりどころ
一希 大田
2015/08/01
AWSでのビッグデータ分析
AWSでのビッグデータ分析
Amazon Web Services Japan
第10回elasticsearch勉強会 LTの資料です。
Elasticsearch 変わり種プラグインの作り方
Elasticsearch 変わり種プラグインの作り方
Ryoji Kurosawa
7/1向けcndjpの発表資料です。 Database on Kubernetesの現在状況を整理した資料になっています。
Database on Kubernetes - HA,Replication and more -
Database on Kubernetes - HA,Replication and more -
t8kobayashi
Osoljp201210 oi swift
Osoljp201210 oi swift
Noriyasu Sakaue
Running Amazon S3 Encryption
Running Amazon S3 Encryption
Satoru Ishikawa
第2回 岡山Amazon Web Service勉強会で発表した内容です
Jenkins + awsで並列テスト
Jenkins + awsで並列テスト
Yamamoto Kazuhisa
AWS Black Belt Tech Webinar 2015 Amazon Kinesis 次回のWebinarは、下記よりご確認ください。 http://aws.amazon.com/jp/about-aws/events/#webinar ★AWS Black Belt Tech Webinarとは AWSのソリューションアーキテクト、TechメンバがAWSのプロダクト/ソリューションを深堀りして解説し、参加されている皆さまからの質問にお答えする無料のWebinar(Webセミナー)です。 毎週水曜日(祝日などを除く)、日本時間の18:00から約1時間にわたってお送りしています。
AWS Black Belt Tech シリーズ 2015 - Amazon Kinesis
AWS Black Belt Tech シリーズ 2015 - Amazon Kinesis
Amazon Web Services Japan
Similaire à サーバレスで分析基盤〜ブートキャンプに参加してみた〜
(20)
アナリティクスをPostgreSQLで始めるべき10の理由@第6回 関西DB勉強会
アナリティクスをPostgreSQLで始めるべき10の理由@第6回 関西DB勉強会
Search Solutions on AWS
Search Solutions on AWS
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
Elastic circle ci-co-webinar-20210127
Elastic circle ci-co-webinar-20210127
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
S3 -ほぼ週刊AWSマイスターシリーズ第2回-
S3 -ほぼ週刊AWSマイスターシリーズ第2回-
データを扱いたい!はじめてのAWS
データを扱いたい!はじめてのAWS
Search on AWS - IVS CTO Night and Day 2016 Spring
Search on AWS - IVS CTO Night and Day 2016 Spring
Yesod(at FPM2012)
Yesod(at FPM2012)
AWS小ネタ集
AWS小ネタ集
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
20160416 Azure Data Lakeのはまりどころ
20160416 Azure Data Lakeのはまりどころ
AWSでのビッグデータ分析
AWSでのビッグデータ分析
Elasticsearch 変わり種プラグインの作り方
Elasticsearch 変わり種プラグインの作り方
Database on Kubernetes - HA,Replication and more -
Database on Kubernetes - HA,Replication and more -
Osoljp201210 oi swift
Osoljp201210 oi swift
Running Amazon S3 Encryption
Running Amazon S3 Encryption
Jenkins + awsで並列テスト
Jenkins + awsで並列テスト
AWS Black Belt Tech シリーズ 2015 - Amazon Kinesis
AWS Black Belt Tech シリーズ 2015 - Amazon Kinesis
サーバレスで分析基盤〜ブートキャンプに参加してみた〜
1.
サーバーレスで分析基盤 ブートキャンプに参加してみた 2017/7/4 fun-tech#1
2.
誰? • オープンストリーム所属、木村嘉宏 • ky0000@Github •
AWS経験 • ゴリゴリのサーバー有のよくあるやつ • ElasticBeanstalkとか • Elasticsearch Serviceとかちょっとだけ • その他諸々 • サーバーレス⇒未経験 • 分析基盤⇒未経験 • この分野に関してはほぼド素人!
3.
ブートキャンプ • AWSサミット中にある特別有償トレーニング • 5
月 31 日(水)13:00 ~ 18:00(5 時間) •Building a Serverless Data Lake • 簡単な内容 • Lab1.データレイクセットアップ • Lab2.カタログ検索と分析対象データのロード • Lab3.データ処理セットアップ
4.
Lab1.データレイクセットアップ AmazonKinesis Firehose Amazon S3 Amazon DynamoDB Amazon Elasticsearch
Service AWS Lambda AWS Lambda
5.
Lab2.カタログ検索と分析対象データ のロード AmazonKinesis Firehose Amazon S3 Amazon DynamoDB Amazon Elasticsearch
Service AWS Lambda AWS Lambda AWS Lambda Amazon API Gateway Amazon S3 (静的ホスティング) サーバーレスでREST-API S3でAPI叩くページを静的 ホスティング Amazon S3
6.
Lab3.データ処理セットアップ AmazonKinesis Firehose Amazon S3 Amazon DynamoDB Amazon Elasticsearch
Service AWS Lambda AWS Lambda AWS Lambda Amazon API Gateway Amazon S3 (静的ホスティング) Amazon EMR Amazon Redshift Spark Presto おまけの Redshift Amazon S3
7.
Lab1.データレイクセットアップ AmazonKinesis Firehose Amazon S3 Amazon DynamoDB Amazon Elasticsearch
Service AWS Lambda AWS Lambda
8.
Lab1.ElasticsearchService • 分散型RESTful検索/分析エンジン(Elastic社、Elasticsearch公式より)のAWS 上でのフルマネージドサービス • 現在使用できるバージョンは1.5、2.3、5.1、5.3 •
割と新しいの揃ってるジャマイカ • 昨日みた最新は5.4.3でした
9.
Lab2.カタログ検索と分析対象データ のロード AmazonKinesis Firehose Amazon S3 Amazon DynamoDB Amazon Elasticsearch
Service AWS Lambda AWS Lambda AWS Lambda Amazon API Gateway Amazon S3 (静的ホスティング) サーバーレスでREST-API S3でAPI叩くページを静的 ホスティング Amzon S3 Amazon S3 Lab1
10.
Lab2.サーバーありで作る場合
11.
Lab2.サーバーレスで作る場合(今 回)
12.
Lab3.データ処理セットアップ AmazonKinesis Firehose Amazon S3 Amazon DynamoDB Amazon Elasticsearch
Service AWS Lambda AWS Lambda AWS Lambda Amazon API Gateway Amazon S3 (静的ホスティング) Amazon EMR Amazon Redshift Lab2 Spark + Presto おまけの Redshift Amazon S3 Lab1
13.
Lab3. EMR • みなさんおなじみEMR
14.
Lab3. Spark +
Presto サンドボックスデータをクエ リしてParquet形式に変換 Parquet形式に変換さ れたデータをアド ホックにクエリ
15.
Lab3. Redshift • Spectrumはなし •
↓こんなのを実行 AmazonKinesis Firehose Amazon S3 Amazon Redshift BIクライアント (psql)
16.
まとめ Serverlessで Let’s Analyse! 素 人 で も で き ま す な
Télécharger maintenant