Submit Search
Upload
ビッグデータのクラウドデザイン
•
Download as PPTX, PDF
•
2 likes
•
891 views
Atsushi Kojima
Follow
Azureでビッグデータを取り扱う場合のTipsを中心にクラウドデザインを考えてみました。
Read less
Read more
Internet
Slideshow view
Report
Share
Slideshow view
Report
Share
1 of 21
Download now
Recommended
Road to Next MT - MTDDC Meetup TOKYO 2015 Keynote
Road to Next MT - MTDDC Meetup TOKYO 2015 Keynote
Daiji Hirata
[hccjp#2] 忖度なし!自社にあったハイブリッドクラウドの選び方
[hccjp#2] 忖度なし!自社にあったハイブリッドクラウドの選び方
Daichi Ogawa
CLOUDIAN Presentation at VERITAS VISION in Tokyo
CLOUDIAN Presentation at VERITAS VISION in Tokyo
CLOUDIAN KK
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
寛之 松浦
Innovation Egg presen_160130
Innovation Egg presen_160130
知礼 八子
Kintoneで回すline botのpdcaサイクル
Kintoneで回すline botのpdcaサイクル
Jun Tanaka
Innovation egg6 mythings
Innovation egg6 mythings
Makoto Oya
俺のローカル開発環境 - MTDDC Meetup NAGOYA 2014
俺のローカル開発環境 - MTDDC Meetup NAGOYA 2014
taiju higashi
Recommended
Road to Next MT - MTDDC Meetup TOKYO 2015 Keynote
Road to Next MT - MTDDC Meetup TOKYO 2015 Keynote
Daiji Hirata
[hccjp#2] 忖度なし!自社にあったハイブリッドクラウドの選び方
[hccjp#2] 忖度なし!自社にあったハイブリッドクラウドの選び方
Daichi Ogawa
CLOUDIAN Presentation at VERITAS VISION in Tokyo
CLOUDIAN Presentation at VERITAS VISION in Tokyo
CLOUDIAN KK
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
寛之 松浦
Innovation Egg presen_160130
Innovation Egg presen_160130
知礼 八子
Kintoneで回すline botのpdcaサイクル
Kintoneで回すline botのpdcaサイクル
Jun Tanaka
Innovation egg6 mythings
Innovation egg6 mythings
Makoto Oya
俺のローカル開発環境 - MTDDC Meetup NAGOYA 2014
俺のローカル開発環境 - MTDDC Meetup NAGOYA 2014
taiju higashi
IT管理者が取り組むべき内製化を成功させるための技術戦略と文化醸成
IT管理者が取り組むべき内製化を成功させるための技術戦略と文化醸成
Atsushi Kojima
Expectations and reality of hybrid cloud
Expectations and reality of hybrid cloud
Naoki Yonezu
GCPでお手軽IoTに挑戦
GCPでお手軽IoTに挑戦
Masahiro Matsumoto
MTDDC Meetup NAGOYA 2014 Keynote
MTDDC Meetup NAGOYA 2014 Keynote
Daiji Hirata
170520 DataSpider DevConn Hackathon
170520 DataSpider DevConn Hackathon
kintone papers
企業情報システムのブレークスルー 〜CPSプラットフォームの提案〜
企業情報システムのブレークスルー 〜CPSプラットフォームの提案〜
Miki Yutani
The Twelve Factorで実践するSaaS開発
The Twelve Factorで実践するSaaS開発
Atsushi Kojima
ハンズラボの考えるIoT Innovation EGG 第6回 『IoT 今と未来』
ハンズラボの考えるIoT Innovation EGG 第6回 『IoT 今と未来』
一成 田部井
Let's encryptについて kixs
Let's encryptについて kixs
Hiroki Sakonju
オペレーショナルエクセレンスの実現のためにまずやること
オペレーショナルエクセレンスの実現のためにまずやること
Atsushi Kojima
[Japan Tech summit 2017] CLD 021
[Japan Tech summit 2017] CLD 021
Microsoft Tech Summit 2017
AITCオープンラボ 2018年5月度(4)
AITCオープンラボ 2018年5月度(4)
aitc_jp
クラウド座談会資料
クラウド座談会資料
知礼 八子
D11 一つのデータベースでは、夢を現実に変えられない -Human Dreams. Make IT Real- by Taichi Ishikawa
D11 一つのデータベースでは、夢を現実に変えられない -Human Dreams. Make IT Real- by Taichi Ishikawa
Insight Technology, Inc.
怖くないAzure Landing Zone
怖くないAzure Landing Zone
Atsushi Kojima
人工知能技術のエンタープライズシステムへの適用
人工知能技術のエンタープライズシステムへの適用
Miki Yutani
脆弱性スキャナVulsの紹介とMackerelメタデータと連携した脆弱性管理
脆弱性スキャナVulsの紹介とMackerelメタデータと連携した脆弱性管理
Takayuki Ushida
GTMF 2015: ゲーム分析プラットフォームとしてのトレジャーデータサービス | トレジャーデータ株式会社
GTMF 2015: ゲーム分析プラットフォームとしてのトレジャーデータサービス | トレジャーデータ株式会社
Game Tools & Middleware Forum
チャットボットの自然言語処理
チャットボットの自然言語処理
Yoshitaka Seo
データサイエンティスト協会 木曜勉強会 #02 講演2:『ビッグデータの0次分析手法と適用例のご紹介 ~俯瞰から始まる企業内ビッグデータの活用~』
データサイエンティスト協会 木曜勉強会 #02 講演2:『ビッグデータの0次分析手法と適用例のご紹介 ~俯瞰から始まる企業内ビッグデータの活用~』
The Japan DataScientist Society
第2回すだちくん勉強会におけるIoT最新動向と題したプレゼン資料
第2回すだちくん勉強会におけるIoT最新動向と題したプレゼン資料
知礼 八子
空気を読む家のキッチン(3-3)
空気を読む家のキッチン(3-3)
aitc_jp
More Related Content
What's hot
IT管理者が取り組むべき内製化を成功させるための技術戦略と文化醸成
IT管理者が取り組むべき内製化を成功させるための技術戦略と文化醸成
Atsushi Kojima
Expectations and reality of hybrid cloud
Expectations and reality of hybrid cloud
Naoki Yonezu
GCPでお手軽IoTに挑戦
GCPでお手軽IoTに挑戦
Masahiro Matsumoto
MTDDC Meetup NAGOYA 2014 Keynote
MTDDC Meetup NAGOYA 2014 Keynote
Daiji Hirata
170520 DataSpider DevConn Hackathon
170520 DataSpider DevConn Hackathon
kintone papers
企業情報システムのブレークスルー 〜CPSプラットフォームの提案〜
企業情報システムのブレークスルー 〜CPSプラットフォームの提案〜
Miki Yutani
The Twelve Factorで実践するSaaS開発
The Twelve Factorで実践するSaaS開発
Atsushi Kojima
ハンズラボの考えるIoT Innovation EGG 第6回 『IoT 今と未来』
ハンズラボの考えるIoT Innovation EGG 第6回 『IoT 今と未来』
一成 田部井
Let's encryptについて kixs
Let's encryptについて kixs
Hiroki Sakonju
オペレーショナルエクセレンスの実現のためにまずやること
オペレーショナルエクセレンスの実現のためにまずやること
Atsushi Kojima
[Japan Tech summit 2017] CLD 021
[Japan Tech summit 2017] CLD 021
Microsoft Tech Summit 2017
What's hot
(11)
IT管理者が取り組むべき内製化を成功させるための技術戦略と文化醸成
IT管理者が取り組むべき内製化を成功させるための技術戦略と文化醸成
Expectations and reality of hybrid cloud
Expectations and reality of hybrid cloud
GCPでお手軽IoTに挑戦
GCPでお手軽IoTに挑戦
MTDDC Meetup NAGOYA 2014 Keynote
MTDDC Meetup NAGOYA 2014 Keynote
170520 DataSpider DevConn Hackathon
170520 DataSpider DevConn Hackathon
企業情報システムのブレークスルー 〜CPSプラットフォームの提案〜
企業情報システムのブレークスルー 〜CPSプラットフォームの提案〜
The Twelve Factorで実践するSaaS開発
The Twelve Factorで実践するSaaS開発
ハンズラボの考えるIoT Innovation EGG 第6回 『IoT 今と未来』
ハンズラボの考えるIoT Innovation EGG 第6回 『IoT 今と未来』
Let's encryptについて kixs
Let's encryptについて kixs
オペレーショナルエクセレンスの実現のためにまずやること
オペレーショナルエクセレンスの実現のためにまずやること
[Japan Tech summit 2017] CLD 021
[Japan Tech summit 2017] CLD 021
Similar to ビッグデータのクラウドデザイン
AITCオープンラボ 2018年5月度(4)
AITCオープンラボ 2018年5月度(4)
aitc_jp
クラウド座談会資料
クラウド座談会資料
知礼 八子
D11 一つのデータベースでは、夢を現実に変えられない -Human Dreams. Make IT Real- by Taichi Ishikawa
D11 一つのデータベースでは、夢を現実に変えられない -Human Dreams. Make IT Real- by Taichi Ishikawa
Insight Technology, Inc.
怖くないAzure Landing Zone
怖くないAzure Landing Zone
Atsushi Kojima
人工知能技術のエンタープライズシステムへの適用
人工知能技術のエンタープライズシステムへの適用
Miki Yutani
脆弱性スキャナVulsの紹介とMackerelメタデータと連携した脆弱性管理
脆弱性スキャナVulsの紹介とMackerelメタデータと連携した脆弱性管理
Takayuki Ushida
GTMF 2015: ゲーム分析プラットフォームとしてのトレジャーデータサービス | トレジャーデータ株式会社
GTMF 2015: ゲーム分析プラットフォームとしてのトレジャーデータサービス | トレジャーデータ株式会社
Game Tools & Middleware Forum
チャットボットの自然言語処理
チャットボットの自然言語処理
Yoshitaka Seo
データサイエンティスト協会 木曜勉強会 #02 講演2:『ビッグデータの0次分析手法と適用例のご紹介 ~俯瞰から始まる企業内ビッグデータの活用~』
データサイエンティスト協会 木曜勉強会 #02 講演2:『ビッグデータの0次分析手法と適用例のご紹介 ~俯瞰から始まる企業内ビッグデータの活用~』
The Japan DataScientist Society
第2回すだちくん勉強会におけるIoT最新動向と題したプレゼン資料
第2回すだちくん勉強会におけるIoT最新動向と題したプレゼン資料
知礼 八子
空気を読む家のキッチン(3-3)
空気を読む家のキッチン(3-3)
aitc_jp
C34 ニッチだけど、社会インフラを支えるデータベース、HiRDB ~HiRDBを選ぶ人、選ばない人、その選択基準とは~ by Taichi Ishikawa
C34 ニッチだけど、社会インフラを支えるデータベース、HiRDB ~HiRDBを選ぶ人、選ばない人、その選択基準とは~ by Taichi Ishikawa
Insight Technology, Inc.
IOT and Lean Manifacturing
IOT and Lean Manifacturing
Osaka University
ロボットサービス開発の現場から
ロボットサービス開発の現場から
Kohei Kojima
Docker Actionを利用してOpenWhiskをあれこれする
Docker Actionを利用してOpenWhiskをあれこれする
Hideaki Tokida
【Interop Tokyo 2015】クラウドオーケストレーションと仮想データセンターが描く、明日からのシステム構築
【Interop Tokyo 2015】クラウドオーケストレーションと仮想データセンターが描く、明日からのシステム構築
cloudconductor
クラウド運用3足の草鞋151102
クラウド運用3足の草鞋151102
Keiichi Hashimoto
2016/2/20 DevelopersIO 2016 実践 IoT システムで求められる確実なデータ連携
2016/2/20 DevelopersIO 2016 実践 IoT システムで求められる確実なデータ連携
Tetsuya Tomomatsu
Iot_demo_challenger
Iot_demo_challenger
yoko tsushima
先行事例から学ぶ IoT / ビッグデータの始め方
先行事例から学ぶ IoT / ビッグデータの始め方
Cloudera Japan
Similar to ビッグデータのクラウドデザイン
(20)
AITCオープンラボ 2018年5月度(4)
AITCオープンラボ 2018年5月度(4)
クラウド座談会資料
クラウド座談会資料
D11 一つのデータベースでは、夢を現実に変えられない -Human Dreams. Make IT Real- by Taichi Ishikawa
D11 一つのデータベースでは、夢を現実に変えられない -Human Dreams. Make IT Real- by Taichi Ishikawa
怖くないAzure Landing Zone
怖くないAzure Landing Zone
人工知能技術のエンタープライズシステムへの適用
人工知能技術のエンタープライズシステムへの適用
脆弱性スキャナVulsの紹介とMackerelメタデータと連携した脆弱性管理
脆弱性スキャナVulsの紹介とMackerelメタデータと連携した脆弱性管理
GTMF 2015: ゲーム分析プラットフォームとしてのトレジャーデータサービス | トレジャーデータ株式会社
GTMF 2015: ゲーム分析プラットフォームとしてのトレジャーデータサービス | トレジャーデータ株式会社
チャットボットの自然言語処理
チャットボットの自然言語処理
データサイエンティスト協会 木曜勉強会 #02 講演2:『ビッグデータの0次分析手法と適用例のご紹介 ~俯瞰から始まる企業内ビッグデータの活用~』
データサイエンティスト協会 木曜勉強会 #02 講演2:『ビッグデータの0次分析手法と適用例のご紹介 ~俯瞰から始まる企業内ビッグデータの活用~』
第2回すだちくん勉強会におけるIoT最新動向と題したプレゼン資料
第2回すだちくん勉強会におけるIoT最新動向と題したプレゼン資料
空気を読む家のキッチン(3-3)
空気を読む家のキッチン(3-3)
C34 ニッチだけど、社会インフラを支えるデータベース、HiRDB ~HiRDBを選ぶ人、選ばない人、その選択基準とは~ by Taichi Ishikawa
C34 ニッチだけど、社会インフラを支えるデータベース、HiRDB ~HiRDBを選ぶ人、選ばない人、その選択基準とは~ by Taichi Ishikawa
IOT and Lean Manifacturing
IOT and Lean Manifacturing
ロボットサービス開発の現場から
ロボットサービス開発の現場から
Docker Actionを利用してOpenWhiskをあれこれする
Docker Actionを利用してOpenWhiskをあれこれする
【Interop Tokyo 2015】クラウドオーケストレーションと仮想データセンターが描く、明日からのシステム構築
【Interop Tokyo 2015】クラウドオーケストレーションと仮想データセンターが描く、明日からのシステム構築
クラウド運用3足の草鞋151102
クラウド運用3足の草鞋151102
2016/2/20 DevelopersIO 2016 実践 IoT システムで求められる確実なデータ連携
2016/2/20 DevelopersIO 2016 実践 IoT システムで求められる確実なデータ連携
Iot_demo_challenger
Iot_demo_challenger
先行事例から学ぶ IoT / ビッグデータの始め方
先行事例から学ぶ IoT / ビッグデータの始め方
More from Atsushi Kojima
Cmc fukuoka
Cmc fukuoka
Atsushi Kojima
Alternative Architecture DOJO
Alternative Architecture DOJO
Atsushi Kojima
オレ流クラウドデザイン
オレ流クラウドデザイン
Atsushi Kojima
[Devsumi2017]オルタナティブなチーム開発のすゝめ
[Devsumi2017]オルタナティブなチーム開発のすゝめ
Atsushi Kojima
この先生きのこるためのメインフレーム
この先生きのこるためのメインフレーム
Atsushi Kojima
機能的組織のすゝめ
機能的組織のすゝめ
Atsushi Kojima
Chaos Engineeringのススメ
Chaos Engineeringのススメ
Atsushi Kojima
DevOps on azure 高品質クラウドデザインを求めて
DevOps on azure 高品質クラウドデザインを求めて
Atsushi Kojima
ガチリアルな修羅チーム開発
ガチリアルな修羅チーム開発
Atsushi Kojima
Azureで始めるDevOps
Azureで始めるDevOps
Atsushi Kojima
裏クラウドデザインパターン
裏クラウドデザインパターン
Atsushi Kojima
Azureまるっと解説
Azureまるっと解説
Atsushi Kojima
ふくあず#8
ふくあず#8
Atsushi Kojima
PowerShell de Azure
PowerShell de Azure
Atsushi Kojima
More from Atsushi Kojima
(14)
Cmc fukuoka
Cmc fukuoka
Alternative Architecture DOJO
Alternative Architecture DOJO
オレ流クラウドデザイン
オレ流クラウドデザイン
[Devsumi2017]オルタナティブなチーム開発のすゝめ
[Devsumi2017]オルタナティブなチーム開発のすゝめ
この先生きのこるためのメインフレーム
この先生きのこるためのメインフレーム
機能的組織のすゝめ
機能的組織のすゝめ
Chaos Engineeringのススメ
Chaos Engineeringのススメ
DevOps on azure 高品質クラウドデザインを求めて
DevOps on azure 高品質クラウドデザインを求めて
ガチリアルな修羅チーム開発
ガチリアルな修羅チーム開発
Azureで始めるDevOps
Azureで始めるDevOps
裏クラウドデザインパターン
裏クラウドデザインパターン
Azureまるっと解説
Azureまるっと解説
ふくあず#8
ふくあず#8
PowerShell de Azure
PowerShell de Azure
ビッグデータのクラウドデザイン
1.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. ビッグデータの クラウドデザイン 株式会社オルターブース
2.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. 自己紹介 株式会社オルターブース 代表取締役 (金髪おにいさん) 小島 淳(Atsushi Kojima) とりあえずなんでもやるフルスタックエン ジニアと思っている方が多いですが本人的には OSSなミドルウェア職人と思っていてア プリケーション開発をバリバリしている人から見 ると物足りないしネットワーク超絶詳しい人 から見ても物足りないという中途半端な存在 を打破しようと日々精進しています。 Microsoft MVP(Microsoft Azure)だったりします。
3.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. 「ビッグデータは、高ボリューム、高速度、高バ ラエティの情報資産のいずれか(あるいは全て) であり、新しい形の処理を必要とし、意思決定の 高度化、見識の発見、プロセスの最適化に寄与す る」 ビッグデータ
4.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. IoTとの関係
5.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved.
6.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. ストリーミングデータ処理のパターン1 センサーデバイス Azure API Apps SQL Database DocumentDB Storage Blob HTTP/HTTPS
7.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. ストリーミングデータ処理のパターン2 センサーデバイス SQL Database DocumentDB Storage Blob WebSocket Azure Web Apps
8.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. ストリーミングデータ処理のパターン3 センサーデバイス EventHubs Stream Analytics HDInsight SQL Database DocumentDB Storage Blob
9.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. Azure Data Lake HDInsightベース Data Lake Store(HDFS)でデータを蓄積 U-SQL、Hive、Stormを利用して、 Data Lake Analyticsにデータ分析を行わせる(YARN経由) あらゆるサイズのデータを格納、分析 巨大データの格納
10.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. Apache YARNとは 「Yet Another Resource Negotiator」を略したもの で、任意の分散処理フレームワークやアプリケー ションの作成を容易にするフレームワークです。 YARNの実行モデルは、従来のMapReduceとは違い ます。なので、MapReduceのモデルに従っていな いアプリケーションでも実行することが可能です。 Azure Data Lake
11.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. Azure Data Lake
12.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. • ペタバイト スケールの大量並列処理 • コンピューティングおよびストレージの個別ス ケーリングが数秒で完了 • リレーショナル データと非リレーショナル デー タにまたがる Transact-SQL クエリ (PolyBaseにて実現) • 完全なエンタープライズ級の SQL Server 体験 • Power BI、Machine Learning、HDInsight、および Data Factory とシームレスに利用可能 SQL Data Warehouse
13.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. AIとの関係
14.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. Azureが提供するクラウドベース機械学習プラッ トフォーム。 AzureML上で、PythonやRを使った予測モデルを作 ることが出来、それをWebアプリケーション (API)としてクラウド上で公開できる。 Azure Machine Learning
15.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved.
16.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. Project Oxfordで公開された簡易型機械学習API。 Cognitive Services
17.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. HDInsight Deploy to Windows and Linux
18.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. Apache Spark
19.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. Apache Sparkを使ったニューラルネットワーク
20.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. 完全独自ニューラルネットワークを組む
21.
Copyright © 2015-2015
ALTERBOOTH inc. All Rights Reserved. おしまい
Download now