SlideShare une entreprise Scribd logo
1  sur  33
Business Intelligence
w Cloud -
nie tylko na Azure
Adrian Kukiełka
Michał Krajewski
www.elitmind.com
Michał Krajewski
Fullstack developer
• Back-end and front-end side
development of multiple
applications.
• Data engineering.
• In the meantime project
requirements analyst and system
architect.
• Open source fan.
Core technologies:
• C# / .NET Framework / .NET
Core
• MS SQL 2012/2014/2016
• Azure / AWS
• Javascript
• Ruby / Ruby on Rails
https://www.linkedin.com/
in/michal-krajewski/
Adrian Kukiełka
Business Intelligence Consultant
• Implemetacje BI end to end.
• Analyst, Developer, Architect,… you call IT.
• Wychowany na MS
Technologie:
• MS SQL 2012/2014/2016
• Azure / Google Cloud Platform
Pasje:
• E-sportu
https://www.linkedin.com/in/adrian-kukielka/
Przychodzi Klient i…
• Chce przenieść rozwiązania IT do chmury
• Chce oferty od różnych dostawców cloud
Udział dostawców chmury w
rynku
Udział dostawców chmury w
rynku
Udział dostawców chmury w
rynku
Amazon Web Services
• Platforma chmurowa firmy Amazon
• Data pierwszego wydania: marzec 2006
• Data pierwszego wydania Azure: luty 2010
• Rosnąca liczba usług chmurowych
• Środowiska obliczeniowe / maszyny wirtualne
• Usługi przechowywania danych
• Usługi bazodanowe / hurtowniane / BI
• AI / ML
• IoT
• Integracyjne (w tym z innymi usługami w chmurach)
i inne…
Amazon Web Services
• Wysoce skalowalna, w pełni zarządzalna
usługa hurtowni danych
• Oparta na PostgreSQL
• W pełni kompatybilna ze wszystkimi
komponentami AWS
• Python, R
• Amazon ML
• Massively Parallel Processing (MPP)
architecture
• Zaawansowana kompresja danych
• Indeksy? Widoki zmaterializowane?
• 0,25$ za godzinę, $1000 za terabajt
rocznie …
Amazon Redshift
Amazon Redshift - architektura
• Bezpośrednie pobieranie danych z Amazon S3
• Raportowanie danych „w locie”
• Amazon S3
• Wysoce skalowalna usługa przechowywania danych
• Wbudowane narzędzia obsługi komponentów AWS.
ETL - Amazon Redshift / Redshift Spectrum
Amazon Redshift
ETL – AWS Data Pipeline
ETL – AWS Data Pipeline
AWS Redshift – przykład wdrożenia
Amazon QuickSight
• Źródło Szybkie, łatwe w obsłudze narzędzie
BI (taki PowerBI)
• Analizy ad-hoc
• SPICE
• Integracja z prawie każdym źródłem na
AWSem na AWS
Google Cloud Platform
Google BI platform
Rozwiązania SQL
Google BigQuery
• Zapomnijcie o klasycznej DWH
• Usługa uniezależniona od zasobów danych
• Pay-Per-Query AND Flat Rate Pricing
• Nieskończone skalowanie – używamy tyle mocy ile
jest konieczne
• Bardzo łatwe współdzielenie projektów i zbiorów
danych pomiędzy użytkownikami
Google BigQuery
• Enterprise-grade Data Sharing
• Public Datasets, Commercial Datasets,
Marketing Datasets, and the Free Pricing
Tier
• Federated Query Engine
• UX, CLI, SDK, ODBC/JDBC, API
• Pay-Per-Query AND Flat Rate Pricing
• IAM, Authentication & Audit Logs
ETL – GCP Dataflow
Google Data Studio
Pros
• Wydajność w przeglądarce
• Łatwość obsługi i proponowane wizualizacje
• Integracja z usługami Google – Youtube, AdSense,
Sheets, Analytics
• Darmowe do 5 raportów per konto
• Korporacyjnie usługa Data Studio 360 – nielimitowany
dostęp
Cons
• Mała ilość konektorów
• Nadal Beta
• Wszystkie 3 narzędzia mają cechy
wspólne.
• Różnice na poziomie architektury.
• Które wybrać?
• Porównanie architektury i wydajności
Elitmind for Business
www.elitmind.com
Thank you!

Contenu connexe

Similaire à Elitmind @ 113. Spotkanie Data Community, Warszawa - Business Intelligence w Cloud, nie tylko na Azure by Adrian Kukiełka i Michał Krajewski

20160316 techstolica - cloudanalytics -tidk
20160316  techstolica - cloudanalytics -tidk20160316  techstolica - cloudanalytics -tidk
20160316 techstolica - cloudanalytics -tidkŁukasz Grala
 
1st Silesian Code Camp - Czy jesteśmy gotowi na SQL Azure?
1st Silesian Code Camp - Czy jesteśmy gotowi na SQL Azure?1st Silesian Code Camp - Czy jesteśmy gotowi na SQL Azure?
1st Silesian Code Camp - Czy jesteśmy gotowi na SQL Azure?Tobias Koprowski
 
Wprowadzenie do modelowania danych w PowerPivot
Wprowadzenie do modelowania danych w PowerPivotWprowadzenie do modelowania danych w PowerPivot
Wprowadzenie do modelowania danych w PowerPivotKamil Nowinski
 
Wykorzystaj serwisy Azure i skup się na tym, co ważne
Wykorzystaj serwisy Azure i skup się na tym, co ważneWykorzystaj serwisy Azure i skup się na tym, co ważne
Wykorzystaj serwisy Azure i skup się na tym, co ważneKrzysztof Szabelski
 
20160316 techstolica - cloudstorage -tidk
20160316  techstolica - cloudstorage -tidk20160316  techstolica - cloudstorage -tidk
20160316 techstolica - cloudstorage -tidkŁukasz Grala
 
Nowości Windows Azure
Nowości Windows AzureNowości Windows Azure
Nowości Windows Azurepbubacz
 
SQL Day 2018 Building efficient and reliable Enterprise Reporting Platform wi...
SQL Day 2018 Building efficient and reliable Enterprise Reporting Platform wi...SQL Day 2018 Building efficient and reliable Enterprise Reporting Platform wi...
SQL Day 2018 Building efficient and reliable Enterprise Reporting Platform wi...radekle
 
Microsoft Business Intelligence w 2017 roku
Microsoft Business Intelligence w 2017 rokuMicrosoft Business Intelligence w 2017 roku
Microsoft Business Intelligence w 2017 rokuHighWheelSoftware
 
Rozproszona i asynchroniczna architektura - case study - Spread it
Rozproszona i asynchroniczna architektura - case study - Spread itRozproszona i asynchroniczna architektura - case study - Spread it
Rozproszona i asynchroniczna architektura - case study - Spread itKrzysztof Szabelski
 
PLNOG16: Microsoft Azure dla Inżynierów Sieciowych, Mirosław Burnejko
PLNOG16: Microsoft Azure dla Inżynierów Sieciowych, Mirosław BurnejkoPLNOG16: Microsoft Azure dla Inżynierów Sieciowych, Mirosław Burnejko
PLNOG16: Microsoft Azure dla Inżynierów Sieciowych, Mirosław BurnejkoPROIDEA
 
HYC - Angular stań się kanciastym
HYC - Angular stań się kanciastymHYC - Angular stań się kanciastym
HYC - Angular stań się kanciastymDariusz Jagieło
 
Elitmind @ SQLDay2018: Stream Analytics i Machine Learning – czy to dobrze do...
Elitmind @ SQLDay2018: Stream Analytics i Machine Learning – czy to dobrze do...Elitmind @ SQLDay2018: Stream Analytics i Machine Learning – czy to dobrze do...
Elitmind @ SQLDay2018: Stream Analytics i Machine Learning – czy to dobrze do...Elitmind
 
Marek Sokołowski @ "Usługi PaaS oraz IaaS - przegląd dostępnego osprzętu i am...
Marek Sokołowski @ "Usługi PaaS oraz IaaS - przegląd dostępnego osprzętu i am...Marek Sokołowski @ "Usługi PaaS oraz IaaS - przegląd dostępnego osprzętu i am...
Marek Sokołowski @ "Usługi PaaS oraz IaaS - przegląd dostępnego osprzętu i am...Ewa Stepien
 
Spa i .net core
Spa i .net coreSpa i .net core
Spa i .net coreVimanet
 
Co z czym i do czego w Microsoft Azure - poznajemy usługi
Co z czym i do czego w Microsoft Azure - poznajemy usługiCo z czym i do czego w Microsoft Azure - poznajemy usługi
Co z czym i do czego w Microsoft Azure - poznajemy usługiEmil Wasilewski
 
GET.NET - Osiołkowi w żłobie dano, czyli o tym jak hostować aplikacje na Mic...
GET.NET -  Osiołkowi w żłobie dano, czyli o tym jak hostować aplikacje na Mic...GET.NET -  Osiołkowi w żłobie dano, czyli o tym jak hostować aplikacje na Mic...
GET.NET - Osiołkowi w żłobie dano, czyli o tym jak hostować aplikacje na Mic...Michal Furmankiewicz
 

Similaire à Elitmind @ 113. Spotkanie Data Community, Warszawa - Business Intelligence w Cloud, nie tylko na Azure by Adrian Kukiełka i Michał Krajewski (20)

20160316 techstolica - cloudanalytics -tidk
20160316  techstolica - cloudanalytics -tidk20160316  techstolica - cloudanalytics -tidk
20160316 techstolica - cloudanalytics -tidk
 
1st Silesian Code Camp - Czy jesteśmy gotowi na SQL Azure?
1st Silesian Code Camp - Czy jesteśmy gotowi na SQL Azure?1st Silesian Code Camp - Czy jesteśmy gotowi na SQL Azure?
1st Silesian Code Camp - Czy jesteśmy gotowi na SQL Azure?
 
Wprowadzenie do modelowania danych w PowerPivot
Wprowadzenie do modelowania danych w PowerPivotWprowadzenie do modelowania danych w PowerPivot
Wprowadzenie do modelowania danych w PowerPivot
 
Wykorzystaj serwisy Azure i skup się na tym, co ważne
Wykorzystaj serwisy Azure i skup się na tym, co ważneWykorzystaj serwisy Azure i skup się na tym, co ważne
Wykorzystaj serwisy Azure i skup się na tym, co ważne
 
20160316 techstolica - cloudstorage -tidk
20160316  techstolica - cloudstorage -tidk20160316  techstolica - cloudstorage -tidk
20160316 techstolica - cloudstorage -tidk
 
Nowości Windows Azure
Nowości Windows AzureNowości Windows Azure
Nowości Windows Azure
 
SQL Day 2018 Building efficient and reliable Enterprise Reporting Platform wi...
SQL Day 2018 Building efficient and reliable Enterprise Reporting Platform wi...SQL Day 2018 Building efficient and reliable Enterprise Reporting Platform wi...
SQL Day 2018 Building efficient and reliable Enterprise Reporting Platform wi...
 
Chmura dla ecommerce
Chmura dla ecommerceChmura dla ecommerce
Chmura dla ecommerce
 
Microsoft Business Intelligence w 2017 roku
Microsoft Business Intelligence w 2017 rokuMicrosoft Business Intelligence w 2017 roku
Microsoft Business Intelligence w 2017 roku
 
Rozproszona i asynchroniczna architektura - case study - Spread it
Rozproszona i asynchroniczna architektura - case study - Spread itRozproszona i asynchroniczna architektura - case study - Spread it
Rozproszona i asynchroniczna architektura - case study - Spread it
 
PLNOG16: Microsoft Azure dla Inżynierów Sieciowych, Mirosław Burnejko
PLNOG16: Microsoft Azure dla Inżynierów Sieciowych, Mirosław BurnejkoPLNOG16: Microsoft Azure dla Inżynierów Sieciowych, Mirosław Burnejko
PLNOG16: Microsoft Azure dla Inżynierów Sieciowych, Mirosław Burnejko
 
HYC - Angular stań się kanciastym
HYC - Angular stań się kanciastymHYC - Angular stań się kanciastym
HYC - Angular stań się kanciastym
 
Elitmind @ SQLDay2018: Stream Analytics i Machine Learning – czy to dobrze do...
Elitmind @ SQLDay2018: Stream Analytics i Machine Learning – czy to dobrze do...Elitmind @ SQLDay2018: Stream Analytics i Machine Learning – czy to dobrze do...
Elitmind @ SQLDay2018: Stream Analytics i Machine Learning – czy to dobrze do...
 
Projektowanie i programowanie aplikacji nowej generacji
Projektowanie i programowanie aplikacji nowej generacjiProjektowanie i programowanie aplikacji nowej generacji
Projektowanie i programowanie aplikacji nowej generacji
 
Marek Sokołowski @ "Usługi PaaS oraz IaaS - przegląd dostępnego osprzętu i am...
Marek Sokołowski @ "Usługi PaaS oraz IaaS - przegląd dostępnego osprzętu i am...Marek Sokołowski @ "Usługi PaaS oraz IaaS - przegląd dostępnego osprzętu i am...
Marek Sokołowski @ "Usługi PaaS oraz IaaS - przegląd dostępnego osprzętu i am...
 
SPA i .Net Core
SPA i .Net CoreSPA i .Net Core
SPA i .Net Core
 
Spa i .net core
Spa i .net coreSpa i .net core
Spa i .net core
 
WHUG Azure HDInsight
WHUG Azure HDInsightWHUG Azure HDInsight
WHUG Azure HDInsight
 
Co z czym i do czego w Microsoft Azure - poznajemy usługi
Co z czym i do czego w Microsoft Azure - poznajemy usługiCo z czym i do czego w Microsoft Azure - poznajemy usługi
Co z czym i do czego w Microsoft Azure - poznajemy usługi
 
GET.NET - Osiołkowi w żłobie dano, czyli o tym jak hostować aplikacje na Mic...
GET.NET -  Osiołkowi w żłobie dano, czyli o tym jak hostować aplikacje na Mic...GET.NET -  Osiołkowi w żłobie dano, czyli o tym jak hostować aplikacje na Mic...
GET.NET - Osiołkowi w żłobie dano, czyli o tym jak hostować aplikacje na Mic...
 

Elitmind @ 113. Spotkanie Data Community, Warszawa - Business Intelligence w Cloud, nie tylko na Azure by Adrian Kukiełka i Michał Krajewski

  • 1. Business Intelligence w Cloud - nie tylko na Azure Adrian Kukiełka Michał Krajewski www.elitmind.com
  • 2. Michał Krajewski Fullstack developer • Back-end and front-end side development of multiple applications. • Data engineering. • In the meantime project requirements analyst and system architect. • Open source fan. Core technologies: • C# / .NET Framework / .NET Core • MS SQL 2012/2014/2016 • Azure / AWS • Javascript • Ruby / Ruby on Rails https://www.linkedin.com/ in/michal-krajewski/
  • 3. Adrian Kukiełka Business Intelligence Consultant • Implemetacje BI end to end. • Analyst, Developer, Architect,… you call IT. • Wychowany na MS Technologie: • MS SQL 2012/2014/2016 • Azure / Google Cloud Platform Pasje: • E-sportu https://www.linkedin.com/in/adrian-kukielka/
  • 4.
  • 5. Przychodzi Klient i… • Chce przenieść rozwiązania IT do chmury • Chce oferty od różnych dostawców cloud
  • 9.
  • 10. Amazon Web Services • Platforma chmurowa firmy Amazon • Data pierwszego wydania: marzec 2006 • Data pierwszego wydania Azure: luty 2010 • Rosnąca liczba usług chmurowych • Środowiska obliczeniowe / maszyny wirtualne • Usługi przechowywania danych • Usługi bazodanowe / hurtowniane / BI • AI / ML • IoT • Integracyjne (w tym z innymi usługami w chmurach) i inne…
  • 12. • Wysoce skalowalna, w pełni zarządzalna usługa hurtowni danych • Oparta na PostgreSQL • W pełni kompatybilna ze wszystkimi komponentami AWS • Python, R • Amazon ML • Massively Parallel Processing (MPP) architecture • Zaawansowana kompresja danych • Indeksy? Widoki zmaterializowane? • 0,25$ za godzinę, $1000 za terabajt rocznie … Amazon Redshift
  • 13. Amazon Redshift - architektura
  • 14. • Bezpośrednie pobieranie danych z Amazon S3 • Raportowanie danych „w locie” • Amazon S3 • Wysoce skalowalna usługa przechowywania danych • Wbudowane narzędzia obsługi komponentów AWS. ETL - Amazon Redshift / Redshift Spectrum
  • 16. ETL – AWS Data Pipeline
  • 17. ETL – AWS Data Pipeline
  • 18. AWS Redshift – przykład wdrożenia
  • 19. Amazon QuickSight • Źródło Szybkie, łatwe w obsłudze narzędzie BI (taki PowerBI) • Analizy ad-hoc • SPICE • Integracja z prawie każdym źródłem na AWSem na AWS
  • 20.
  • 22.
  • 25. Google BigQuery • Zapomnijcie o klasycznej DWH • Usługa uniezależniona od zasobów danych • Pay-Per-Query AND Flat Rate Pricing • Nieskończone skalowanie – używamy tyle mocy ile jest konieczne • Bardzo łatwe współdzielenie projektów i zbiorów danych pomiędzy użytkownikami
  • 27. • Enterprise-grade Data Sharing • Public Datasets, Commercial Datasets, Marketing Datasets, and the Free Pricing Tier • Federated Query Engine • UX, CLI, SDK, ODBC/JDBC, API • Pay-Per-Query AND Flat Rate Pricing • IAM, Authentication & Audit Logs
  • 28. ETL – GCP Dataflow
  • 29.
  • 31. Pros • Wydajność w przeglądarce • Łatwość obsługi i proponowane wizualizacje • Integracja z usługami Google – Youtube, AdSense, Sheets, Analytics • Darmowe do 5 raportów per konto • Korporacyjnie usługa Data Studio 360 – nielimitowany dostęp Cons • Mała ilość konektorów • Nadal Beta
  • 32. • Wszystkie 3 narzędzia mają cechy wspólne. • Różnice na poziomie architektury. • Które wybrać? • Porównanie architektury i wydajności

Notes de l'éditeur

  1. 4 min
  2. 4 min
  3. 4 min
  4. 4 min
  5. 4 min
  6. 4 min
  7. 4 min
  8. 4 min
  9. 4 min
  10. 4 min
  11. Amazon Redshift Spectrum enables you to run Amazon Redshift SQL queries against exabytes of data in Amazon S3.
  12. 4 min
  13. 4 min
  14. 4 min
  15. SPICE – Super-fast, Parallel, In-memory, Calculation Engine
  16. 4 min
  17. 4 min
  18. Amazon Redshift Spectrum enables you to run Amazon Redshift SQL queries against exabytes of data in Amazon S3.
  19. 4 min
  20. Model potrzeby VM i oprogrmowania serwerowego – „prawie” nieskończone i szybkie skalowanie w locie Colossus – nowy system rozproszony system zapisu plików wzorowany na własnym systemie MapReduced Dremel Egine – autorski silnik bazodanowy inspirowany Apache Dril and Apache Impala – in memory. 24h query cashing Ponownie autorskie rozwiązanie będące łacznikiem pomiędzy Computing power a Cloud Storage i przekazujące Petity informacji Przetwarzanie batchowe bądź strumieniowe wpychanie danych Bezpośrednie query do danych w Bigtable(noSQL), GCS/Collosus,GoogleDrive i pomiędzy nimi joiny
  21. Model potrzeby VM i oprogrmowania serwerowego – „prawie” nieskończone i szybkie skalowanie w locie Colossus – nowy system rozproszony system zapisu plików wzorowany na własnym systemie MapReduced Dremel Egine – autorski silnik bazodanowy inspirowany Apache Dril and Apache Impala – in memory. 24h query cashing Ponownie autorskie rozwiązanie będące łacznikiem pomiędzy Computing power a Cloud Storage i przekazujące Petity informacji Przetwarzanie batchowe bądź strumieniowe wpychanie danych Bezpośrednie query do danych w Bigtable(noSQL), GCS/Collosus,GoogleDrive i pomiędzy nimi joiny
  22. 4 min
  23. Duże zbiory danych współdzielone w ramach różnych organizacji bez potrzeby och kopiowania poprzez rozdzielenie Computing od Storage Zarabianie na udostępnionych publicznie zbiorach danych REST Api i szerokie spektrum kontektorów Placisz za kwerendę bądź abonament i wtedy wszystkie kwerendy free Complaince i formal legal
  24. Model potrzeby VM i oprogrmowania serwerowego – „prawie” nieskończone i szybkie skalowanie w locie Colossus – nowy system rozproszony system zapisu plików wzorowany na własnym systemie MapReduced Dremel Egine – autorski silnik bazodanowy inspirowany Apache Dril and Apache Impala – in memory. 24h query cashing Ponownie autorskie rozwiązanie będące łacznikiem pomiędzy Computing power a Cloud Storage i przekazujące Petity informacji Przetwarzanie batchowe bądź strumieniowe wpychanie danych Bezpośrednie query do danych w Bigtable(noSQL), GCS/Collosus,GoogleDrive i pomiędzy nimi joiny
  25. Model potrzeby VM i oprogrmowania serwerowego – „prawie” nieskończone i szybkie skalowanie w locie Colossus – nowy system rozproszony system zapisu plików wzorowany na własnym systemie MapReduced Dremel Egine – autorski silnik bazodanowy inspirowany Apache Dril and Apache Impala – in memory. 24h query cashing Ponownie autorskie rozwiązanie będące łacznikiem pomiędzy Computing power a Cloud Storage i przekazujące Petity informacji Przetwarzanie batchowe bądź strumieniowe wpychanie danych Bezpośrednie query do danych w Bigtable(noSQL), GCS/Collosus,GoogleDrive i pomiędzy nimi joiny
  26. 4 min