Business Intelligence w Cloud, nie tylko na Azure by Adrian Kukiełka i Michał Krajewski
Przegląd rozwiązań i możliwości rozwiązań Buisiness Intelligence w chmurze. Spójrzmy na to oferują trzej giganci: Microsoft, Google i Amazon.
Każdy z nas dostał, w którymś momencie pytanie od klienta jak to wygląda u innych? Spójrzmy więc i się przekonajmy!
GET.NET - Osiołkowi w żłobie dano, czyli o tym jak hostować aplikacje na Mic...Michal Furmankiewicz
Contenu connexe
Similaire à Elitmind @ 113. Spotkanie Data Community, Warszawa - Business Intelligence w Cloud, nie tylko na Azure by Adrian Kukiełka i Michał Krajewski
GET.NET - Osiołkowi w żłobie dano, czyli o tym jak hostować aplikacje na Mic...Michal Furmankiewicz
Similaire à Elitmind @ 113. Spotkanie Data Community, Warszawa - Business Intelligence w Cloud, nie tylko na Azure by Adrian Kukiełka i Michał Krajewski (20)
2. Michał Krajewski
Fullstack developer
• Back-end and front-end side
development of multiple
applications.
• Data engineering.
• In the meantime project
requirements analyst and system
architect.
• Open source fan.
Core technologies:
• C# / .NET Framework / .NET
Core
• MS SQL 2012/2014/2016
• Azure / AWS
• Javascript
• Ruby / Ruby on Rails
https://www.linkedin.com/
in/michal-krajewski/
3. Adrian Kukiełka
Business Intelligence Consultant
• Implemetacje BI end to end.
• Analyst, Developer, Architect,… you call IT.
• Wychowany na MS
Technologie:
• MS SQL 2012/2014/2016
• Azure / Google Cloud Platform
Pasje:
• E-sportu
https://www.linkedin.com/in/adrian-kukielka/
4.
5. Przychodzi Klient i…
• Chce przenieść rozwiązania IT do chmury
• Chce oferty od różnych dostawców cloud
10. Amazon Web Services
• Platforma chmurowa firmy Amazon
• Data pierwszego wydania: marzec 2006
• Data pierwszego wydania Azure: luty 2010
• Rosnąca liczba usług chmurowych
• Środowiska obliczeniowe / maszyny wirtualne
• Usługi przechowywania danych
• Usługi bazodanowe / hurtowniane / BI
• AI / ML
• IoT
• Integracyjne (w tym z innymi usługami w chmurach)
i inne…
12. • Wysoce skalowalna, w pełni zarządzalna
usługa hurtowni danych
• Oparta na PostgreSQL
• W pełni kompatybilna ze wszystkimi
komponentami AWS
• Python, R
• Amazon ML
• Massively Parallel Processing (MPP)
architecture
• Zaawansowana kompresja danych
• Indeksy? Widoki zmaterializowane?
• 0,25$ za godzinę, $1000 za terabajt
rocznie …
Amazon Redshift
19. Amazon QuickSight
• Źródło Szybkie, łatwe w obsłudze narzędzie
BI (taki PowerBI)
• Analizy ad-hoc
• SPICE
• Integracja z prawie każdym źródłem na
AWSem na AWS
25. Google BigQuery
• Zapomnijcie o klasycznej DWH
• Usługa uniezależniona od zasobów danych
• Pay-Per-Query AND Flat Rate Pricing
• Nieskończone skalowanie – używamy tyle mocy ile
jest konieczne
• Bardzo łatwe współdzielenie projektów i zbiorów
danych pomiędzy użytkownikami
31. Pros
• Wydajność w przeglądarce
• Łatwość obsługi i proponowane wizualizacje
• Integracja z usługami Google – Youtube, AdSense,
Sheets, Analytics
• Darmowe do 5 raportów per konto
• Korporacyjnie usługa Data Studio 360 – nielimitowany
dostęp
Cons
• Mała ilość konektorów
• Nadal Beta
32. • Wszystkie 3 narzędzia mają cechy
wspólne.
• Różnice na poziomie architektury.
• Które wybrać?
• Porównanie architektury i wydajności
Amazon Redshift Spectrum enables you to run Amazon Redshift SQL queries against exabytes of data in Amazon S3.
4 min
Model potrzeby VM i oprogrmowania serwerowego – „prawie” nieskończone i szybkie skalowanie w locie
Colossus – nowy system rozproszony system zapisu plików wzorowany na własnym systemie MapReduced
Dremel Egine – autorski silnik bazodanowy inspirowany Apache Dril and Apache Impala – in memory. 24h query cashing
Ponownie autorskie rozwiązanie będące łacznikiem pomiędzy Computing power a Cloud Storage i przekazujące Petity informacji
Przetwarzanie batchowe bądź strumieniowe wpychanie danych
Bezpośrednie query do danych w Bigtable(noSQL), GCS/Collosus,GoogleDrive i pomiędzy nimi joiny
Model potrzeby VM i oprogrmowania serwerowego – „prawie” nieskończone i szybkie skalowanie w locie
Colossus – nowy system rozproszony system zapisu plików wzorowany na własnym systemie MapReduced
Dremel Egine – autorski silnik bazodanowy inspirowany Apache Dril and Apache Impala – in memory. 24h query cashing
Ponownie autorskie rozwiązanie będące łacznikiem pomiędzy Computing power a Cloud Storage i przekazujące Petity informacji
Przetwarzanie batchowe bądź strumieniowe wpychanie danych
Bezpośrednie query do danych w Bigtable(noSQL), GCS/Collosus,GoogleDrive i pomiędzy nimi joiny
4 min
Duże zbiory danych współdzielone w ramach różnych organizacji bez potrzeby och kopiowania poprzez rozdzielenie Computing od Storage
Zarabianie na udostępnionych publicznie zbiorach danych
REST Api i szerokie spektrum kontektorów
Placisz za kwerendę bądź abonament i wtedy wszystkie kwerendy free
Complaince i formal legal
Model potrzeby VM i oprogrmowania serwerowego – „prawie” nieskończone i szybkie skalowanie w locie
Colossus – nowy system rozproszony system zapisu plików wzorowany na własnym systemie MapReduced
Dremel Egine – autorski silnik bazodanowy inspirowany Apache Dril and Apache Impala – in memory. 24h query cashing
Ponownie autorskie rozwiązanie będące łacznikiem pomiędzy Computing power a Cloud Storage i przekazujące Petity informacji
Przetwarzanie batchowe bądź strumieniowe wpychanie danych
Bezpośrednie query do danych w Bigtable(noSQL), GCS/Collosus,GoogleDrive i pomiędzy nimi joiny
Model potrzeby VM i oprogrmowania serwerowego – „prawie” nieskończone i szybkie skalowanie w locie
Colossus – nowy system rozproszony system zapisu plików wzorowany na własnym systemie MapReduced
Dremel Egine – autorski silnik bazodanowy inspirowany Apache Dril and Apache Impala – in memory. 24h query cashing
Ponownie autorskie rozwiązanie będące łacznikiem pomiędzy Computing power a Cloud Storage i przekazujące Petity informacji
Przetwarzanie batchowe bądź strumieniowe wpychanie danych
Bezpośrednie query do danych w Bigtable(noSQL), GCS/Collosus,GoogleDrive i pomiędzy nimi joiny