13. Merv Adrian (@merv) tweeted at 7:46
PM on Thur. Feb 11, 2016 :
In conversations w clients, we
repeatedly find that Hadoop
and Spark are overlapping
extensions of, not replacements
for, existing function. Gartner. Magic Quadrant for Data Warehouse
and Data Management Solutions for Analytics
14. “Data warehouse and
Hadoop are going to
completely merge.
Hadoop will look like
the data warehouse
market”
“NoSQL will
look like the
SQL market”
“They will move to
higher-level
languages,
and the only game
in town is SQL”
15. Yahoo 455 PB / 32500 nodes (2014)
Twitter 300+ PB, Multiple 1000+ machine clusters (2015)
Facebook 105 terabytes every 30 minutes (2012)
The misunderstood
Hadoop for mere mortals
=
Affordability at scale
16. Hadoop for mere mortals
Scalability
€ RDBMS
Hadoop
Initially expensive
because of lack of
expertise & initial
engineering efforts
Share everything (RAC)
Expensive hard & soft (DWH appliances)
17. SQL on Hadoop tools
Access from existing applications
•Oracle Big Data SQL
•Gluent
SQL
• Cloudera Impala
• Apache Hive
• JDBC drivers (SQL developer, Toad)
• Oracle Big Data Connectors
• Spark SQL
Import/ Export
• Apache Sqoop
2014 est pour moir a marquer d’une pierre tombale, en l’occurrence
Le pb pour les spécialistes de données que sont les dba est que les données sont en dehors d’Oracle, et que les sujets à la mode ne sont pas traités nativement par Oracle
Imaginez un archeologue de dba en 2050. Il doit réinterpréter le passé. L’hypothèse jurssaic park est sérieuse: des dbas isolés derrière des barrières, qu’on aperçoit en se mettant de façon métaphorique sur le bout des pieds.
Agile: dbaas, containerisation
Permet le service
Le cloid n’est pas une fin en soi. Le sujet est d’arriver à fournir un service différent, automatisé, etc. plutôt que de faire tourner ses bdd sur les servers de qquns d’autre.
Kyle Hailey (@virtdata) tweeted at 9:49 PM on sat., march 26, 2016 :Docker: So, how do you backup your container, you don’t. Your data doesn’t live in the container
Monitoring: curshor sharing
Le règne du buzzword s’est étendu à ce domaine
Connectors: Oracle SQL Connector for HDFS allows you to query of Hadoop resident data from the database using Oracle SQL. The data is accessed via external tables, which can be queried like any other table in the database. Data can also be loaded by selecting data from the external table and inserting it into a table in the database.
Big data sql: slide d’après smart scans