Apache Zeppelin presentation at DevoxxFR 2016

1. #DevoxxFR
Apache Zeppelin
le notebook d’avenir pour
l’éco-système Big Data
1

2. #DevoxxFR
Un peu de moi
Duy Hai DOAN
Evangéliste technique & consultant Apache Cassandra
• talks, meetups, confs
• projet open-source (Achilles, Apache Zeppelin)
• Des questions sur Apache Cassandra/Apache Zeppelin ?
☞ duy_hai.doan@datastax.com
☞ @doanduyhai
2

3. #DevoxxFR
Datastax
• Fondé en Avril 2010
• Plus gros pourvoyeur de contributeur à Apache Cassandra™
• Bureaux européens à Londres, Paris et Berlin
• Datastax Enterprise = OSS Cassandra + fonctionnalités+++
3

4. #DevoxxFR
Qu’est ce Apache Zeppelin ?

5. #DevoxxFR
Brève description
5

6. #DevoxxFR
Démo:
Cassandra Full Text Search
Cassandra – SparkSQL analytics

7. #DevoxxFR 7
Architecture
Zeppelin Server
Zeppelin Engine
R
E
S
TWebSocket
Spark Interpreter Group
Spark SparkSQL
Zeppelin
Interpreter
Factory
Tajo Interpreter
Flink Interpreter
Cassandra Interpreter
JVM
JVM
JVM
JVM
JVM

8. #DevoxxFR
Éléments graphiques

9. #DevoxxFR
Démo

10. #DevoxxFR
Méthodes d’affichage

11. #DevoxxFR
Démo

12. #DevoxxFR
Système d’interpréteurs

13. #DevoxxFR
Cycle de vie d’un interpréteur
Réception des commandes/données en entrée
• texte brut
• formulaire de données
Traiter les commandes/données par un système externe
Formatter la réponse avec une méthode d’affichage Zeppelin
Renvoyer la réponse au Zeppelin-engine
13

14. #DevoxxFR
Interpréteurs d’origine
• Spark (Spark core, SparkSQL/DataFrame, PySpark)
• Spark core = interpréteur par défaut (ou %spark)
• SparkSQL = %sql
• Shell (%sh)
• Markdown (%md)
• AngularJS (%angular)
14

15. #DevoxxFR
Interpréteurs communautaires
Alluxio
Cassandra
ElasticSearch
Flink
Geode
HBase
Hive
Ignite
JDBC
…
15

16. #DevoxxFR
Interpréteur:
configuration & sélection

17. #DevoxxFR
Créer son propre interpréteur

18. #DevoxxFR
Étapes
Créer une classe qui étend la classe Interpreter de base
L’enregister dans un bloc static 😳😳😳
En option, définir quelques paramètres par défaut
18
static {!
Interpreter.register("Nom_interpréteur",!
ClasseInterpreteur.class.getName());!
}!
static {!
Interpreter.register("Nom_interpréteur",!
ClasseInterpreteur.class.getName(),!
new InterpreterPropertyBuilder()!
.add("prop1", "val1")...build());!
}!

19. #DevoxxFR
Pour déclarer son interpréteur en dûr
• Éditer l’enum ZeppelinConfiguration.ConfVars
• Ajouter le nom de classe de son interpréteur dans la propriété
ZEPPELIN_INTERPRETERS
19

20. #DevoxxFR
Ou déclarer son interpréteur en conf
• Copier conf/zeppelin-site.xml depuis conf/zeppelin-site.xml.template
• Ajouer son interpréteur à la propriété zeppelin.interpreters
20
<property>!
<name>zeppelin.interpreters</name>!
<value>org.apache.zeppelin.spark.SparkInterpreter,!
org.apache.zeppelin.spark.PySparkInterpreter,!
org.apache.zeppelin.spark.SparkSqlInterpreter,!
org.apache.zeppelin.spark.DepInterpreter,!
org.apache.zeppelin.markdown.Markdown,!
org.apache.zeppelin.shell.ShellInterpreter,!
org.apache.zeppelin.hive.HiveInterpreter,!
fr.moi.MonInterpreteurToutPouri!
</value>!
</property>!

21. #DevoxxFR
Interpréteur AsciiDoc
21
Zeppelin Server
AsciiDoc Interpreter
JVMZeppelin Engine
Raw
Text
Block
Raw
Text
Block
Converted
To
HTML
HTML
Output
! !
!!
JVM

22. #DevoxxFR
Démo:
Interpréteur AsciiDoc

23. #DevoxxFR
Interpréteur Cassandra
23
Cassandra
Interpreter
JVM
Display
Results as
HTML
! !
!
Zeppelin
Server
JVM
Raw
Text
Block
Raw
Text
Block
Cassandra
Cassandra
Java
Driver
!
Async CQL
statements
!Render
HTML
!

24. #DevoxxFR
Commandes spéciales
24
Native CQL statements
SELECT * FROM …;
INSERT INTO …;
…
Schema commands
DESCRIBE TABLE …;
DESCRIBE KEYSPACE …;
…
Prepared statements
Commands
@prepare …;
@bind …;
@remove_prepared …;
Help command
HELP;
Options Commands
@consistency …;
@retryPolicy …;
@fetchSize …;

25. #DevoxxFR
Démo:
Interpréteur Cassandra

26. #DevoxxFR
Q & R
! "

27. #DevoxxFR
Merci
27
@doanduyhai
duy_hai.doan@datastax.com
http://zeppelin.incubator.apache.org/