Télécharger en tant que PDF, PPTX
Téléchargé parDuyhai Doan
Apache Zeppelin @DevoxxFR 2016
Apache Zeppelin est un outil prometteur pour l'écosystème Big Data, permettant l'intégration et l'analyse de données via divers interprètes. Le document présente l'architecture de Zeppelin, ainsi que des démonstrations utilisant des interprètes pour des analyses avec Cassandra et d'autres systèmes. Des informations sur la création et la configuration des interprètes personnalisés sont également fournies.
Apache Zeppelin @DevoxxFR 2016
- 1. #DevoxxFR Apache Zeppelin le notebookd’avenir pour l’éco-système Big Data 1
- 2. #DevoxxFR Un peu demoi Duy Hai DOAN Evangéliste technique & consultant Apache Cassandra • talks, meetups, confs • projet open-source (Achilles, Apache Zeppelin) • Des questions sur Apache Cassandra/Apache Zeppelin ? ☞ duy_hai.doan@datastax.com ☞ @doanduyhai 2
- 3. #DevoxxFR Datastax • Fondé enAvril 2010 • Plus gros pourvoyeur de contributeur à Apache Cassandra™ • Bureaux européens à Londres, Paris et Berlin • Datastax Enterprise = OSS Cassandra + fonctionnalités+++ 3
- 4. #DevoxxFR Qu’est ce ApacheZeppelin ?
- 5.
- 6. #DevoxxFR Démo: Cassandra Full TextSearch Cassandra – SparkSQL analytics
- 7. #DevoxxFR 7 Architecture Zeppelin Server ZeppelinEngine R E S TWebSocket Spark Interpreter Group Spark SparkSQL Zeppelin Interpreter Factory Tajo Interpreter Flink Interpreter Cassandra Interpreter JVM JVM JVM JVM JVM
- 8.
- 9.
- 10.
- 11.
- 12.
- 13. #DevoxxFR Cycle de vied’un interpréteur Réception des commandes/données en entrée • texte brut • formulaire de données Traiter les commandes/données par un système externe Formatter la réponse avec une méthode d’affichage Zeppelin Renvoyer la réponse au Zeppelin-engine 13
- 14. #DevoxxFR Interpréteurs d’origine • Spark(Spark core, SparkSQL/DataFrame, PySpark) • Spark core = interpréteur par défaut (ou %spark) • SparkSQL = %sql • Shell (%sh) • Markdown (%md) • AngularJS (%angular) 14
- 15.
- 16.
- 17. #DevoxxFR Créer son propreinterpréteur
- 18. #DevoxxFR Étapes Créer une classequi étend la classe Interpreter de base L’enregister dans un bloc static 😳😳😳 En option, définir quelques paramètres par défaut 18 static {! Interpreter.register("Nom_interpréteur",! ClasseInterpreteur.class.getName());! }! static {! Interpreter.register("Nom_interpréteur",! ClasseInterpreteur.class.getName(),! new InterpreterPropertyBuilder()! .add("prop1", "val1")...build());! }!
- 19. #DevoxxFR Pour déclarer soninterpréteur en dûr • Éditer l’enum ZeppelinConfiguration.ConfVars • Ajouter le nom de classe de son interpréteur dans la propriété ZEPPELIN_INTERPRETERS 19
- 20. #DevoxxFR Ou déclarer soninterpréteur en conf • Copier conf/zeppelin-site.xml depuis conf/zeppelin-site.xml.template • Ajouer son interpréteur à la propriété zeppelin.interpreters 20 <property>! <name>zeppelin.interpreters</name>! <value>org.apache.zeppelin.spark.SparkInterpreter,! org.apache.zeppelin.spark.PySparkInterpreter,! org.apache.zeppelin.spark.SparkSqlInterpreter,! org.apache.zeppelin.spark.DepInterpreter,! org.apache.zeppelin.markdown.Markdown,! org.apache.zeppelin.shell.ShellInterpreter,! org.apache.zeppelin.hive.HiveInterpreter,! fr.moi.MonInterpreteurToutPouri! </value>! </property>!
- 21. #DevoxxFR Interpréteur AsciiDoc 21 Zeppelin Server AsciiDocInterpreter JVMZeppelin Engine Raw Text Block Raw Text Block Converted To HTML HTML Output ! ! !! JVM
- 22.
- 23. #DevoxxFR Interpréteur Cassandra 23 Cassandra Interpreter JVM Display Results as HTML !! ! Zeppelin Server JVM Raw Text Block Raw Text Block Cassandra Cassandra Java Driver ! Async CQL statements !Render HTML !
- 24. #DevoxxFR Commandes spéciales 24 Native CQLstatements SELECT * FROM …; INSERT INTO …; … Schema commands DESCRIBE TABLE …; DESCRIBE KEYSPACE …; … Prepared statements Commands @prepare …; @bind …; @remove_prepared …; Help command HELP; Options Commands @consistency …; @retryPolicy …; @fetchSize …;
- 25.
- 26.
- 27.