1
©2015 Talend Inc.©2015 Talend Inc.
Spark Meetup
Jonathan Lamiel
Talend Labs
2
Présentation de Spark Packages & Co
 Comment partager de la données entre différents job Spark ?
 Comment s’interfacer...
3
4
Comment partager de la données entre
différents job Spark ?
 Cas d’usage : Plusieurs contextes Spark utilisant un même
...
5
 Open Source
 Système de fichier distribué In-memory
6
 Utilisation avec Spark mais pas seulement
7
 Avec Spark comment ca marche ?
8
 Et mon problème de réutilisation ?
9
 Et mon code Spark il devient quoi ?
10
 Tachyon accède aux données de manière intelligente ?
11
 Coté Perf ?
12
13
Spark Packages
14
 Spark
 Des RDDs :
 HadoopRDD, PairRDD, AvroRDD, JsonRDD, JdbcRDD,
ESSpark, CassandraRDD etc …
 Pour le reste : Had...
15
 Spark Streaming
 Des Dstreams:
 File systems, Socket, Akka actors, Kafka, Flume,
Kinesis, Twitter
 Pour le reste :...
17
18
Comment rendre une application Spark
interactive ?
 Cas d’usage : Créer une API Rest pour exécuter du Spark et
aider a...
19
Spark-jobserver
 Open Source
 Gestion des contextes Spark par le JobServer
 Gestion des « applications » sous forme ...
20
Spark-jobserver
 Ca ressemble à quoi ?
21
Spark-jobserver
 A quoi ressemble mon code Spark ?
22
Spark-jobserver
 Comment je l’utilise ?
23
Spark-jobserver
 D’un point de vue architecture ?
24
 Suivre l’évolution des projets sortant.
What next ?
….
25
Q&A ?
Prochain SlideShare
Chargement dans…5
×

Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel

8 056 vues

Publié le

Meetup @Viadeo
• 19h45-20h : Extension de Spark (Tachyon / Spark JobServer).
Jonathan Lamiel - Talend Labs
-La mémoire partagée de Spark avec Tachyon
-Rendre Spark Interactif avec Spark JobServer

Publié dans : Internet
0 commentaire
7 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
8 056
Sur SlideShare
0
Issues des intégrations
0
Intégrations
5 091
Actions
Partages
0
Téléchargements
33
Commentaires
0
J’aime
7
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel

  1. 1. 1 ©2015 Talend Inc.©2015 Talend Inc. Spark Meetup Jonathan Lamiel Talend Labs
  2. 2. 2 Présentation de Spark Packages & Co  Comment partager de la données entre différents job Spark ?  Comment s’interfacer avec Spark ?  Comment rendre une application Spark interactive ?
  3. 3. 3
  4. 4. 4 Comment partager de la données entre différents job Spark ?  Cas d’usage : Plusieurs contextes Spark utilisant un même fichier d’enrichissement.  Solution 1 : Lire et relire et rerelire le même fichier à chaque fois.  Solution 2 : Utiliser Tachyon
  5. 5. 5  Open Source  Système de fichier distribué In-memory
  6. 6. 6  Utilisation avec Spark mais pas seulement
  7. 7. 7  Avec Spark comment ca marche ?
  8. 8. 8  Et mon problème de réutilisation ?
  9. 9. 9  Et mon code Spark il devient quoi ?
  10. 10. 10  Tachyon accède aux données de manière intelligente ?
  11. 11. 11  Coté Perf ?
  12. 12. 12
  13. 13. 13 Spark Packages
  14. 14. 14  Spark  Des RDDs :  HadoopRDD, PairRDD, AvroRDD, JsonRDD, JdbcRDD, ESSpark, CassandraRDD etc …  Pour le reste : Hadoop InputFormats Comment s’interfacer avec Spark ?
  15. 15. 15  Spark Streaming  Des Dstreams:  File systems, Socket, Akka actors, Kafka, Flume, Kinesis, Twitter  Pour le reste : Custom Receiver ou Camel ??? Comment s’interfacer avec Spark ?
  16. 16. 17
  17. 17. 18 Comment rendre une application Spark interactive ?  Cas d’usage : Créer une API Rest pour exécuter du Spark et aider au management des contextes Spark.  Solution 1 : Le faire à la main à base d’Akka + Spray etc …  Solution 2 : Utiliser ce qu’il y’a de disponible dans les Spark- Packages
  18. 18. 19 Spark-jobserver  Open Source  Gestion des contextes Spark par le JobServer  Gestion des « applications » sous forme de jar  Appel d’applications Synchrone ou Asynchrone  Statuts des jobs exécutés  Gestion de la validation des paramètres avant soumission a Spark
  19. 19. 20 Spark-jobserver  Ca ressemble à quoi ?
  20. 20. 21 Spark-jobserver  A quoi ressemble mon code Spark ?
  21. 21. 22 Spark-jobserver  Comment je l’utilise ?
  22. 22. 23 Spark-jobserver  D’un point de vue architecture ?
  23. 23. 24  Suivre l’évolution des projets sortant. What next ? ….
  24. 24. 25 Q&A ?

×