Téléchargé 136 fois
![Une formation
Liste
Les listes sont immutables (= on ne peut pas
changer le contenu)
List[String] est une liste de chaîne de caractères](https://image.slidesharecdn.com/alphorm-180504075251/85/Alphorm-com-Formation-Big-Data-avec-Apache-Spark-Initiation-104-320.jpg)
![Une formation
Sliding Window Operations
Transformation Fonctionnement
Window (windowLength,
slideInterval)
Renvoie un nouveau DStream calculé en fonction des
windows du flux DStream source.
countByWindow(windowLength,
slideInterval)
Renvoie le nombre d'éléments de la window glissantes
dans le flux.
reduceByWindow(func,windowL
ength,slideInterval)
Renvoie un nouveau flux d'élément unique, créé en
agrégeant les éléments du flux sur un intervalle de
glissement (sliding) en utilisant func. La fonction doit
être associative pour pouvoir être calculée correctement
en parallèle.
reduceByKeyAndWindow (func,
windowLength, slideInterval,
[numTasks])
Lorsqu'il est appelé, un DStream de paires (K, V)
renvoie un nouveau DStream de paires (K, V), où les
valeurs de chaque clé sont agrégées en utilisant la
fonction de réduction donnée (func) sur des batchs dans
une fenêtre glissante.](https://image.slidesharecdn.com/alphorm-180504075251/85/Alphorm-com-Formation-Big-Data-avec-Apache-Spark-Initiation-241-320.jpg)
![Une formation
Sliding Window Operations
Transformation Fonctionnement
countByValueAndWindow(wind
owLength, slideInterval,
[numTasks])
Lorsqu'il est appelé sur un DStream de paires (K, V), il
renvoie un DStream avec de nouvelles paires (K, Long)
où les valeurs de chaque clé présente la fréquence dans
une des windows glissantes.](https://image.slidesharecdn.com/alphorm-180504075251/85/Alphorm-com-Formation-Big-Data-avec-Apache-Spark-Initiation-242-320.jpg)
Téléchargé parAlphorm
Alphorm.com Formation Big Data avec Apache Spark: Initiation
Ce document présente une formation sur le Big Data avec Apache Spark, couvrant des sujets allant de l'introduction au Big Data et Hadoop jusqu'à la programmation avec Spark, Spark SQL et le traitement de flux avec Spark Streaming. Il aborde également les prérequis, l'architecture et les concepts clés de Spark, y compris RDD, DataFrame et Dataset, ainsi que des exemples d'applications pratiques. La formation cible les ingénieurs d'études et développement, chefs de projet technique et architectes techniques.
Contenu connexe
Similaire à Alphorm.com Formation Big Data avec Apache Spark: Initiation
Alphorm.com Formation Big Data avec Apache Spark: Initiation
- 1. Big Data avecApache Spark Initiation Une formation Aimad TAHI
- 2. Une formation Cursus BigData avec Spark
- 3. Une formation Plan dela formation Introduction 1. Le Big Data 2. Apache Hadoop 3. Apache Spark 4. Programmer avec Apache Spark 5. Spark SQL 6. Spark Streaming Conclusion
- 4. Une formation Ingénieur d’étudeset développement Chef de projet technique Architecte technique Public concerné
- 5. Une formation Prérequis Connaissances Java,Scala ou Python Connaissances en SQL Connaissances d’outils Big Data seront utiles mais pas obligatoires.
- 6.
- 7. Présentation du BigData Une formation Aimad TAHI
- 8. Une formation Le BigData? Pourquoi utiliser le Big Data ? Quelle évolution avec le Big Data ? Plan
- 9. Une formation Le BigData c’est quoi ? Explosion de la quantité des données Le partage des données La recherche des données Le stockage des données Le traitement des flux de données
- 10. Une formation Le BigData c’est quoi ? Big Data • Mégadonnées • Donneés massives Question : • Big Data = Le volume de données? Réponse : Faux
- 11. Une formation Le BigData c’est quoi ? La règle des 3V Volume Variété Vélocité
- 12. Une formation Le BigData c’est quoi ? Plus 2 V Véracité Valeur
- 13. Une formation Pourquoi ? Difficultéde traiter la masse de données produites chaque jour Les informations sont produites en temps réel Problème d’optimisation de base de données Le traitement des données non structurées
- 14.
- 15.
- 16. Une formation Pourquoi ? Source: http://www.liberation.fr/futurs/2012/12/03/donnees-le-vertige_864585
- 17. Une formation Pourquoi ? Source: http://www.liberation.fr/futurs/2012/12/03/donnees-le-vertige_864585
- 18. Une formation Evolution avecle Big Data ? Progression de Hadoop Une importante réduction des coûts d’analyse des données Les SGDB NoSQL La sécurité des données Le stockage des données sur le cloud
- 19.
- 20. L’écosystème du BigData Une formation Aimad TAHI
- 21. Une formation Systèmes defichiers Quantcast File System (QFS)
- 22.
- 23.
- 24. Une formation Intégration dedonnées
- 25.
- 26.
- 27.
- 28.
- 29. Une formation L’écosystème duBig Data
- 30. Une formation L’écosystème duBig Data Tous droits réservés 451 Research
- 31.
- 32. Présentation Apache Hadoop Uneformation Aimad TAHI
- 33. Une formation Hadoop Hadoop? Son utilisation HDFS(Hadoop Distributed File System) MapReduce Distributions Hadoop
- 34. Une formation Hadoop? 2004 :conçu par Doug Cutting. Framework Open Source Ecrit en java Aide à créer des applications distribuées Résiste aux pannes 2009 : fondation logicielle Apache
- 35. Une formation Utilisation deHadoop Stockage moins coûteux de très gros volumes données (Po) Les réseaux sociaux Les sites e-commerce comme Analyse de fichiers non structurés (log)
- 36. Une formation HDFS Hadoop DistributedFile System Système de stockage Possibilité de stocker des pétaoctets de données Traitement parallèle et distribué Tolérance aux erreurs avec la réplication des données
- 37. Une formation Schéma deprincipe du HDFS https://fr.wikipedia.org/wiki/Hadoop#/media/File:HDFS.png
- 38. Une formation MapReduce C’est unmodèle de programmation Calculs parallèles et distribués sur des données très volumineuses Map réalise des opérations dédiées à chaque élément Reduce rassemble tous ces éléments et délivre le résultat sous forme condensée
- 39.
- 40. Une formation Distributions Hadoop Versionspayantes Framework Hadoop personnalisé Consoles de gestion et administration Documentation, formation … Elastic MapReduce
- 41.
- 42. L’écosystème de Apache Hadoop Uneformation Aimad TAHI
- 56.
- 57. Présentation d’Apache Spark Uneformation Aimad TAHI
- 58. Une formation Plan Spark? Pourquoi utiliserSpark ? Applications utilisant Spark? Interfaces de programmation Spark
- 59. Une formation Spark? 2009 :Création par Matei Zaharia Laboratoire AMPLab Université de Berkeley 2010 : Open Source sous licence BSD 2013 : Licence Apache Software Foundation 2014 : ASF Top Level Project L’entreprise Databricks
- 60. Une formation Spark? 2014 :Spark a gagné le Daytona GraySort Contest A Z 100 To 100 To A Z 2100 machines 206 machines 23 Minutes72 Minutes
- 61. Une formation Pourquoi utiliserSpark ? 3 fois plus rapide que Hadoop Utilise moins de ressources que Hadoop Plus de 400 contributeurs comme Intel, Facebook,IBM, Netflix, Yahoo!, Databricks …
- 62. Une formation Pourquoi utiliserSpark ? Fonctionne en mémoire (in-memory) Possibilité d’utiliser Spark avec Hadoop Résilient aux pannes
- 63. Une formation Applications utilisantSpark? Les ETL Analyse prédictive et Machine Learning Opérations d’accès aux données (SQL) Traitement et extraction de texte Traitement temps réel Applications graphiques
- 64. Une formation API Spark Ilest écrit en Scala Fonctionne sous JVM Fournit un support natif pour les APIs : • Scala • Python • Java • SQL • R
- 65.
- 66.
- 67. Une formation Écosystème Spark SparkSQL Streaming Mllib Machine Learning GraphX DataFrames R SQL Python Scala Java
- 68.
- 69. Installation de Spark sousRed Hat/CentOS Une formation Aimad TAHI
- 70. Installation de Spark sousMicrosoft Windows Une formation Aimad TAHI
- 71. Installation de Spark sousMac OS X Une formation Aimad TAHI
- 72. Installation de Spark sousUbuntu/Debian Une formation Aimad TAHI
- 73.
- 74.
- 75. Comprendre l'architecture des applicationsde Spark Une formation Aimad TAHI
- 76. Une formation Plan Architecture Master/Worker SparkDriver Spark Executors et Workers Spark Master et Cluster Manager (CM)
- 77.
- 78. Une formation Spark Driver SparkContext Planification d’application Ordonnanceur d’application Driver Cluster Manager Master Worker Executor Worker Executor Client
- 79.
- 80. Une formation Spark Executorset Workers Réservation CPU Réservation mémoire Un Exécuteur peut exécuter des milliers de tâches Driver Cluster Manager Master Worker Executor Worker Executor Client
- 81.
- 82.
- 83.
- 84. Programmation fonctionnelle dans Spark Uneformation Aimad TAHI
- 85.
- 86. Une formation Introduction Peu delignes de code Enchainer les fonctions dans la même ligne de code Codes plus lisibles Réutilisabilité
- 87. Une formation Les fonctions Affectationd’une fonction à une variable Une fonction peut être passée en paramètre d’une autre La récursivité (fonction factorielle)
- 88. Une formation Exemple def opp(x: Int) : Int = { return -x; } def opp(x : Int) : Int = -x
- 89. Une formation Exemple def max(x: Int, y : Int) = if (x > y) x else y
- 90.
- 91.
- 92.
- 93. Scala avec Spark Uneformation Aimad TAHI
- 94. Une formation Plan Introduction REPL Les variableset valeurs Case class Immutabilité
- 95. Une formation Introduction Hybride Objet/ fonctionnel Compilé en bytecode S’exécute dans la JVM Scalable Concis (Programmation fonctionnelle et typage)
- 96. Une formation REPL Read-Eval-Print loop Lignede commande permettant de faire du « pas à pas » Parfait pour l’apprentissage et la mise au point
- 97. Une formation Les variableset valeurs Une variable déclarée avec “val” ne peut pas être ré-affectée Une variable déclarée avec “var” peut être ré- affectée On parle de la variable : pas de ses éventuels attributs
- 98. Une formation Case class Desclasses dont les objets sont immuables Pas de new Comparaison par valeur
- 99. Une formation Immutabilié Objet dontl'état ne peut pas être modifié après sa création Optimisation au niveau du compilateur
- 100.
- 101. Scala Types, Liste etTableaux Une formation Aimad TAHI
- 102.
- 103.
- 104. Une formation Liste Les listessont immutables (= on ne peut pas changer le contenu) List[String] est une liste de chaîne de caractères
- 105. Une formation Tableaux Les élémentsd’un tableaux sont mutables Initialisation Modification Affichage
- 106.
- 107. Scala Fonctions, Currying etTuple Une formation Aimad TAHI
- 108.
- 109. Une formation Fonctions Mot-clé def(Déclaration d’une fonction) Le nom de la fonction Les paramètres de la fonction Le type de retour Le corps de la function entre accolades
- 110. Une formation Currying Fonction oùseuls quelques arguments sont spécifiés Concepts courants dans les langage fonctionnels
- 111. Une formation Tuple Nombre fixed’éléments pouvant être manipulés d’un seul bloc
- 112.
- 113. Scala Pattern matching etles Classes Une formation Aimad TAHI
- 114.
- 115. Une formation Pattern matching Commele switch Puissant
- 116. Une formation Classes Les paramètresdeviennent des membres publics à la classe scala.Seq est le super type avec les méthodes : • filter • fold • map • reduce • …
- 117.
- 118.
- 119.
- 120. Une formation Les collections Unesyntaxe compacte pour les Tableaux, List, Set, Map, etc Inférence de type Versions mutables et immutables
- 121. Une formation Manipulation descollections Un grand choix de fonctions Consistant sur l’ensemble des collections foreach, map, filter, partition, find fold, reduce, etc...
- 122.
- 123. Introduction aux RDD Uneformation Aimad TAHI
- 124.
- 125. Une formation RDD? C’est unestructure de données centrale de Spark C’est du code fourni par le framework Spark Ce code appartient à la librairie du framework dans chacun des langages suivants :
- 126. Une formation Resilient Tolérance auxpannes matérielles. toto tata titi toto tata titi
- 127. Une formation Distributed Opérations effectuéesd’une manière distribuée Données distribuées sur les nœuds du cluster
- 128. Une formation Dataset Opérations surune abstraction de collection
- 129.
- 130. Apprendre les basesde la programmation des RDD Une formation Aimad TAHI
- 131. Une formation Plan Création d’unRDD Structure d’un RDD Distribution et partitions Les opérations sur un RDD Transformation et DAG Action
- 132. Une formation Création d’unRDD SparkContext (sc) permet de créer les RDD • A partir d’une source de données • En parallélisant une collection • En appliquant une opération de transformation
- 133. Une formation Création d’unRDD Méthode textFile("/chemin_du_fichier") //Local val rdd1 = sc.textFile("/user/myfiles") //Hadoop val rdd2 = sc.textFile("hdfs://user/myfiles")
- 134. Une formation Création d’unRDD Méthode parallelize(liste) //création d’une liste en scala val liste = List("bleu","rouge","vert") val rdd3 = sc.parallelize(liste)
- 135. Une formation Structure d’unRDD Immutable : Ne peut pas être modifiée Lazy : Contient des références aux données Cacheable : Un RDD peut être sauvegarder
- 136. Une formation Distribution etpartitions Lors de sa création, un RDD est partitionné Le nombre de partitions est dépendant de plusieurs paramètres Les partitions sont parfois imposées Par défaut
- 137. Une formation Les opérationssur un RDD Les Transformations • sont lazy Les Actions • Un RDD va être évalué une fois l’action est exécutée
- 138.
- 139.
- 140. Une formation Transformation etDAG RDD1 RDD2 RDD3 RDD4 Transformation 1 Transformation 2 Transformation 3 Pas de données (Lazy) référence référence référence référence DAG *DAG = Directed Acyclic Graph
- 141. Une formation Action RDD1 RDD2 RDD3 RDD4 référence référence référence référence Modification desdonnées Chargement des données Appliquer les transformations du DAG
- 142.
- 143. Comprendre les concepts deMapReduce Une formation Aimad TAHI
- 144. Une formation Plan Inconvénients HadoopMapReduce MapReduce avec Spark Pourquoi en RAM ? MapReduce versus Spark Exemple Wordcount en Spark
- 145. Une formation Hadoop MapReduce Inconvénients Résultat écrit sur le disque Opérations Map Reduce se font sur les disques
- 146. Une formation MapReduce avecSpark Écriture des résultats en RAM
- 147. Une formation Pourquoi enRAM ? Taux de transfert de données avec le processeur 100 MB/S 10 GB/S
- 148. Une formation MapReduce versusSpark MapReduce (Hadoop) Spark
- 149.
- 150.
- 151. Les opérations générales Uneformation Aimad TAHI
- 152. Une formation Plan Les Transformations: • map, filter , flatmap, • groupBy, sortBy, • groupByKey, reduceByKey, sortByKey Les Actions : • reduce, • fold, collect, • keys, values
- 153. Une formation Les transformations Méthodemap Méthode filter Méthode flatmap
- 154. Une formation Les transformations MéthodegroupBy Méthode sortBy
- 155. Une formation Les transformations MéthodegroupByKey Méthode reduceByKey Méthode sortByKey
- 156. Une formation Les Actions Méthodereduce Méthode fold Méthode collect
- 157. Une formation Les Actions Méthodekeys Méthode values
- 158.
- 159.
- 160. Une formation Plan Les Transformations: • sample Les Actions : • count
- 161.
- 162.
- 163.
- 164. Les opérations relationnelles Uneformation Aimad TAHI
- 165. Une formation Plan Les Transformations: • union, intersection, subtract • distinct, cartesian, cogroup • join, rightOuterJoin, leftOuterJoin Les Actions : • takeOrdered
- 166. Une formation Les transformations Méthodeunion Méthode intersection Méthode subtract
- 167. Une formation Les transformations Méthodedistinct Méthode cartesian Méthode cogroup
- 168. Une formation Les transformations Méthodejoin Méthode rightOuterJoin Méthode leftOuterJoin
- 169. Une formation Les Actions MéthodetakeOrdered
- 170.
- 171. Les opérations DataStructure Une formation Aimad TAHI
- 172. Une formation Plan Les Transformations: • keyBy, coalesce Les Actions : • saveAsTextFile
- 173. Une formation Les transformations MéthodekeyBy Méthode coalesce
- 174. Une formation Les Actions MéthodesaveAsTextFile
- 175.
- 176. Introduction à SparkSQL Une formation Aimad TAHI
- 177. Une formation Plan Introduction Les composantsde Spark SQL • DataFrame • SQLContext, HiveContext
- 178. Une formation Introduction Composant duframework Apache Spark Interface de programmation permettant de requêter des sources de données ayant un schéma Permet de traiter des données stockées sous différents formats (Json, sgbd …)
- 179.
- 180. Une formation DataFrame Collection dedonnées distribuées
- 181. Une formation DataFrame Données organiséesen colonnes nommées
- 182. Une formation DataFrame Peuvent êtreconverties en RDD a = DataFrame b = RDD b = a.rdd
- 183. Une formation DataFrame Peuvent êtrecréées à partir des : • RDD • fichiers de données structurées • données JSON • tables Hive • Bases de données externes
- 184. Une formation SQLContext Créés àpartir du SparkContext val sqlContext = new org.apache.spark.sql.SQLContext(sc) Point d’entrée pour manipuler des données via SparkSQL Gère le cycle de vie des dataframes
- 185. Une formation HiveContext Créés àpartir du SparkContext import org.apache.spark.sql.hive.HiveContext val hiveContext = new HiveContext(sc) Manipuler des données via SQL Supporte tous les formats de stockage de Hive (Parquet, ORC,Avro,RCFile) La connexion à hive est paramétrée dans $SPARK_HOME/CONF/hive-site.xml
- 186.
- 187. Création d’un DataFrame àpartir d’un RDD Une formation Aimad TAHI
- 188. Une formation DataFrame àpartir d’un RDD RDD DataFrame id;nom;prenom 1;toto;yoyo 2;titi;jiji 3;tata;gogo 4;tutu;nono Id nom prenom 1 toto yoyo 2 titi jiji 3 tata gogo 4 tutu nono
- 189.
- 190. Création d’un DataFrame àpartir d’un Objet JSON Une formation Aimad TAHI
- 191. Une formation DataFrame àpartir d’un objet JSON DataFrame name age Michael Andy 30 Justin 19 {"name":"Michael"} {"name":"Andy", "age":30} {"name":"Justin", "age":19}
- 192.
- 193. Création de DataFrames àpartir de fichiers Une formation Aimad TAHI
- 194. Une formation DataFrames àpartir de fichiers DataFrame c1 c2 c3 1 toto yoyo 2 titi jiji 3 tata gogo 4 tutu nono
- 195.
- 196. Convertir un DataFrame enRDD Une formation Aimad TAHI
- 197. Une formation Convertir unDataFrame en RDD DataFrame Id nom prenom 1 toto yoyo 2 titi jiji 3 tata gogo 4 tutu nono RDD id;nom;prenom 1;toto;yoyo 2;titi;jiji 3;tata;gogo 4;tutu;nono
- 198.
- 199. Utiliser Spark SQL avecles SGBDR Une formation Aimad TAHI
- 200. Une formation Bases dedonnées relationnelles Une base de données relationnelle peut-être considérée comme une source de données pour Spark SQL : • Pour lire les données • Aussi pour les écrire
- 201.
- 202.
- 203. Utilisation des DataFrame avecSpark SQL Une formation Aimad TAHI
- 204. Une formation Plan Opérations surles métadonnées Opérations de base
- 205. Une formation Opérations surles métadonnées DataFrame.columns DataFrame.dtypes
- 206. Une formation Opérations debase show() drop() filter() distinct()
- 207.
- 208. Utilisation des Dataset avecSpark SQL Une formation Aimad TAHI
- 209. Une formation Plan Limitation desRDD Limitation des Dataframe Dataset Performance Caching memory
- 210. Une formation Limitation desRDD Pas de schéma de données Pas de moteur d’optimisation
- 211. Une formation Limitation desDataframe Pas de sécurité de type à la compilation Pas de conversion objet de domaine
- 212. Une formation Dataset RDD données non structuré API Fonctionnel Version0.1 Dataframe Traitement structuré API Relationnelle Version 1.3 Dataset Structuré et non structuré API fonctionnelle et relationnelle Version 1.6
- 213. Une formation Dataset Collection distribuéede données Offre les avantages des RDD Offre les avantages du moteur d’exécution optimisé de Spak SQL. Utilise un encodeur spécialisé pour sérialiser les objets.
- 214.
- 215.
- 216.
- 217. Présentation de Spark Streaming Uneformation Aimad TAHI
- 218. Une formation Plan ?????????????Introduction Architecture DStream Les TransformationsDStream Window et sliding
- 219. Une formation Introduction Extension deSpark, permettant la gestion de gros volumes de données arrivant en continu Tolérant aux pannes
- 220. Une formation Architecture En entrée: Data Stream En sortie : Processed Results Data Stream Processed Results Dstream (Time Windowed RDDs)
- 221. Une formation DStream Discretized Streams(DStreams) Représente un flux continu de données
- 222. Une formation DStream Séquence deRDD Partitionnées Immutables Tolérance aux pannes
- 223. Une formation Les TransformationsDStream Plusieurs transformations disponibles via l’API RDD Les transformations DStream créent un nouveau DStream (comme les RDD) Transformation : map(func) flatMap(func) filter(func) reduce(func) …
- 224. Une formation Window etsliding Cas 1 : Je cherche les données sur les 2 dernières minutes toutes les minutes. • Window length = 2 minutes • Sliding interval = 1 minutes
- 225. Une formation Window etsliding Dstream original Windowed Dstream 1 min1 min 2 min2 min 3 min3 min 4min4min 5 min5 min
- 226. Une formation Window etsliding Cas 2 : Je cherche les données sur les 2 dernières minutes toutes les 3 minutes. • Window length = 2 minutes • Sliding interval = 3 minutes
- 227. Une formation Window etsliding Dstream original Windowed Dstream 3 min3 min 3 min3 min
- 228.
- 229.
- 230. Une formation Plan ????????????? Source DStreamsocketTextStream Opération en Output DStream
- 231. Une formation Source Dstream socketTextStream() varmylines = ssc.socketTextStream('localhost',9999)
- 232. Une formation Les Opérationsen Output DStream print() Dstream.print()
- 233.
- 234.
- 235. Une formation Plan ????????????? Sources DStream LesOpérations en Output DStream
- 236. Une formation Sources DStream textFileStream() varmylines = ssc.textFileStream('hdfs:///data/incoming/')
- 237. Une formation Les Opérationsen Output DStream print() saveAsTextFiles() foreachRDD() Dstream.print() DStream.saveAsTextFiles(prefix, suffix-=None) DStream.foreachRDD(func)
- 238.
- 239.
- 240. Une formation Plan ????????????? Sliding WindowOperations Cas de Sliding Window
- 241. Une formation Sliding WindowOperations Transformation Fonctionnement Window (windowLength, slideInterval) Renvoie un nouveau DStream calculé en fonction des windows du flux DStream source. countByWindow(windowLength, slideInterval) Renvoie le nombre d'éléments de la window glissantes dans le flux. reduceByWindow(func,windowL ength,slideInterval) Renvoie un nouveau flux d'élément unique, créé en agrégeant les éléments du flux sur un intervalle de glissement (sliding) en utilisant func. La fonction doit être associative pour pouvoir être calculée correctement en parallèle. reduceByKeyAndWindow (func, windowLength, slideInterval, [numTasks]) Lorsqu'il est appelé, un DStream de paires (K, V) renvoie un nouveau DStream de paires (K, V), où les valeurs de chaque clé sont agrégées en utilisant la fonction de réduction donnée (func) sur des batchs dans une fenêtre glissante.
- 242. Une formation Sliding WindowOperations Transformation Fonctionnement countByValueAndWindow(wind owLength, slideInterval, [numTasks]) Lorsqu'il est appelé sur un DStream de paires (K, V), il renvoie un DStream avec de nouvelles paires (K, Long) où les valeurs de chaque clé présente la fréquence dans une des windows glissantes.
- 243. Une formation Cas deSliding Window Pratique Je cherche les données sur les 9 dernières secondes toutes les 3 secondes. • Window length = 9 secondes • Sliding interval = 3 secondes
- 244. Une formation Cas deSliding Window Dstream original Windowed Dstream toto tata titi tutu
- 245. Une formation Cas deSliding Window Dstream original Windowed Dstream 9s9s toto tata titi tutu
- 246. Une formation Cas deSliding Window Dstream original Windowed Dstream 9s9s toto tata titi tutu
- 247. Une formation Cas deSliding Window Dstream original Windowed Dstream 9s9s 3s toto tata titi toto tutu
- 248. Une formation Cas deSliding Window Dstream original Windowed Dstream 9s9s toto tata titi 3s 3s toto tata tutu
- 249. Une formation Cas deSliding Window Dstream original Windowed Dstream 9s9s toto tata titi toto tata titi 3s 3s 3s tutu
- 250. Une formation Cas deSliding Window Dstream original Windowed Dstream 9s9s toto tata titi tutu tata titi 3s 3s 3s 3s tutu
- 251. Une formation Cas deSliding Window Dstream original Windowed Dstream 9s9s toto tata titi tutu titi 3s 3s 3s 3s tutu 3s
- 252. Une formation Cas deSliding Window Dstream original Windowed Dstream 9s9s toto tata titi tutu 3s 3s 3s 3s tutu 3s 3s
- 253. Une formation Cas deSliding Window Dstream original Windowed Dstream toto tata titi tutu 3s 3s 3s 3s 3s 3s 3s
- 254. Une formation Conclusion Spark Streamingpermet de traiter les données au fil de leurs arrivées. Attention : Si la "window" est trop large, il faut évaluer la pertinence de l'usage du streaming
- 255.
- 256.
- 257. Une formation Bilan ????????????? Big DATA ApacheHadoop Apache Spark Scala RDDs Spark SQL Spark Streaming
- 258.