Pres98

133 vues

Publié le

Publié dans : Ingénierie
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
133
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2
Actions
Partages
0
Téléchargements
2
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Pres98

  1. 1. Introduction D´eveloppement R´esultats Conclusion Etude des connexions sur le site de la coupe du monde 98 Pierre Richaud, Melchior Fracas March 28, 2014 Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98
  2. 2. Introduction D´eveloppement R´esultats Conclusion Introduction Introduction Qu’avons nous ´etudi´e ? Les serveurs recueillent des informations 1,3 Milliards de connexions Format Binaire Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98
  3. 3. Introduction D´eveloppement R´esultats Conclusion D´evellopement Probl´ematiques - Taille des donn´ees Une connexion = 20 Octets 1,3Milliards * 20 octets 26Go ... en binaire ! Stockage pour traitement → BDD MySQL Remplissage, Optimisation, Anticipation Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98
  4. 4. Introduction D´eveloppement R´esultats Conclusion D´evellopement Probl´ematique - Fouille Envoi de requ`etes SQL depuis JAVA G´en´eration de fichiers interm´ediaires : le XML Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98
  5. 5. Introduction D´eveloppement R´esultats Conclusion R´esultats Nombre de visites par jour Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98
  6. 6. Introduction D´eveloppement R´esultats Conclusion R´esultats Nombre de clients par jour Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98
  7. 7. Introduction D´eveloppement R´esultats Conclusion R´esultats Suivi du pourcentage d’erreurs Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98
  8. 8. Introduction D´eveloppement R´esultats Conclusion R´esultats Histogramme des visites des clients Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98
  9. 9. Introduction D´eveloppement R´esultats Conclusion R´esultats Clustering Clustering de Client. Trois groupes et des comportements diff´erents ... Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98
  10. 10. Introduction D´eveloppement R´esultats Conclusion Conclusion Vision a posteriori Acc´eleration des traitements : index, threads ? Logiciel de Big Data : Mahout ? Comparaison avec des Log de sites actuels ... Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98
  11. 11. Introduction D´eveloppement R´esultats Conclusion Conclusion Merci Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98
  12. 12. Introduction D´eveloppement R´esultats Conclusion Conclusion Annexe Traitements des objectID. Algorithme de Recommendations. Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98
  13. 13. Introduction D´eveloppement R´esultats Conclusion Conclusion Annexe La structure d’un log `a un autre est a peu pr`es similaire. Structure voulue la plus g´en´eraliste possible pour pouvoir entrer rapidement n’importe quelle Log Mais abandonn´e pour manque de temps. Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98
  14. 14. Introduction D´eveloppement R´esultats Conclusion Conclusion Annexe 6 jours pour rentrer sans buffer, environ 48 heures avec. Requ`etes longues sur la bases: plusieurs heures. Index: Accel`ere recherche, mais ralentit les calculs: Un simple calcule de moyennes=plusieurs heures avec index, quelques minutes sans. Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98

×