Quicky

431 vues

Publié le

Présentation de l'utilisation de R pour traiter des fichiers de log ( accesslog ).

Publié dans : Technologie
1 commentaire
2 j’aime
Statistiques
Remarques
Aucun téléchargement
Vues
Nombre de vues
431
Sur SlideShare
0
Issues des intégrations
0
Intégrations
10
Actions
Partages
0
Téléchargements
4
Commentaires
1
J’aime
2
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Quicky

  1. 1. Comment avantageusement remplacer Excel par R pour traiter (automatiquement) vos fichiers de log è ! Philippe kernevez © OCTO 2014 Avenue du théâtre 7 CH-1005 Lausanne - SUISSE 1
  2. 2. Agenda ! 5‘ : Objectifs et contexte ! 10’ : démonstration 2
  3. 3. R ! R est un dialecte du langage S ! S inventé en 1976 au Bell Labs pour de l’analyse statistique en remplacement de FORTRAN. ! R a été lancé en 1991 !   Licence GNU depuis 1995 !   2000 : R v 1 !   2012 : R v 2.5version 2.15.1 ! R http://www.r-project.org/ ! Rstudio http://www.rstudio.com/ 3
  4. 4. 4
  5. 5. 5
  6. 6. Besoins ! Contexte + ! = Question !   Ma journée d’hier était-elle représentative ? !   A quelle heure mes temps de réponse se sont dégradés ? !   Mes temps de réponse changent-ils en fonction de la charge ? 6
  7. 7. Les solutions… !   Shell (grep / sed) !   Script (Groovy) !   Excel ! Ca fonctionne mais… !   Excel peine à afficher les graphiques de plusieurs milliers de points !   C’est fastidieux !   Utilisations de tableaux croisés dynamiques pour les moyennes glissantes !   Du ‘bricolage’ pour avoir des quantiles glissants !   Cela reste manuel !   Shell (grep / sed) !  R 7
  8. 8. Exemples ! Evolution du temps de réponse au cours du temps !   Exemple sur mon poste !   20’000 points avec Excel : 2 minutes !   330’000 points avec R : 6s 8
  9. 9. Exemples Moyenne ou percentile glissant ! !   Percentile 95 : 95% des requêtes en moins de X s Moyenne&(s)& 4.5" 4" 3.5" 3" 2.5" Moyenne"(s)" 2" 1.5" 1" 0.5" 0" 12"sept."04:48" 12"sept."09:36" 12"sept."14:24" 12"sept."19:12" 13"sept."00:00" 13"sept."04:48" 13"sept."09:36" 13"sept."14:24" 13"sept."19:12" 9
  10. 10. Histogramme Plus de 300’000 mesures En moins de 5e+6 µs (0.5s) 10
  11. 11. Distribution 11
  12. 12. Demo time… 12
  13. 13. Pour finir ! Limites !   Tailles des objets en mémoire !   Formatage des dates !   La solution est d’utiliser les timeseries (xts) ! Toutes les infos sur ! https://github.com/pkernevez/RQuicky.git ! Alternative ! Kibana (elasticsearch) ! Pour démarrer ! http://www.r-project.org/ !   Coursera https://class.coursera.org/reactive-001/assignment ! Le JUG existe aussi à Lausanne 13

×