Présentation d'Incanter et initiation à Clojure. Les exemples de code sont sur GitHub https://github.com/cfalguiere/Demo-Incanter-Devoxx-France

1. goo.gl/4mmJQ
des statistiques en un coup de baguette magique
Claude Falguière - @cfalguiere
Devoxx France 20 Avril 2012
1

2. L’incantation du jour
2

3. L’incantation du jour
2

4. L’incantation du jour
3

5. L’incantation du jour
3

6. Claude Falguière
Architecte Technique
depuis plus de 10 ans
@cfalguiere
4

7. Incanter : Clojure + R
The R Project for
Statistical Computing
5

8. Incanter : Clojure + R
= +
The R Project for
Statistical Computing
5

9. Incanter, quelles magies
Charting & visualization
Mathematical functions
Statistical functions
Matrix & linear algebra functions
Data manipulations
6

10. Incanter, quelles magies
Charting & visualization
Mathematical functions
Statistical functions
Matrix & linear algebra functions
Data manipulations
6

11. Incanter, quelles magies
7

12. Incanter, quelles magies
Probability distributions
Probabilités
Monte Carlo simulation
7

13. Incanter, quelles magies
Probability distributions
Probabilités
Monte Carlo simulation
Linear regression
Hypothesis / Significance / Correlation tests
Principal Componants Analysis (PCA)
Statistiques
Statistical learning / Classification
Bayesian statistics
...
7

14. Langage fonctionnel
Source http://r.wikipedia.org/wiki/Programmation_fonctionnelle
Pas de
panique ...
8

15. Langage fonctionnel
Source http://r.wikipedia.org/wiki/Programmation_fonctionnelle
Fonctions
8

16. Langage fonctionnel
Source http://r.wikipedia.org/wiki/Programmation_fonctionnelle
Fonctions
Programme = emboîtement de fonctions
que l'on peut voir comme des « boîtes noires »
8

17. Langage fonctionnel
Source http://r.wikipedia.org/wiki/Programmation_fonctionnelle
Fonctions
Programme = emboîtement de fonctions
que l'on peut voir comme des « boîtes noires »
Chaque boîte possède plusieurs paramètres
en entrée mais une seule sortie
8

18. Langage fonctionnel
Source http://r.wikipedia.org/wiki/Programmation_fonctionnelle
Fonctions
Programme = emboîtement de fonctions
que l'on peut voir comme des « boîtes noires »
Chaque boîte possède plusieurs paramètres
en entrée mais une seule sortie
Pas d’état => pas d’effet de bord
8

19. Clojure
LISP like ((()()()))
compilé en bytecode
Sur JVM
toutes les librairies Java sont disponibles
Orienté données immuables et collections persistantes
concurrence support du multi-threading
9

20. Clojure - expressions
10

21. Clojure - expressions
(println "Hello Devoxx") -> "Hello Devoxx"
10

22. Clojure - expressions
(println "Hello Devoxx") -> "Hello Devoxx"
(def conference "Devoxx")
(println "Hello" conference)
10

23. Clojure - expressions
(println "Hello Devoxx") -> "Hello Devoxx"
(def conference "Devoxx")
(println "Hello" conference)
(count (str "Hello" conference)) ->
11
10

24. Clojure - intégration Java
11

25. Clojure - intégration Java
(println "Hello"(.toUpperCase conference))
11

26. Clojure - intégration Java
(println "Hello"(.toUpperCase conference))
(javax.swing.JOptionPane/showMessageDialog nil
"Hello Devoxx")
11

27. Clojure - fonctions
12

28. Clojure - fonctions
(def print-hello
(fn[name] (println "Hello", name)))
12

29. Clojure - fonctions
(def print-hello
(fn[name] (println "Hello", name)))
(defn print-hello [name] (println "Hello", name))
(print-hello "Devoxx")
12

30. Clojure - fonctions
(def print-hello
(fn[name] (println "Hello", name)))
(defn print-hello [name] (println "Hello", name))
(print-hello "Devoxx")
(def conferences '("Devoxx" "Mix-IT"))
(map #(str "Hello " %) conferences)
-> ("Hello Devoxx" "Hello Mix-IT")
12

31. Clojure - les nombres
13

32. Clojure - les nombres
Boxés
Double par défaut
13

33. Clojure - les nombres
(+ 1 2 3) -> 7
Boxés
Double par défaut
13

34. Clojure - les nombres
(+ 1 2 3) -> 7
Boxés
(+ 4 (* 2 3)) -> 10
Double par défaut
13

35. Clojure - les nombres
(+ 1 2 3) -> 7
Boxés
(+ 4 (* 2 3)) -> 10
Double par défaut
(= 2 (+ 1 1)) -> true
13

36. Clojure - les nombres
(+ 1 2 3) -> 7
Boxés
(+ 4 (* 2 3)) -> 10
Double par défaut
(= 2 (+ 1 1)) -> true
(= 1 1.0) -> true
13

37. Clojure - les collections
List,
Vector,
Set
14

38. Clojure - les collections
(def valuelist '(1 2 2 3))
(def avector [1 2 2 3])
List, (def aset #{1 2 3})
Vector,
Set
14

39. Clojure - les collections
(def valuelist '(1 2 2 3))
(def avector [1 2 2 3])
List, (def aset #{1 2 3})
Vector,
Set (count valuelist) -> 4
(count '(2 1 3)) -> 3
14

40. Clojure - les collections
(def valuelist '(1 2 2 3))
(def avector [1 2 2 3])
List, (def aset #{1 2 3})
Vector,
Set (count valuelist) -> 4
(count '(2 1 3)) -> 3
(nth '(2 1 3) 0) -> 2
([1 2 2 3] 0) -> 1
14

41. Clojure - les collections
Map
15

42. Clojure - les collections
(def colormap { "Black" 0, "White" 7} )
(def person { :name "Alice", :score 2} )
Map
15

43. Clojure - les collections
(def colormap { "Black" 0, "White" 7} )
(def person { :name "Alice", :score 2} )
Map
(colormap "White") -> 7
(person :name) -> "Alice"
15

44. Clojure - les collections
(def colormap { "Black" 0, "White" 7} )
(def person { :name "Alice", :score 2} )
Map
(colormap "White") -> 7
(person :name) -> "Alice"
(map #(:score %)
(filter #(= (:name %) "Alice")
persons))
-> 1
15

45. Incanter - la collection Dataset
16

46. Incanter - la collection Dataset
(def inputds
(read-dataset "test-data.csv" :header true))
16

47. Incanter - la collection Dataset
(def inputds
(read-dataset "test-data.csv" :header true))
($where {:status "true"} inputds) -> les lignes OK
16

48. Incanter - la collection Dataset
(def inputds
(read-dataset "test-data.csv" :header true))
($where {:status "true"} inputds) -> les lignes OK
($ :t inputds) -> la colonne t
16

49. Incanter - la collection Dataset
(def inputds
(read-dataset "test-data.csv" :header true))
($where {:status "true"} inputds) -> les lignes OK
($ :t inputds) -> la colonne t
(mean ($ :t inputds)) -> la moyenne
16

50. Incanter - visualisation
(view inputds)
17

51. Incanter - visualisation
(view inputds)
(histogram :t :data inputds)
18

52. Incanter - visualisation
(view inputds)
(histogram :t :data inputds)
(time-series-plot :ts :t :data inputds))
19

53. Incanter - initiation à la magie
20

54. Incanter - initiation à la magie
Les grimoires
incanter.org
data-sorcery.org
github.com/liebke/incanter
clojure.org
4clojure.com
20

55. Incanter - initiation à la magie
21

56. Incanter - initiation à la magie
L’atelier
REPL
Emacs
- Slime
Eclipse
- CounterClockWise
IDEA
- La Clojure
21

57. Incanter - initiation à la magie
22

58. Incanter - initiation à la magie
Les assistants
Leiningen
Midge
Swank
...
22

59. Incanter - se lancer
23

60. Incanter - se lancer
La voie du novice
downloader Incanter
cliquer sur l’icône
23

61. Incanter - se lancer
24

62. Incanter - se lancer
La voie du gourou
installer clojure, lein, swank, incanter ...
24

63. Incanter - se lancer
La voie du gourou faineant
installer cljr
cljr install incanter
cljr repl
REPL & more (lein, swank, ...)
24

64. Incanter - quelques incantations
25

65. Incanter - quelques incantations
Le fichier tu liras
Le graphe des temps de réponse tu
afficheras
Les erreurs tu filtreras
Les données tu grouperas par label
La moyenne des temps de réponse tu
calculeras
Sur chaque groupe, la moyenne des
temps tu produiras
Les statistiques des temps de
Pour chaque groupe, l’histogramme
réponse tu calculeras
tu produiras
https://github.com/cfalguiere/Demo-Incanter-Devoxx-France
25

66. Incanter - incantation 1
26

67. Incanter - incantation 1
Le fichier tu liras
Les erreurs tu filtreras
La moyenne des temps de réponse tu calculeras
26

68. Incanter - incantation 1
Le fichier tu liras
Les erreurs tu filtreras
La moyenne des temps de réponse tu calculeras
https://github.com/cfalguiere/Demo-Incanter-Devoxx-France/blob/master/demo1.clj
851.7333333333333
26

69. Incanter - incantation 2
27

70. Incanter - incantation 2
Le fichier tu liras
Les erreurs tu filtreras
Les statistiques des temps de réponse tu calculeras
27

71. Incanter - incantation 2
Le fichier tu liras
Les erreurs tu filtreras
Les statistiques des temps de réponse tu calculeras
https://github.com/cfalguiere/Demo-Incanter-Devoxx-France/blob/master/demo2.clj
{"sd" 1366.7118238764929,
"mean" 851.7333333333333,
"count" 15}
27

72. Incanter - incantation 3
28

73. Incanter - incantation 3
Le fichier tu liras
Les erreurs tu filtreras
Le graphe des temps de réponse tu afficheras
28

74. Incanter - incantation 3
Le fichier tu liras
Les erreurs tu filtreras
Le graphe des temps de réponse tu afficheras
https://github.com/cfalguiere/Demo-Incanter-Devoxx-France/blob/master/demo3.clj
28

75. Incanter - incantation 4
29

76. Incanter - incantation 4
Le fichier tu liras
Les erreurs tu filtreras
Les données tu grouperas par label
Sur chaque groupe, la moyenne des temps tu produiras
29

77. Incanter - incantation 4
Le fichier tu liras
Les erreurs tu filtreras
Les données tu grouperas par label
Sur chaque groupe, la moyenne des temps tu produiras
https://github.com/cfalguiere/Demo-Incanter-Devoxx-France/blob/master/demo-functions.clj
https://github.com/cfalguiere/Demo-Incanter-Devoxx-France/blob/master/demo4.clj
{"SearchProduct" 1255.5, "HomePage" 341.75}
29

78. Incanter - incantation 5
30

79. Incanter - incantation 5
Le fichier tu liras
Les erreurs tu filtreras
Les données tu grouperas par label
Pour chaque groupe, l’histogramme tu produiras
30

80. Incanter - incantation 5
Le fichier tu liras
Les erreurs tu filtreras
Les données tu grouperas par label
Pour chaque groupe, l’histogramme tu produiras
https://github.com/cfalguiere/Demo-Incanter-Devoxx-France/blob/master/demo-functions.clj
https://github.com/cfalguiere/Demo-Incanter-Devoxx-France/blob/master/demo5.clj
30

81. Incanter - les secrets du magicien
31

82. Incanter - les secrets du magicien
Parallel Colt a multi-threaded version of Colt
https://sites.google.com/site/piotrwendykier/software/parallelcolt
31

83. Incanter - les secrets du magicien
Parallel Colt a multi-threaded version of Colt
https://sites.google.com/site/piotrwendykier/software/parallelcolt
Colt a set of Open Source Libraries for High Performance Scientific and Technical Comput
http://acs.lbl.gov/software/colt/
31

84. Incanter - les secrets du magicien
Parallel Colt a multi-threaded version of Colt
https://sites.google.com/site/piotrwendykier/software/parallelcolt
Colt a set of Open Source Libraries for High Performance Scientific and Technical Comput
http://acs.lbl.gov/software/colt/
Netlib-Java a collection of mission-critical software
components for linear algebra systems (i.e. working with vectors or matrices)
http://code.google.com/p/netlib-java/
31

85. Incanter - les secrets du magicien
32

86. Incanter - les secrets du magicien
OpenCVS
http://www.opencvs.org/
32

87. Incanter - les secrets du magicien
OpenCVS
POI
http://www.opencvs.org/
a Java API for microsoft documents
http://poi.apache.org/
32

88. Incanter - les secrets du magicien
OpenCVS
POI
http://www.opencvs.org/
a Java API for microsoft documents
http://poi.apache.org/
CongoMongo
a Clojure wrapper for mongo-db API
https://github.com/aboekhoff/congomongo
32

89. Incanter - les secrets du magicien
33

90. Incanter - les secrets du magicien
iText
a library that allows you to create and manipulate PDF documents.
http://itextpdf.com/
33

91. Incanter - les secrets du magicien
iText
a library that allows you to create and manipulate PDF documents.
http://itextpdf.com/
JLaTeXMath
display mathematical formulas written in LaTeX
http://forge.scilab.org/index.php/p/jlatexmath/
33

92. Incanter - les secrets du magicien
iText
a library that allows you to create and manipulate PDF documents.
http://itextpdf.com/
JLaTeXMath
display mathematical formulas written in LaTeX
http://forge.scilab.org/index.php/p/jlatexmath/
JFreeChart
http://www.jfree.org/jfreechart/
33

93. Incanter - les secrets du magicien
iText
a library that allows you to create and manipulate PDF documents.
http://itextpdf.com/
JLaTeXMath
display mathematical formulas written in LaTeX
http://forge.scilab.org/index.php/p/jlatexmath/
JFreeChart
http://www.jfree.org/jfreechart/
33

94. Incanter - les secrets du magicien
34

95. Incanter - les secrets du magicien
JLine
a Java library for handling console input
http://jline.sourceforge.net/
34

96. Incanter - les écoles de magie
35

97. Incanter - les écoles de magie
http://dev.clojure.org/display/community/Clojure+User+Groups
Paris Clojure User Group
Incanter Google Group
Incanter & Clojure sur
Stackoverflow
35

98. 36

99. Merci
Bonnes incantations !
36