Présentation au ToulouseJUG sur les Moteurs de recherches Java

1. Igor Laborie Toulouse JUG 26 Avril 2012
vendredi 27 avril 12 1

2. $whoami
• Twitter: @ilaborie
vendredi 27 avril 12 2

3. Intro
vendredi 27 avril 12 3

4. vendredi 27 avril 12 4

5. vendredi 27 avril 12 4

6. vendredi 27 avril 12 5

7. SQL
vendredi 27 avril 12 6

8. Types de Recherche
vendredi 27 avril 12 7

9. vendredi 27 avril 12 8

10. vendredi 27 avril 12 9

11. vendredi 27 avril 12 10

12. vendredi 27 avril 12 11

13. vendredi 27 avril 12 12

14. vendredi 27 avril 12 13

15. vendredi 27 avril 12 14

16. vendredi 27 avril 12 15

17. Autres recherches
• Terme
• ‘Spelling’
• Thesaurus, Synonymes
• ‘More Like This’
vendredi 27 avril 12 16

18. Bilan
• C’est très rapide
• Tri par pertinence
• Meilleure UX
• Comment ferait-on avec du SQL ???
vendredi 27 avril 12 17

19. vendredi 27 avril 12 18

20. Historique
• Projet Apache depuis 2001
• Top Level Project depuis 2005
• http://lucene.apache.org/
vendredi 27 avril 12 19

21. Qu’est ce qu’on
indexe ?
• Documents: Multimap<field,value>
• Document texte, binaire, audio, vidéo, ...
avec Apache Tika
• Crawler des sites, avec Apache Nutch
vendredi 27 avril 12 20

22. Analyse de Texte
vendredi 27 avril 12 21

23. vendredi 27 avril 12 22

24. Texte orignal
vendredi 27 avril 12 22

25. Texte orignal
vendredi 27 avril 12 22

26. Texte orignal
Tokenisation
vendredi 27 avril 12 22

27. Texte orignal
Tokenisation
vendredi 27 avril 12 22

28. Texte orignal
Tokenisation
Minuscules
vendredi 27 avril 12 22

29. Texte orignal
Tokenisation
Minuscules
vendredi 27 avril 12 22

30. Texte orignal
Tokenisation
Minuscules
ASCII
vendredi 27 avril 12 22

31. Texte orignal
Tokenisation
Minuscules
ASCII
vendredi 27 avril 12 22

32. Texte orignal
Tokenisation
Minuscules
ASCII
Mots non significatifs
vendredi 27 avril 12 22

33. Texte orignal
Tokenisation
Minuscules
ASCII
Mots non significatifs
vendredi 27 avril 12 22

34. Texte orignal
Tokenisation
Minuscules
ASCII
Mots non significatifs
Elision
vendredi 27 avril 12 22

35. Texte orignal
Tokenisation
Minuscules
ASCII
Mots non significatifs
Elision
vendredi 27 avril 12 22

36. Texte orignal
Tokenisation
Minuscules
ASCII
Mots non significatifs
Elision
Stemmatisation
vendredi 27 avril 12 22

37. Texte orignal
Tokenisation
Minuscules
ASCII
Mots non significatifs
Elision
Stemmatisation
vendredi 27 avril 12 22

38. Indexation
vendredi 27 avril 12 23

39. vendredi 27 avril 12 24

40. Indexation
vendredi 27 avril 12 24

41. Maître Corbeau,
sur un arbre
perché,
Tenait en son
bec un fromage.
...
1
Indexation
vendredi 27 avril 12 24

42. Maître Corbeau,
sur un arbre
perché,
Tenait en son
bec un fromage.
...
1
Indexation
vendredi 27 avril 12 24

43. Maître Corbeau,
sur un arbre
perché,
Tenait en son
bec un fromage.
...
1
Indexation
Termes Documents
maitr 1
corbeau 1
arbre 1
perch 1
ten 1
...
vendredi 27 avril 12 24

44. Maître Corbeau,
sur un arbre Maître Corbeau
perché, et Le Renard,
Tenait en son une fable de
bec un fromage. Jean de la
... Fontaine, ...
1 2
Indexation
Termes Documents
maitr 1
corbeau 1
arbre 1
perch 1
ten 1
...
vendredi 27 avril 12 24

45. Maître Corbeau,
sur un arbre Maître Corbeau
perché, et Le Renard,
Tenait en son une fable de
bec un fromage. Jean de la
... Fontaine, ...
1 2
Indexation
Termes Documents
maitr 1
corbeau 1
arbre 1
perch 1
ten 1
...
vendredi 27 avril 12 24

46. Maître Corbeau,
sur un arbre Maître Corbeau
perché, et Le Renard,
Tenait en son une fable de
bec un fromage. Jean de la
... Fontaine, ...
1 2
Indexation
Termes Documents
maitr 1, 2
corbeau 1, 2
arbre 1
perch 1
ten 1
...
vendredi 27 avril 12 24

47. ‘Problèmes’ de Lucene
• Comment fait on avec une architecture
distribué ?
• Peut on utiliser Lucene avec un autre
langage ?
vendredi 27 avril 12 25

48. vendredi 27 avril 12 26

49. Historique
• Débute en 2004 chez CNET Networks
• Donné à Apache en 2006
• http://lucene.apache.org/solr/
vendredi 27 avril 12 27

50. Comment
• Utilise Lucene
• REST avec JSON et XML
• http://localhost:8080/solr/select?q=<query>
• http://localhost:8080/solr/update avec XML
en POST
vendredi 27 avril 12 28

51. Principes
• Configuration générale : solrconfig.xml
• Configuration des types et des champs:
schema.xml
• Configuration majoritairement statique
• Application Web classique
vendredi 27 avril 12 29

52. Clustering
• Partition de données «Sharding»
• Rôle des nœuds
• écriture
• lecture
• mixte
vendredi 27 avril 12 30

53. vendredi 27 avril 12 31

54. Historique
• Projet récent (2010)
• Créer par Shay Banon (@kimchy)
• http://www.elasticsearch.org/
vendredi 27 avril 12 32

55. Comment ?
• Utilise Lucene
• Tout est REST avec JSON
• Née pour le clustering
vendredi 27 avril 12 33

56. Dynamique
• Administration par REST
• Pas besoin de connaitre la structure des
documents.
• mais, pas toujours.
• Clustering trivial
vendredi 27 avril 12 34

57. Extra
• River
• Percolator
• Backup
• Super facetting (Graph)
vendredi 27 avril 12 35

58. Extra
• River
• Percolator
• Backup
• Super facetting (Graph)
vendredi 27 avril 12 35

59. vendredi 27 avril 12 36

60. vendredi 27 avril 12 37

61. vendredi 27 avril 12 38

62. vendredi 27 avril 12 39

63. Lucene ||
SolR || ElasticSearch ?
vendredi 27 avril 12 40

64. Conclusion
• Démystifier l’usage d’un moteur de
recherche
• Plein de fonctionnalités sympas
• Simple ?
vendredi 27 avril 12 41