A short introduction on Apache Solr : - what is the project - base features (document indexing, querying) - advanced features (faceting, highlighting...) (french presentation)

1. Présentation Apache Solr 12 Août 2011 Thibaud Vibes

4. Fonctionnalités coeur

6. Cas d'école (si on a le temps)

7. Présentation de Solr

9. Basé sur Lucene

11. Sans avoir à produire de code

12. Prise en charge de gros volumes

13. Sources multiples

14. Types de documents multiples

17. 2006 : Rejoins l'incubateur de l'ASF

19. Mars 2011 : Release de Solr 3.1 (numérotation identique à Lucene)

21. PyLucene

22. Lucy (portage de Lucene en C)

24. Elastic Search (Lucene) : Alternative à Solr – Mode SaaS (cloud, yeah!)

25. Hibernate Search (Lucene)

26. Apache Nutch (Lucene, Hadoop) : Moteur de recherche web (crawler) – Alternative à Solr

28. Disney

29. Eclipse IDE (Recherche dans la documentation basée sur Lucene)

30. Hi5 (réseau social)

31. MusicBrainz (encyclopédie sur la musique) – Traité dans « Solr 1.4 Enterprise Search Server »

34. Fonctionne dans un conteneur de Servlet 2.4 (ex : Tomcat) ou en mode Standalone (Jetty embarqué)

35. Exposition des services en HTTP (XML, JSON)

36. Indexation : JSON, XML, CSV, rich documents (PDF, MS Office, OpenDocument), base de données (via connecteurs)

37. Configuration via fichiers XML (pas d'UI)

38. Présentation du projet : Caractéristiques

39. Les fonctionnalités de Solr

41. Scoring des résultats

42. Faceting

43. Highlighting

44. Replication

45. Caching

46. Clustering des résultats de recherche (Basé sur Carrot²)

47. Recherche Geo-spatiale

48. Field Collapsing / Grouping : regroupement ou limitation des résultats

50. Gestion de la synonymie (via dictionnaire)

51. Correction orthographique (spell checking + suggestion)

52. Recherche par sons (DoubleMetaphone, Metaphone, RefinedSoundex, and Soundex)

53. => Multi-lingue

55. Format : XML/HTTP POST, balise <add />

56. Ne pas oublier le <commit /> à la fin ! (pas en autocommit par défaut)

58. Format : XML/HTTP POST, balise <add />

59. Ne pas oublier le <commit /> à la fin ! (pas en autocommit par défaut) Exemple :

61. url : /update

62. On ré ajoute le document (avec tous les champs!) Solr se base sur l'identifiant

64. Format : XML/HTTP POST, balise <delete />

65. Delete by id

66. Delete by query

67. <commit /> obligatoire

69. Format : XML/HTTP POST, balise <delete />

70. Delete by id

71. Delete by query

72. <commit /> obligatoire Exemples :

73. Fonctionnalités de base (cf wiki ONYME – Page Solr OU dossier /example/exampledocs/post.sh de l'archive apache-solr-*)

75. Format : HTTP GET (QueryString)

76. Forme : champ1:mot1 champ2:mot2 champs3:(mot1 mot2)

77. Opérateurs : AND, OR

78. Wildcard : *, ? (sur certain types de champs seulement)

79. Hautement paramétrable

81. Format : HTTP GET (QueryString)

82. Forme : champ1:mot1 champ2:mot2 champs3:(mot1 mot2)

83. Opérateurs : AND, OR

84. Wildcard : *, ? (sur certain types de champs seulement)

85. Hautement paramétrable Exemple : Rechercher « solr » dans les champs content et keyword_txt => content:solr keyword_txt:solr Limiter à 10 résultats => rows=10 N'afficher que les champs content , filename et le scoring => fl=content,filename,score

86. Fonctionnalités de base Recherche : Interface de tests (/solr/admin)

87. Fonctionnalités de base - Recherche Résultats :

89. Permet de figer la personnalisation

90. A configurer dans ${SOLR_HOME}/conf/solrconfig.xml

91. La personnalisation peut être surchargée lors de la requête

92. Offre une grande extensibilité à Solr

94. JsonUpdateRequestHandler

95. SearchHandler : traitement des requêtes de recherche

96. DataImportHandler : Connecteur pour base de données

97. … Doc : http://wiki.apache.org/solr/SolrRequestHandler

98. Fonctionnalités coeur - RequestHandler Exemple de paramétrage du SearchHandler : url : /select url : /showall

101. Définition des champs

102. Spécification de la clé primaire <uniqueKey />

103. Champ recherché par défaut

104. Opérateur par défaut (OR | AND)

108. name (Ex : &quot;text&quot;)

109. stored (true|false)

110. indexed (true|false)

111. multiValued (true|false)

113. type=&quot;query&quot;

114. doc : http://wiki.apache.org/solr/AnalyzersTokenizersTokenFilters

115. 3 Exemples :

118. + possibilité de surcharger les attributs définis dans le type : stored, indexed,multiValued,omitNorms, omitTermFreqAndPositions

123. Le markup html employé pour « entourer » le(s) mot(s) qui matche(nt)

124. La longueur de l'extrait

127. Le markup html employé pour « entourer » le(s) mot(s) qui matche(nt)

128. La longueur de l'extrait Paramétrage (solrconfig.xml)

129. Exemple de résultat <uniqueKey /> Nom du champ Markup HTML

132. indiquer si on veut afficher les champs pour lesquels il n'y a aucun résultats

133. Définir des facet intervalle : champ numériques (ex : « prix »), dates

136. indiquer si on veut afficher les champs pour lesquels il n'y a aucun résultats

137. Définir des facet intervalle : champ numériques (ex : « prix »), dates Paramétrage (solrconfig.xml)

138. Exemple de résultat Facet sur le chame typeDoc Facet intervalle :

140. Intervient dans le calcul du score

142. Intervient dans le calcul du score Exemple de paramétrage (solrconfig.xml)

143. … mais aussi beaucoup d'autres ! (caching, recherche distribuée, recherche geo-spatiale, ...) Fonctionnalités tunning

144. Questions? tvibes [at] onyme [dot] com http://twitter.com/thibaudvibes http://gplus.to/tvibes