1.
Elasticsearch : moteur de recherche
taillé pour le cloud
par David Pilato
@dadoonet et @elasticsearchfr
1

2.
{ “speaker” : “David Pilato” }
$ curl http://localhost:9200/devoxx/speaker/dpilato
{
"nom" : "David Pilato",
"jobs" : [
{ "boite" : "SRA Europe (SSII)", "mission" : "bon à tout faire", "duree" : 3 },
{ "boite" : "SFR", "mission" : "touche à tout", "duree" : 3 },
{ "boite" : "e-Brands / Vivendi", "mission" : "chef de projets", "duree" : 4 },
{ "boite" : "DGDDI (douane)", "mission" : "mouton à 5 pattes", "duree" : 7 } ],
"passions" : [ "famille", "job", "deejay" ],
"blog" : "http://dev.david.pilato.fr/",
"twitter" : [ "@dadoonet", "@elasticsearchfr" ],
"email" : "david@pilato.fr"
}
2

3.
Abstract
• Un moteur ? Pourquoi faire ?
• Elasticsearch : une solution simple, complète, performante
• Et si on indexait Twitter ?
Faites du bruit sur @DevoxxFR
avec le hashtag #elasticsearch !
3

4.
Un moteur ? Pour quoi faire ?
LE BESOIN
4

5.
Cas d'école « SQL old school »
Un document dans une base de données :
• Un attribut date : 19/04/2012
• Un attribut codifié pays : FR
• Correspondant à la table d’association code/libellé
• Code : FR
• Libellé : France
• Un attribut commentaire : "J’observe une erreur de saisie dans la
désignation commerciale du produit. Songer à téléphoner à David."
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
5

6.
Cas d'école « SQL old school »
Un document dans une base de données : doc pays
• Un attribut date : 19/04/2012 date code
• Un attribut codifié pays : FR pays libelle
• Correspondant à la table d’association code/libellé commentaire
• Code : FR
• Libellé : France
• Un attribut commentaire : "J’observe une erreur de saisie dans la
désignation commerciale du produit. Songer à téléphoner à David."
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
5

7.
Cas d'école « SQL old school »
• Cherche moi un document de décembre 2011 portant sur la
france et contenant saisie et david
• En SQL :
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
6

8.
Cas d'école « SQL old school »
• Cherche moi un document de décembre 2011 portant sur la
france et contenant saisie et david
• En SQL :
SELECT
doc.*, pays.*
FROM
doc, pays
WHERE
doc.pays_code = pays.code AND
doc.date_doc > to_date('2011-12', 'yyyy-mm') AND
doc.date_doc < to_date('2012-01', 'yyyy-mm') AND
lower(pays.libelle) = 'france' AND
lower(doc.commentaire) LIKE ‘%saisie%' AND
lower(doc.commentaire) LIKE ‘%david%';
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
6

9.
Performances du like ‘%’
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
7

10.
Performances du like ‘%’
Voir aussi : http://www.cestpasdur.com/2012/04/01/elasticsearch-vs-mysql-recherche
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
7

11.
C'est quoi un moteur ?
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
8

12.
C'est quoi un moteur ?
• Un moteur de recherche est composé de :
• un moteur d’indexation de documents
• un moteur de recherche sur les index
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
8

13.
C'est quoi un moteur ?
• Un moteur de recherche est composé de :
• un moteur d’indexation de documents
• un moteur de recherche sur les index
• De fait, un moteur de recherche est énormément plus rapide qu’une
base de données pour faire des recherches :
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
8

14.
C'est quoi un moteur ?
• Un moteur de recherche est composé de :
• un moteur d’indexation de documents
• un moteur de recherche sur les index
• De fait, un moteur de recherche est énormément plus rapide qu’une
base de données pour faire des recherches :
c’est son métier !
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
8

15.
ELASTICSEARCH
9

16.
Your Data, your Search !
ELASTICSEARCH
9

17.
Elasticsearch
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
10

18.
Elasticsearch
• Moteur de recherche pour la génération NoSQL
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
10

19.
Elasticsearch
• Moteur de recherche pour la génération NoSQL
• Basé sur le standard Apache Lucene
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
10

20.
Elasticsearch
• Moteur de recherche pour la génération NoSQL
• Basé sur le standard Apache Lucene
• Masque la complexité Java/Lucene à l’aide de services standards HTTP /
RESTful / JSON
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
10

21.
Elasticsearch
• Moteur de recherche pour la génération NoSQL
• Basé sur le standard Apache Lucene
• Masque la complexité Java/Lucene à l’aide de services standards HTTP /
RESTful / JSON
• Utilisable à partir de n’importe quelle technologie
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
10

22.
Elasticsearch
• Moteur de recherche pour la génération NoSQL
• Basé sur le standard Apache Lucene
• Masque la complexité Java/Lucene à l’aide de services standards HTTP /
RESTful / JSON
• Utilisable à partir de n’importe quelle technologie
• Ajoute la couche cloud manquante à Lucene
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
10

23.
Elasticsearch
• Moteur de recherche pour la génération NoSQL
• Basé sur le standard Apache Lucene
• Masque la complexité Java/Lucene à l’aide de services standards HTTP /
RESTful / JSON
• Utilisable à partir de n’importe quelle technologie
• Ajoute la couche cloud manquante à Lucene
• C’est un moteur, pas une interface graphique !
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
10

24.
Points clés
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
11

25.
Points clés
• Simple ! En quelques minutes (Zero Conf), on dispose d’un moteur
complet prêt à recevoir nos documents à indexer et à faire des recherches.
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
11

26.
Points clés
• Simple ! En quelques minutes (Zero Conf), on dispose d’un moteur
complet prêt à recevoir nos documents à indexer et à faire des recherches.
• Efficace ! Il suffit de démarrer des nœuds Elasticsearch pour bénéficier
immédiatement de la réplication, de l’équilibrage de charge.
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
11

27.
Points clés
• Simple ! En quelques minutes (Zero Conf), on dispose d’un moteur
complet prêt à recevoir nos documents à indexer et à faire des recherches.
• Efficace ! Il suffit de démarrer des nœuds Elasticsearch pour bénéficier
immédiatement de la réplication, de l’équilibrage de charge.
• Puissant ! Basé sur Lucene, il en parallélise les traitements pour donner
des temps de réponse acceptables (en général inférieurs à 100ms)
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
11

28.
Points clés
• Simple ! En quelques minutes (Zero Conf), on dispose d’un moteur
complet prêt à recevoir nos documents à indexer et à faire des recherches.
• Efficace ! Il suffit de démarrer des nœuds Elasticsearch pour bénéficier
immédiatement de la réplication, de l’équilibrage de charge.
• Puissant ! Basé sur Lucene, il en parallélise les traitements pour donner
des temps de réponse acceptables (en général inférieurs à 100ms)
• Complet ! Beaucoup de fonctionnalités : analyse et facettes, percolation,
rivières, plugins, …
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
11

29.
Ranger ses données
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
12

30.
Ranger ses données
• Document : Un objet représentant les données (au sens NoSQL).
Penser "recherche", c'est oublier le SGBDR et penser "Documents"
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
12

31.
Ranger ses données
• Document : Un objet représentant les données (au sens NoSQL).
Penser "recherche", c'est oublier le SGBDR et penser "Documents"
{
"text": "Bienvenue à la conférence #elasticsearch pour #devoxxfr",
"created_at": "2012-04-06T20:45:36.000Z",
"source": "Twitter for iPad",
"truncated": false,
Un tweet
"retweet_count": 0,
"hashtag": [ { "text": "elasticsearch", "start": 27, "end": 40 },
{ "text": "devoxxfr", "start": 47, "end": 55 } ],
"user": { "id": 51172224, "name": "David Pilato",
"screen_name": "dadoonet", "location": "France",
"description": "Soft Architect, Project Manager, Senior Developper.rnAt this time, enjoying NoSQL
world : CouchDB, ElasticSearch.rnDeeJay 4 times a year, just for fun !" }
}
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
12

32.
Ranger ses données
• Document : Un objet représentant les données (au sens NoSQL).
Penser "recherche", c'est oublier le SGBDR et penser "Documents"
{
"text": "Bienvenue à la conférence #elasticsearch pour #devoxxfr",
"created_at": "2012-04-06T20:45:36.000Z",
"source": "Twitter for iPad",
"truncated": false,
Un tweet
"retweet_count": 0,
"hashtag": [ { "text": "elasticsearch", "start": 27, "end": 40 },
{ "text": "devoxxfr", "start": 47, "end": 55 } ],
"user": { "id": 51172224, "name": "David Pilato",
"screen_name": "dadoonet", "location": "France",
"description": "Soft Architect, Project Manager, Senior Developper.rnAt this time, enjoying NoSQL
world : CouchDB, ElasticSearch.rnDeeJay 4 times a year, just for fun !" }
}
• Type : Regroupe des documents de même type
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
12

33.
Ranger ses données
• Document : Un objet représentant les données (au sens NoSQL).
Penser "recherche", c'est oublier le SGBDR et penser "Documents"
{
"text": "Bienvenue à la conférence #elasticsearch pour #devoxxfr",
"created_at": "2012-04-06T20:45:36.000Z",
"source": "Twitter for iPad",
"truncated": false,
Un tweet
"retweet_count": 0,
"hashtag": [ { "text": "elasticsearch", "start": 27, "end": 40 },
{ "text": "devoxxfr", "start": 47, "end": 55 } ],
"user": { "id": 51172224, "name": "David Pilato",
"screen_name": "dadoonet", "location": "France",
"description": "Soft Architect, Project Manager, Senior Developper.rnAt this time, enjoying NoSQL
world : CouchDB, ElasticSearch.rnDeeJay 4 times a year, just for fun !" }
}
• Type : Regroupe des documents de même type
• Index : Espace logique de stockage des documents dont les types sont
fonctionnellement communs
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
12

34.
Interagir avec Elasticsearch
API REST : http://host:port/[index]/[type]/[_action/id]
Méthodes HTTP : GET, POST, PUT, DELETE
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
13

35.
Interagir avec Elasticsearch
API REST : http://host:port/[index]/[type]/[_action/id]
Méthodes HTTP : GET, POST, PUT, DELETE
Documents
• curl -XPUT http://localhost:9200/twitter/tweet/1
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
13

36.
Interagir avec Elasticsearch
API REST : http://host:port/[index]/[type]/[_action/id]
Méthodes HTTP : GET, POST, PUT, DELETE
Documents
• curl -XPUT http://localhost:9200/twitter/tweet/1
• curl -XGET http://localhost:9200/twitter/tweet/1
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
13

37.
Interagir avec Elasticsearch
API REST : http://host:port/[index]/[type]/[_action/id]
Méthodes HTTP : GET, POST, PUT, DELETE
Documents
• curl -XPUT http://localhost:9200/twitter/tweet/1
• curl -XGET http://localhost:9200/twitter/tweet/1
• curl -XDELETE http://localhost:9200/twitter/tweet/1
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
13

38.
Interagir avec Elasticsearch
API REST : http://host:port/[index]/[type]/[_action/id]
Méthodes HTTP : GET, POST, PUT, DELETE
Documents
• curl -XPUT http://localhost:9200/twitter/tweet/1
• curl -XGET http://localhost:9200/twitter/tweet/1
• curl -XDELETE http://localhost:9200/twitter/tweet/1
Recherche
• curl -XGET http://localhost:9200/twitter/tweet/_search
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
13

39.
Interagir avec Elasticsearch
API REST : http://host:port/[index]/[type]/[_action/id]
Méthodes HTTP : GET, POST, PUT, DELETE
Documents
• curl -XPUT http://localhost:9200/twitter/tweet/1
• curl -XGET http://localhost:9200/twitter/tweet/1
• curl -XDELETE http://localhost:9200/twitter/tweet/1
Recherche
• curl -XGET http://localhost:9200/twitter/tweet/_search
• curl -XGET http://localhost:9200/twitter/_search
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
13

40.
Interagir avec Elasticsearch
API REST : http://host:port/[index]/[type]/[_action/id]
Méthodes HTTP : GET, POST, PUT, DELETE
Documents
• curl -XPUT http://localhost:9200/twitter/tweet/1
• curl -XGET http://localhost:9200/twitter/tweet/1
• curl -XDELETE http://localhost:9200/twitter/tweet/1
Recherche
• curl -XGET http://localhost:9200/twitter/tweet/_search
• curl -XGET http://localhost:9200/twitter/_search
• curl -XGET http://localhost:9200/_search
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
13

41.
Interagir avec Elasticsearch
API REST : http://host:port/[index]/[type]/[_action/id]
Méthodes HTTP : GET, POST, PUT, DELETE
Documents
• curl -XPUT http://localhost:9200/twitter/tweet/1
• curl -XGET http://localhost:9200/twitter/tweet/1
• curl -XDELETE http://localhost:9200/twitter/tweet/1
Recherche
• curl -XGET http://localhost:9200/twitter/tweet/_search
• curl -XGET http://localhost:9200/twitter/_search
• curl -XGET http://localhost:9200/_search
Meta données Elasticsearch
• curl -XGET http://localhost:9200/twitter/_status
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
13

42.
Indexons un document
$ curl -XPUT localhost:9200/twitter/tweet/1 -d '
{
"text": "Bienvenue à la conférence #elasticsearch pour #devoxxfr",
"created_at": "2012-04-06T20:45:36.000Z",
"source": "Twitter for iPad",
"truncated": false,
"retweet_count": 0,
"hashtag": [ { "text": "elasticsearch", "start": 27, "end": 40 },
{ "text": "devoxxfr", "start": 47, "end": 55 } ],
"user": { "id": 51172224, "name": "David Pilato",
"screen_name": "dadoonet", "location": "France",
"description": "Soft Architect, Project Manager, Senior Developper.rnAt this time, enjoying
NoSQL world : CouchDB, ElasticSearch.rnDeeJay 4 times a year, just for fun !" }
}'
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
14

43.
Indexons un document
$ curl -XPUT localhost:9200/twitter/tweet/1 -d '
{
"text": "Bienvenue à la conférence #elasticsearch pour #devoxxfr",
"created_at": "2012-04-06T20:45:36.000Z",
"source": "Twitter for iPad",
"truncated": false,
"retweet_count": 0,
"hashtag": [ { "text": "elasticsearch", "start": 27, "end": 40 },
{ "text": "devoxxfr", "start": 47, "end": 55 } ],
"user": { "id": 51172224, "name": "David Pilato",
"screen_name": "dadoonet", "location": "France",
"description": "Soft Architect, Project Manager, Senior Developper.rnAt this time, enjoying
NoSQL world : CouchDB, ElasticSearch.rnDeeJay 4 times a year, just for fun !" }
}'
{
"ok":true,
"_index":"twitter",
"_type":"tweet",
"_id":"1"
}
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
14

44.
Cherchons un document
$ curl localhost:9200/twitter/tweet/_search?q=elasticsearch
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
15

45.
Cherchons un document
$ curl localhost:9200/twitter/tweet/_search?q=elasticsearch
{
"took" : 24,
"timed_out" : false,
"_shards" : { "total" : 5, "successful" : 5, "failed" : 0 },
"hits" : {
"total" : 1,
"max_score" : 0.227,
"hits" : [ {
"_index" : "twitter",
"_type" : "tweet",
"_id" : "1",
"_score" : 0.227, "_source" : {
"text": "Bienvenue à la conférence #elasticsearch pour #devoxxfr",
"created_at": "2012-04-06T20:45:36.000Z",
"source": "Twitter for iPad",
[…]
}
} ]
}
}
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
15

46.
Cherchons un document
$ curl localhost:9200/twitter/tweet/_search?q=elasticsearch
{
"took" : 24,
"timed_out" : false,
Nb de
documents
"_shards" : { "total" : 5, "successful" : 5, "failed" : 0 },
"hits" : {
"total" : 1,
"max_score" : 0.227,
"hits" : [ {
"_index" : "twitter",
"_type" : "tweet",
"_id" : "1",
"_score" : 0.227, "_source" : {
"text": "Bienvenue à la conférence #elasticsearch pour #devoxxfr",
"created_at": "2012-04-06T20:45:36.000Z",
"source": "Twitter for iPad",
[…]
}
} ]
}
}
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
15

47.
Cherchons un document
$ curl localhost:9200/twitter/tweet/_search?q=elasticsearch
{
"took" : 24,
"timed_out" : false,
"_shards" : { "total" : 5, "successful" : 5, "failed" : 0 },
"hits" : {
"total" : 1,
"max_score" : 0.227,
"hits" : [ { Coordonnées
"_index" : "twitter",
"_type" : "tweet",
"_id" : "1",
"_score" : 0.227, "_source" : {
"text": "Bienvenue à la conférence #elasticsearch pour #devoxxfr",
"created_at": "2012-04-06T20:45:36.000Z",
"source": "Twitter for iPad",
[…]
}
} ]
}
}
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
15

48.
Cherchons un document
$ curl localhost:9200/twitter/tweet/_search?q=elasticsearch
{
"took" : 24,
"timed_out" : false,
"_shards" : { "total" : 5, "successful" : 5, "failed" : 0 },
"hits" : {
"total" : 1,
"max_score" : 0.227,
"hits" : [ {
"_index" : "twitter",
"_type" : "tweet",
"_id" : "1",
"_score" : 0.227, "_source" : {
"text": "Bienvenue à la conférence #elasticsearch pour #devoxxfr",
"created_at": "2012-04-06T20:45:36.000Z",
"source": "Twitter for iPad",
[…]
Pertinence
}
} ]
}
}
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
15

49.
Cherchons un document
$ curl localhost:9200/twitter/tweet/_search?q=elasticsearch
{
"took" : 24,
"timed_out" : false,
Document
"_shards" : { "total" : 5, "successful" : 5, "failed" : 0 },
"hits" : {
source
"total" : 1,
"max_score" : 0.227,
"hits" : [ {
"_index" : "twitter",
"_type" : "tweet",
"_id" : "1",
"_score" : 0.227, "_source" : {
"text": "Bienvenue à la conférence #elasticsearch pour #devoxxfr",
"created_at": "2012-04-06T20:45:36.000Z",
"source": "Twitter for iPad",
[…]
}
} ]
}
}
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
15

50.
Les résultats de recherche
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
16

51.
Les résultats de recherche
• Elasticsearch ne renvoie que les 10 premiers résultats (même sur
plusieurs millions)
• Elasticsearch permet ensuite de se "balader" dans les résultats
$ curl "localhost:9200/twitter/tweet/_search?q=elasticsearch&from=10&size=10"
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
16

52.
Les résultats de recherche
• Elasticsearch ne renvoie que les 10 premiers résultats (même sur
plusieurs millions)
• Elasticsearch permet ensuite de se "balader" dans les résultats
$ curl "localhost:9200/twitter/tweet/_search?q=elasticsearch&from=10&size=10"
• La pertinence est calculée suivant le nombre d'occurrences plus ou
moins exactes de chaque terme dans un document
$ curl "localhost:9200/twitter/tweet/_search?q=elasticsearch&explain=true"
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
16

53.
Quelques types de recherche
Langage QueryDSL pour les recherches avancées
Type Description
Recherche tout le contenu (pratique avec des filtres)
Recherche avec analyse, jokers (syntaxe Lucene possible* +, -, FROM, TO, ^)
Recherche d'un terme sans analyse préalable
Recherche d'un texte avec analyse (par défaut OR sur chaque token)
Recherche avec joker (*, ?)
Recherche multi-critères (MUST, MUST NOT, SHOULD)
Recherche intervalle (>, >=, <, <=)
Utile pour faire de l'autocomplétion
Filtrage (couplage de filtres et de queries)
Permet des recherches par vraisemblance de termes
Permet de trouver des documents avec un minimum de termes
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
17

54.
Quelques types de recherche
Langage QueryDSL pour les recherches avancées
Type Description
Match All Recherche tout le contenu (pratique avec des filtres)
QueryString Recherche avec analyse, jokers (syntaxe Lucene possible* +, -, FROM, TO, ^)
Term Recherche d'un terme sans analyse préalable
Text Recherche d'un texte avec analyse (par défaut OR sur chaque token)
Wildcard Recherche avec joker (*, ?)
Bool Recherche multi-critères (MUST, MUST NOT, SHOULD)
Range Recherche intervalle (>, >=, <, <=)
Prefix Utile pour faire de l'autocomplétion
Filtered Filtrage (couplage de filtres et de queries)
Fuzzy like this Permet des recherches par vraisemblance de termes
More like this Permet de trouver des documents avec un minimum de termes
* http://lucene.apache.org/core/old_versioned_docs/versions/3_5_0/queryparsersyntax.html
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
17

55.
LA COLLECTE AUTOMATIQUE DE DONNÉES
18

56.
Ou "La vie est un long fleuve tranquille !"
LA COLLECTE AUTOMATIQUE DE DONNÉES
18

57.
La collecte
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
19

58.
La collecte
Stockage
Données
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
19

59.
La collecte
Doc
Stockage
Données
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
19

60.
La collecte
Stockage
Données
Doc
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
20

61.
La collecte
Doc
Stockage
Données
Doc
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
20

62.
La collecte
Stockage
Données
Doc Doc
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
21

63.
La collecte
Stockage
Données
Doc Doc
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
21

64.
La collecte
Stockage
Données
Doc Doc
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
21

65.
La collecte
Stockage
Données
Doc
Doc
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
22

66.
La collecte
Doc
Stockage
Données
Doc
Doc
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
22

67.
La collecte
Stockage
Données
Doc
Doc
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
23

68.
La collecte
Stockage
Données
Doc
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
24

69.
Rivers
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
25

70.
Rivers
• CouchDB River
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
25

71.
Rivers
• CouchDB River
• MongoDB River
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
25

72.
Rivers
• CouchDB River
• MongoDB River
• Wikipedia River
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
25

73.
Rivers
• CouchDB River
• MongoDB River
• Wikipedia River
• Twitter River
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
25

74.
Rivers
• CouchDB River
• MongoDB River
• Wikipedia River
• Twitter River
• RabbitMQ River
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
25

75.
Rivers
• CouchDB River
• MongoDB River
• Wikipedia River
• Twitter River
• RabbitMQ River
• RSS River
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
25

76.
Rivers
• CouchDB River
• MongoDB River
• Wikipedia River
• Twitter River
• RabbitMQ River
• RSS River
• Dick Rivers
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
25

77.
La puissance des facettes ! Faites parler vos données en les regardant sous différentes facettes !
ANALYSE DES RÉSULTATS (EN TEMPS QUASI RÉEL)
26

78.
Les facettes
ID Username Date Hashtags
1 dadoonet 2012-04-18 1
2 devoxxfr 2012-04-18 5
Des tweets
3 elasticsearchfr 2012-04-18 2
4 dadoonet 2012-04-18 2
5 devoxxfr 2012-04-18 6
6 elasticsearchfr 2012-04-19 3
7 dadoonet 2012-04-19 3
8 devoxxfr 2012-04-19 7
9 elasticsearchfr 2012-04-20 4
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
27

79.
Facette "Term"
Username Date Hashtags
dadoonet 2012-04-18 1
devoxxfr 2012-04-18 5
elasticsearchfr 2012-04-18 2
dadoonet 2012-04-18 2
devoxxfr 2012-04-18 6
elasticsearchfr 2012-04-19 3
dadoonet 2012-04-19 3
devoxxfr 2012-04-19 7
elasticsearchfr 2012-04-20 4
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
28

80.
Facette "Term"
Username Date Hashtags
dadoonet 2012-04-18 1
devoxxfr 2012-04-18 5
elasticsearchfr 2012-04-18 Username
2 Count
dadoonet 2012-04-18 dadoonet
2 3
devoxxfr 2012-04-18 devoxxfr6 3
elasticsearchfr 2012-04-19 elasticsearchfr
3 3
dadoonet 2012-04-19 3
devoxxfr 2012-04-19 7
elasticsearchfr 2012-04-20 4
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
28

81.
Facette "Term"
"facets" : {
"users" : { "terms" : {"field" : "username"} }
}
ID Username Date Hashtags
1 dadoonet 2012-04-18 1
2 devoxxfr 2012-04-18 5
3 elasticsearchfr 2012-04-18 2
4 dadoonet 2012-04-18 2
5 devoxxfr 2012-04-18 6
6 elasticsearchfr 2012-04-19 3
7 dadoonet 2012-04-19 3
8 devoxxfr 2012-04-19 7
9 elasticsearchfr 2012-04-20 4
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
29

82.
Facette "Term"
"facets" : {
"users" : { "terms" : {"field" : "username"} }
}
ID Username Date
"facets" : { Hashtags
1 dadoonet 2012-04-18 : {
"users" 1
2 devoxxfr 2012-04-18 : "terms",
"_type" 5
"missing" : 0,
3 elasticsearchfr 2012-04-18 2
"total": 9,
4 dadoonet 2012-04-18
"other": 0, 2
5 devoxxfr 2012-04-18 : [
"terms" 6
6 elasticsearchfr { "term" : "dadoonet", "count" : 3 },
2012-04-19 3
{ "term" : "devoxxfr", "count" : 3 },
7 dadoonet 2012-04-19 3
{ "term" : "elasticsearchfr", "count" : 3 }
8 devoxxfr 2012-04-19
] 7
9 elasticsearchfr }
2012-04-20 4
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
29

83.
Facette "Date Histogram"
ame Date Hashtags
onet 2012-04-18 1
xxfr 2012-04-18 5
archfr 2012-04-18 2
onet 2012-04-18 2
xxfr 2012-04-18 6
archfr 2012-04-19 3
onet 2012-04-19 3
xxfr 2012-04-19 7
archfr 2012-04-20 4
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
30

84.
Facette "Date Histogram"
ame Date Hashtags
onet 2012-04-18 1
Par mois
Date Count
xxfr 2012-04-18 5
2012-04 9
archfr 2012-04-18 2
onet 2012-04-18 2 Par jour
xxfr 2012-04-18 6 Date Count
archfr 2012-04-19 3 2012-04-18 5
onet 2012-04-19 3 2012-04-19 3
xxfr 2012-04-19 7 2012-04-20 1
archfr 2012-04-20 4
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
30

85.
Facette "Date Histogram"
"facets" : {
"perday" : {
"date_histogram" : {
"field" : "date",
ame Date "interval" : "day"
Hashtags
}
onet 2012-04-18 }1
xxfr 2012-04-18 } 5
archfr 2012-04-18 2
onet 2012-04-18 2
xxfr 2012-04-18 6
archfr 2012-04-19 3
onet 2012-04-19 3
xxfr 2012-04-19 7
archfr 2012-04-20 4
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
31

86.
Facette "Date Histogram"
"facets" : {
"perday" : {
"date_histogram" : {
"field" : "date",
ame Date "interval" : "day"
Hashtags
}
onet 2012-04-18 }1
xxfr 2012-04-18 } 5
archfr 2012-04-18 2
"facets" : {
onet 2012-04-18 2
"perday" : {
xxfr 2012-04-18 "_type" : "date_histogram",
6
"entries": [
archfr 2012-04-19 3
{ "time": 1334700000000, "count": 5 },
onet 2012-04-19 3 { "time": 1334786400000, "count": 3 },
xxfr 2012-04-19 7 { "time": 1334872800000, "count": 1 }
]
archfr 2012-04-20 } 4
}
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
31

87.
Facette "Ranges"
Hashtags
8 1
8 5
8 2
8 2
8 6
9 3
9 3
9 7
0 4
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
32

88.
Facette "Ranges"
Hashtags
8 1
8 5
Ranges Count Min Max Moy Total
8 2
x<3 3 1 2 1.667 5
8 2
3 <= x < 5 3 3 4 3.333 10
8 6
x >= 5 3 5 7 6 18
9 3
9 3
9 7
0 4
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
32

89.
Facette "Ranges"
"facets" : { "hashtags" : {
"range" : { "field" : "hashtags",
"ranges" : [
{ "to" : 3 }, { "from" : 3, "to" : 5 }, { "from" : 5 }
Hashtags ] } } }
8 1
8 5
8 2
8 2
8 6
9 3
9 3
9 7
0 4
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
33

90.
Facette "Ranges"
"facets" : { "hashtags" : {
"range" : { "field" : "hashtags",
"ranges" : [
{ "to" : 3 }, { "from" : 3, "to" : 5 }, { "from" : 5 }
Hashtags ] } } }
8 1 "facets" : {
8 5 "hashtags" : {
"_type" : "range",
8 2 "ranges" : [
8 2 { "to": 3,
8 6 "count": 3, "min": 1, "max": 2, "total": 5, "mean": 1.667
},
9 3 { "from":3, "to" : 5,
9 3 "count": 3, "min": 3, "max": 4, "total": 10, "mean": 3.333
},
9 7 { "from":5,
0 4 "count": 3, "min": 5, "max": 7, "total": 18, "mean": 6
} ] } }
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
33

91.
Usage "site marchand"
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
34

92.
Usage "site marchand"
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
34

93.
Usage "site marchand"
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
34

94.
Usage "site marchand"
Ranges
Term
Term
Ranges
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
34

95.
La navigation par facettes
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
35

96.
La navigation par facettes
Critère fixe
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
35

97.
La navigation par facettes
Critère fixe
Résultats
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
35

98.
La navigation par facettes
Critère fixe
Term
Résultats
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
35

99.
La navigation par facettes
Critère fixe
Term
Date histogram
Résultats
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
35

100.
La navigation par facettes
Critère fixe
Term
Ranges Date histogram
Résultats
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
35

101.
La navigation par facettes
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
36

102.
La navigation par facettes
Critères
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
36

103.
Analyse temps-réel des données
• Faire un matchAll sur l'ensemble des données
• Actualiser toutes les x secondes
• Indexer en même temps les nouvelles données
Date histogram
Term
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
37

104.
Avons-nous fait du bruit ?
DÉMONSTRATION
38

105.
Démonstration : architecture
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
39

106.
Démonstration : architecture
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
39

107.
Démonstration : architecture
Twitter
Streaming
API
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
39

108.
Démonstration : architecture
Twitter
Streaming
API
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
39

109.
Démonstration : architecture
Twitter
Streaming
API
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
39

110.
Démonstration : architecture
Twitter
Twitter Streaming
River API
$ curl -XPUT localhost:9200/_river/twitter/_meta -d '
{
"type" : "twitter",
"twitter" : {
"user" : "twitter_user",
"password" : "twitter_passowrd",
"filter" : { "tracks" : ["devoxxfr"] }
}
}'
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
39

111.
Démonstration : architecture
Chrome
Twitter
Twitter Streaming
River API
$ curl -XPUT localhost:9200/_river/twitter/_meta -d '
{
"type" : "twitter",
"twitter" : {
"user" : "twitter_user",
"password" : "twitter_passowrd",
"filter" : { "tracks" : ["devoxxfr"] }
}
}'
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
39

112.
Un peu plus de technique : partitions / réplications / scalabilité
ARCHITECTURE
40

113.
Lexique
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
41

114.
Lexique
• Nœud (node) : Une instance d'Elasticsearch (~ machine ?)
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
41

115.
Lexique
• Nœud (node) : Une instance d'Elasticsearch (~ machine ?)
• Cluster : Un ensemble de nœuds
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
41

116.
Lexique
• Nœud (node) : Une instance d'Elasticsearch (~ machine ?)
• Cluster : Un ensemble de nœuds
• Partition (shard) : permet de découper un index en plusieurs parties pour y
distribuer les documents
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
41

117.
Lexique
• Nœud (node) : Une instance d'Elasticsearch (~ machine ?)
• Cluster : Un ensemble de nœuds
• Partition (shard) : permet de découper un index en plusieurs parties pour y
distribuer les documents
• Réplication (replica) : recopie d’une partition en une ou plusieurs copies dans
l'ensemble du cluster
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
41

118.
Lexique
• Nœud (node) : Une instance d'Elasticsearch (~ machine ?)
• Cluster : Un ensemble de nœuds
• Partition (shard) : permet de découper un index en plusieurs parties pour y
distribuer les documents
• Réplication (replica) : recopie d’une partition en une ou plusieurs copies dans
l'ensemble du cluster
• Partition primaire (primary shard) : partition élue "principale" dans
l'ensemble du cluster. C'est là que se fait l'indexation par Lucene. Il n'y en a qu'une
seule par shard dans l'ensemble du cluster.
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
41

119.
Lexique
• Nœud (node) : Une instance d'Elasticsearch (~ machine ?)
• Cluster : Un ensemble de nœuds
• Partition (shard) : permet de découper un index en plusieurs parties pour y
distribuer les documents
• Réplication (replica) : recopie d’une partition en une ou plusieurs copies dans
l'ensemble du cluster
• Partition primaire (primary shard) : partition élue "principale" dans
l'ensemble du cluster. C'est là que se fait l'indexation par Lucene. Il n'y en a qu'une
seule par shard dans l'ensemble du cluster.
• Partition secondaire (secondary shard) : partitions secondaires stockant les
replicas des partitions primaires.
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
41

120.
Créons un index
Cluster
Nœud 1
Client
CURL
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
42

121.
Créons un index
$ curl -XPUT localhost:9200/twitter -d '{ Cluster
"index" : {
"number_of_shards" : 2,
Nœud 1
"number_of_replicas" : 1 Shard 0
}
}' Shard 1
réplication non respectée
Client
CURL
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
42

122.
Créons un index
$ curl -XPUT localhost:9200/twitter -d '{ Cluster
"index" : {
"number_of_shards" : 2, Nœud 1 Nœud 2
"number_of_replicas" : 1 Shard 0 Shard 0
}
}' Shard 1 Shard 1
réplication respectée
Client
CURL
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
42

123.
Réallocation dynamique
Cluster
Nœud 1 Nœud 2
Shard 0 Shard 0
Shard 1 Shard 1
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
43

124.
Réallocation dynamique
Cluster
Nœud 1 Nœud 2 Nœud 3
Shard 0 Shard 0
Shard 1 Shard 1
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
43

125.
Réallocation dynamique
Cluster
Nœud 1 Nœud 2 Nœud 3
Shard 0 Shard 0 Shard 0
Shard 1 Shard 1
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
44

126.
Réallocation dynamique
Cluster
Nœud 1 Nœud 2 Nœud 3
Shard 0 Shard 0
Shard 1 Shard 1
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
44

127.
Réallocation dynamique
Cluster
Nœud 1 Nœud 2 Nœud 3 Nœud 4
Shard 0 Shard 0
Shard 1 Shard 1
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
44

128.
Réallocation dynamique
Cluster
Nœud 1 Nœud 2 Nœud 3 Nœud 4
Shard 0 Shard 0
Shard 1 Shard 1 Shard 1
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
45

129.
Réallocation dynamique
Cluster
Nœud 1 Nœud 2 Nœud 3 Nœud 4
Shard 0 Shard 0
Shard 1 Shard 1
Le tuning, c'est trouver le bon équilibre entre le nombre
de nodes, shards et replicas !
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
45

130.
Indexons un document
Cluster
Nœud 1 Nœud 2 Nœud 3 Nœud 4
Shard 0 Shard 0
Shard 1 Shard 1
Doc
1 Client $ curl -XPUT localhost:9200/twitter/tweet/1 -d '
CURL {
"text": "Bienvenue à la conférence #elasticsearch pour #devoxxfr",
"created_at": "2012-04-06T20:45:36.000Z",
"source": "Twitter for iPad",
...
}'
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
46

131.
Indexons un document
Cluster
Nœud 1 Nœud 2 Nœud 3 Nœud 4
Doc
Shard 0 1 Shard 0
Shard 1 Shard 1
Client
$ curl -XPUT localhost:9200/twitter/tweet/1 -d '
CURL {
"text": "Bienvenue à la conférence #elasticsearch pour #devoxxfr",
"created_at": "2012-04-06T20:45:36.000Z",
"source": "Twitter for iPad",
...
}'
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
47

132.
Indexons un document
Cluster
Nœud 1 Nœud 2 Nœud 3 Nœud 4
Doc
Shard 0 1 Shard 0
Shard 1 Shard 1
Client
$ curl -XPUT localhost:9200/twitter/tweet/1 -d '
CURL {
"text": "Bienvenue à la conférence #elasticsearch pour #devoxxfr",
"created_at": "2012-04-06T20:45:36.000Z",
"source": "Twitter for iPad",
...
}'
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
47

133.
Indexons un document
Cluster
Nœud 1 Nœud 2 Nœud 3 Nœud 4
Doc Doc
Shard 0 1 Shard 0 1
Shard 1 Shard 1
Client
$ curl -XPUT localhost:9200/twitter/tweet/1 -d '
CURL {
"text": "Bienvenue à la conférence #elasticsearch pour #devoxxfr",
"created_at": "2012-04-06T20:45:36.000Z",
"source": "Twitter for iPad",
...
}'
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
48

134.
Indexons un 2ème document
Cluster
Nœud 1 Nœud 2 Nœud 3 Nœud 4
Doc Doc
Shard 0 1 Shard 0 1
Shard 1 Shard 1
Doc
2
Client
$ curl -XPUT localhost:9200/twitter/tweet/2 -d '
CURL {
"text": "Je fais du bruit pour #elasticsearch à #devoxxfr",
"created_at": "2012-04-06T21:12:52.000Z",
"source": "Twitter for iPad",
...
}'
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
49

135.
Indexons un 2ème document
Cluster
Nœud 1 Nœud 2 Nœud 3 Nœud 4
Doc Doc
Shard 0 1 Shard 0 1
Shard 1 Shard 1
Doc
2
Client
$ curl -XPUT localhost:9200/twitter/tweet/2 -d '
CURL {
"text": "Je fais du bruit pour #elasticsearch à #devoxxfr",
"created_at": "2012-04-06T21:12:52.000Z",
"source": "Twitter for iPad",
...
}'
50

136.
Indexons un 2ème document
Cluster
Nœud 1 Nœud 2 Nœud 3 Nœud 4
Doc Doc
Shard 0 1 Shard 0 1
Shard 1 Doc Shard 1
2
Client
$ curl -XPUT localhost:9200/twitter/tweet/2 -d '
CURL {
"text": "Je fais du bruit pour #elasticsearch à #devoxxfr",
"created_at": "2012-04-06T21:12:52.000Z",
"source": "Twitter for iPad",
...
}'
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
51

137.
Indexons un 2ème document
Cluster
Nœud 1 Nœud 2 Nœud 3 Nœud 4
Doc Doc
Shard 0 1 Shard 0 1
Shard 1 Doc Shard 1
2
Client
$ curl -XPUT localhost:9200/twitter/tweet/2 -d '
CURL {
"text": "Je fais du bruit pour #elasticsearch à #devoxxfr",
"created_at": "2012-04-06T21:12:52.000Z",
"source": "Twitter for iPad",
...
}'
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
51

138.
Indexons un 2ème document
Cluster
Nœud 1 Nœud 2 Nœud 3 Nœud 4
Doc Doc
Shard 0 1 Shard 0 1
Doc Doc
Shard 1 Shard 1 2
2
Client
$ curl -XPUT localhost:9200/twitter/tweet/2 -d '
CURL {
"text": "Je fais du bruit pour #elasticsearch à #devoxxfr",
"created_at": "2012-04-06T21:12:52.000Z",
"source": "Twitter for iPad",
...
}'
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
52

139.
Cherchons
Cluster
Nœud 1 Nœud 2 Nœud 3 Nœud 4
Doc Doc
Shard 0 1 Shard 0 1
Doc Doc
Shard 1 Shard 1 2
2
Client $ curl localhost:9200/twitter/_search?q=elasticsearch
CURL
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
53

140.
Cherchons
Cluster
Nœud 1 Nœud 2 Nœud 3 Nœud 4
Doc Doc
Shard 0 1 Shard 0 1
Doc Doc
Shard 1 Shard 1 2
2
Client $ curl localhost:9200/twitter/_search?q=elasticsearch
CURL
Moteur Elasticsearch Rivers Facets Demo Architecture Communauté
53