La présentation de Mathieu Elie sur Elasticsearch 5.0 met en avant plusieurs nouveautés, notamment une meilleure intégration des produits du stack, des améliorations de performance avec Lucene 6.0, et un nouveau langage de scripting appelé Painless. Les fonctionnalités telles que l'indexation, les agrégations instantanées et les améliorations de sécurité sont également discutées, ainsi que des outils d'aide à la migration et à la gestion des indices. En outre, des optimisations ont été apportées pour le traitement des requêtes et la sécurité dans X-Pack.

1. elasticsearch 5.0
les nouveautés
Mathieu ELIE
@mathieuel

2. Présentation
• Mathieu ELIE
• Consultant et formateur elasticsearch
• Twitter: @mathieuel
• Web: http://www.mathieu-elie.net
• Tech freelance depuis 5 ans

3. Le stack à partir de 5.0

4. Le stack 5.0
• Toutes les versions callées sur le même
numéro.
• Kibana 5.0 logstash 5.0 beats 5.0
• X-pack: shields marvel etc… packagé sur tout
le stack.
• Meilleur intégration de ses produits sur tout le
stack.

5. Lucene 6.0

6. Lucene 6.0
• Dimensionnal points
• Numérique, date et géospatial
• Half disk space
• Index deux fois plus vite
• Recherche: +25% de performance
• Parfait pour le logging et les metrics

7. Ingest Node

8. Ingest node
• Filtre logstash comme grok, split….
• Pas besoin de tout logstash sur de nombreux
use cases.
• Applique des processeurs au moment de
l’indexation.
• Index et bulk.

9. Painless scripting
(with Painless !)

10. Painless
• Groovy disabled par défaut pour raisons de
sécurité
• Nouveau langage enabled par défaut.
• Conçut spécifiquement pour es
• Donc plus sécure.
• Plus performant.

11. Instant aggregations

12. Instant aggregations
• Cache ok même avec time.now
• Query parser re-écrit
• Donc plus de sécu et.
• Plus de perfs avec du caching
• Query cache enabled par défaut car gros gain
de perfs.

13. Text/Keyword to Replace Strings

14. Text / Keyword
• String -> full text | keyword comme tag, email.
Domain name
• Text -> full texte et relevance
• Keyword -> pour agrégations / filters. Doc
values.
• Text: field data disabled / sécurité pour ne pas
loader toute la data en mémoire.

15. Text/Keyword to Replace Strings

16. Completion Suggester v2

17. Completion suggester v2
• Complètement re-écrit.
• Prends en compte les documents supprimés.
• Retourne des documents entiers.
• Score: peuvent être ajustés.

18. Settings Validation

19. Settings validation
• Strictement validés.
• Valide globalement / atomic.
• Unset ! -> null
• Les valeurs par défaut peuvent être
récupérées.
?include_defaults

20. Safety in production

21. Safety in production
• Bind localhost -> dev
• Bind ip -> production
• Local -> warn
• Production -> do not start

22. Resilience

23. Resilience
• Beaucoup d’améliorations
• File path name -> hash et pas index.
• Cluster state / démarrage.

24. Migration Helper

25. Migration helper
• Aide à préparer la migration de 2.0 vers 5.0
• Cluster checkup.
• Re-index helper.
• Deprecation logging.

26. Deleted Index Tombstones

27. Deleted Index Tombstones
• Au restart d’un cluster ->
• Des indices deletés pouvaient re-apparaitre !
• -> fixed

28. Indexed Scripts/Templates are
now Stored

29. Indexed Scripts/Templates are now
Stored
• Avant -> stocké dans un index.
• Doit etre démarré avant les autres
• -> cluster state

30. So long Environment Vars and
thanks for all the fish

31. So long Environment Vars and thanks
for all the fish
• Jvm.options
• Ligne de commande re-factorée.

32. Safety Measures

33. Safety Measures
• Bootstrap ->
• Check heap size correcte ->
• Mmapfs nead virtual memory

34. Bootstrap Checks

35. Bootstrap checks
• Local -> warnings
• Production -> stop

36. Indexing Performance

37. Indexing performance
• Travaux sur les locks
• + 15 a 20 % sur l 'index des petits documents
grace aux locks de concurrent update
• aussi des gains sur le fsync du transaction log

38. Dots in Field Names

39. Dot in fields name
• Removed in 2.0
• En 5.0 -> se comporte comme un objet
(hiérarchie).

40. Shard Allocation

41. Shard allocation
• Failed -> possible -> mais ? Pourquoi ?
• Api dédiée pour répondre à cette question.

42. Java REST client

43. Java REST client
• Client léger bas niveau.
• Pas transport (protocole).
• Moins de dépendences: code et version de
server.

44. Rollover indexing

45. Rollover indexing
• Gestion de time based indices.
• Rollover index alias if too old or too big.
• Shrink multiple shards to one shard.

46. Wait for refresh

47. Wait for refresh
• Wait for refresh a l’index.
• Near real time !

48. Index creation friendly to
sysadmins

49. Index creation friendly to sysadmins
• waits for the primay shard allocated before
responding
• -> plus de red status furtifs -> plus d’alertes.

50. Netty4

51. Netty4
• Upgrade de la library de networking
• -> super important mais risqué
• Switch back netty 3.0 possible si bugs ou
autres problêmes.

52. Security improvements in X-Pack

53. Security improvements in X-Pack
• Plus simple pour gérer les certificats SSL
• Outils helpers.

54. THE END
• Question ?
• Follow @mathieuel