Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Elasticsearch 5.0 les nouveautés

969 vues

Publié le

Prez du meetup elasticsearch bordeaux. Panorama des nouveautés d'elasticsearch 5.0 (à ce jour).

Publié dans : Technologie
  • Login to see the comments

  • Soyez le premier à aimer ceci

Elasticsearch 5.0 les nouveautés

  1. 1. elasticsearch 5.0 les nouveautés Mathieu ELIE @mathieuel
  2. 2. Présentation • Mathieu ELIE • Consultant et formateur elasticsearch • Twitter: @mathieuel • Web: http://www.mathieu-elie.net • Tech freelance depuis 5 ans
  3. 3. Le stack à partir de 5.0
  4. 4. Le stack 5.0 • Toutes les versions callées sur le même numéro. • Kibana 5.0 logstash 5.0 beats 5.0 • X-pack: shields marvel etc… packagé sur tout le stack. • Meilleur intégration de ses produits sur tout le stack.
  5. 5. Lucene 6.0
  6. 6. Lucene 6.0 • Dimensionnal points • Numérique, date et géospatial • Half disk space • Index deux fois plus vite • Recherche: +25% de performance • Parfait pour le logging et les metrics
  7. 7. Ingest Node
  8. 8. Ingest node • Filtre logstash comme grok, split…. • Pas besoin de tout logstash sur de nombreux use cases. • Applique des processeurs au moment de l’indexation. • Index et bulk.
  9. 9. Painless scripting (with Painless !)
  10. 10. Painless • Groovy disabled par défaut pour raisons de sécurité • Nouveau langage enabled par défaut. • Conçut spécifiquement pour es • Donc plus sécure. • Plus performant.
  11. 11. Instant aggregations
  12. 12. Instant aggregations • Cache ok même avec time.now • Query parser re-écrit • Donc plus de sécu et. • Plus de perfs avec du caching • Query cache enabled par défaut car gros gain de perfs.
  13. 13. Text/Keyword to Replace Strings
  14. 14. Text / Keyword • String -> full text | keyword comme tag, email. Domain name • Text -> full texte et relevance • Keyword -> pour agrégations / filters. Doc values. • Text: field data disabled / sécurité pour ne pas loader toute la data en mémoire.
  15. 15. Text/Keyword to Replace Strings
  16. 16. Completion Suggester v2
  17. 17. Completion suggester v2 • Complètement re-écrit. • Prends en compte les documents supprimés. • Retourne des documents entiers. • Score: peuvent être ajustés.
  18. 18. Settings Validation
  19. 19. Settings validation • Strictement validés. • Valide globalement / atomic. • Unset ! -> null • Les valeurs par défaut peuvent être récupérées. ?include_defaults
  20. 20. Safety in production
  21. 21. Safety in production • Bind localhost -> dev • Bind ip -> production • Local -> warn • Production -> do not start
  22. 22. Resilience
  23. 23. Resilience • Beaucoup d’améliorations • File path name -> hash et pas index. • Cluster state / démarrage.
  24. 24. Migration Helper
  25. 25. Migration helper • Aide à préparer la migration de 2.0 vers 5.0 • Cluster checkup. • Re-index helper. • Deprecation logging.
  26. 26. Deleted Index Tombstones
  27. 27. Deleted Index Tombstones • Au restart d’un cluster -> • Des indices deletés pouvaient re-apparaitre ! • -> fixed
  28. 28. Indexed Scripts/Templates are now Stored
  29. 29. Indexed Scripts/Templates are now Stored • Avant -> stocké dans un index. • Doit etre démarré avant les autres • -> cluster state
  30. 30. So long Environment Vars and thanks for all the fish
  31. 31. So long Environment Vars and thanks for all the fish • Jvm.options • Ligne de commande re-factorée.
  32. 32. Safety Measures
  33. 33. Safety Measures • Bootstrap -> • Check heap size correcte -> • Mmapfs nead virtual memory
  34. 34. Bootstrap Checks
  35. 35. Bootstrap checks • Local -> warnings • Production -> stop
  36. 36. Indexing Performance
  37. 37. Indexing performance • Travaux sur les locks • + 15 a 20 % sur l 'index des petits documents grace aux locks de concurrent update • aussi des gains sur le fsync du transaction log
  38. 38. Dots in Field Names
  39. 39. Dot in fields name • Removed in 2.0 • En 5.0 -> se comporte comme un objet (hiérarchie).
  40. 40. Shard Allocation
  41. 41. Shard allocation • Failed -> possible -> mais ? Pourquoi ? • Api dédiée pour répondre à cette question.
  42. 42. Java REST client
  43. 43. Java REST client • Client léger bas niveau. • Pas transport (protocole). • Moins de dépendences: code et version de server.
  44. 44. Rollover indexing
  45. 45. Rollover indexing • Gestion de time based indices. • Rollover index alias if too old or too big. • Shrink multiple shards to one shard.
  46. 46. Wait for refresh
  47. 47. Wait for refresh • Wait for refresh a l’index. • Near real time !
  48. 48. Index creation friendly to sysadmins
  49. 49. Index creation friendly to sysadmins • waits for the primay shard allocated before responding • -> plus de red status furtifs -> plus d’alertes.
  50. 50. Netty4
  51. 51. Netty4 • Upgrade de la library de networking • -> super important mais risqué • Switch back netty 3.0 possible si bugs ou autres problêmes.
  52. 52. Security improvements in X-Pack
  53. 53. Security improvements in X-Pack • Plus simple pour gérer les certificats SSL • Outils helpers.
  54. 54. THE END • Question ? • Follow @mathieuel

×