Elastic Stack 最新动态
•
3 likes•1,410 views
了解 Elasticsearch、Kibana、Beats 和 Logstash 的产品路线图，並且会有精彩演示和重磅发布，涵盖从 rollup（汇总）到 Elastic SQL 在内的方方面面。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Elastic Stack 最新动态
Similar to Elastic Stack 最新动态 (20)
More from Elasticsearch
More from Elasticsearch (20)
Elastic Stack 最新动态
- 1. 1 郭斌 - Elastic 架构师 魏彬 - Elastic 认证工程师 Elastic Stack 最佳实践
- 2. 2 Agenda Elastic Stack 架构 Elasticsearch 最佳实践 如何升级 性能优化 问与答 1 2 3 4 5
- 3. 3 老司机讲故事啦！
- 5. 5 Elastic Stack 一体化的完整数据处理堆栈，从数据摄入到分析展示、价值获取 Elastic Stack 数据存储、搜索及分析Elasticsearch 数据可视化 & 运维管理Kibana 数据摄入、数据转换Beats Logstash 解决方案 Metrics Logging APM Site Search Application Search Business Analytics Enterprise Search Security Analytics Future 灵活的部署方式选择 SaaS Elastic Cloud Self Managed Elastic Cloud Enterprise Standalone
- 6. 6 PoC 架构：上马快 Beats Log Files Metrics Wire Data your(beat) Datastore Social Web APIs Sensors Kafka Redis Messaging Queue Nodes (1) Logstash Elasticsearch Kibana X-packX-pack Instances (1) Node (1)
- 7. 7 一周后
- 8. 8
- 9. 9
- 10. 10
- 11. 11 生产环境基本架构：扩展易 Beats Log Files Metrics Wire Data your(beat) Datastore Social Web APIs Sensors Kafka Redis Messaging Queue Nodes (X) Logstash Elasticsearch Kibana X-packX-pack Instances (X)Node (>=3)
- 12. 12 一个月后
- 13. 13 两个月后
- 15. 15 热节点与冷节点 Hot node.attr.box_type:hot Warm node.attr.box_type:warm Cold node.attr.box_type:cold 热节点 高配，内存磁盘比高 8Core+/64GB/1TB SSD 温节点 中配，内存磁盘比适中 8Core+/64GB/2TB SAS 冷节点 低配，内存磁盘比低 8Core+/64GB/4TB SAS index.routing.allocation.require.box_type:hot
- 16. 16 生产环境高级架构：冷热架构 Beats Log Files Metrics Wire Data your(beat) Datastore Social Web APIs Sensors Kafka Redis Messaging Queue Nodes (X) Hadoop Ecosystem Logstash Elasticsearch Kibana X-pack Custom UI Authentication Notification X-pack ES-Hadoop LDAP AD SSO Instances (X) Master Nodes (3) Data Nodes- Hot (X) Data Nodes - Warm(X) Data Nodes - Cold (X)
- 17. 17 Agenda Use color to highlight Elastic Stack 架构 Elasticsearch 最佳实践 如何升级 性能优化 问与答 1 3 4 5 2
- 18. 18 三个月后
- 19. 19 最佳实践 • 按时间建索引，每天自动删除过期的索引 • 使用 Index Template 模板，合理设计 Mapping • 分片数不能过多也不能过少，分片大小控制在20GB 以内 • 使用别名 • 定期做 Force Merge • 冷热数据分离，定时做迁移任务 • ......
- 20. 20 知识点 Index Mapping Shard Count Setting Index Template Curator Delete Index Rollover Node Attributes Shard Allocation Force Merge Shrink Index Index Alias Create Index Index Read-Only Replica Setting
- 21. 21 ILM(Index Lifecycle Management) 最佳实践的集大成者
- 22. Hot Phase - Index to my-logs, Search on my-logs 索引生命周期管理 Index Lifecycle Management
- 23. Hot Nodes 1 2 3 Cold Nodes Hot Phase - Index to my-logs, Search on my-logs Warm Nodes 索引生命周期管理 Index Lifecycle Management
- 24. 1 2 3 Hot Phase - Rollover 1 2 3 Hot Nodes Warm Nodes Cold Nodes 索引生命周期管理 Index Lifecycle Management
- 25. 1 2 3 Warm Phase - Allocate 1 2 3 Hot Nodes Warm Nodes Cold Nodes 索引生命周期管理 Index Lifecycle Management
- 26. 231 2 3 Warm Phase - Shrink 1 Hot Nodes Warm Nodes Cold Nodes 索引生命周期管理 Index Lifecycle Management
- 27. 11 2 3 Warm Phase - Compress Hot Nodes Warm Nodes Cold Nodes 索引生命周期管理 Index Lifecycle Management
- 28. 1 1 2 3 Cold Phase - Allocate Hot Nodes Warm Nodes Cold Nodes 索引生命周期管理 Index Lifecycle Management
- 29. 1 2 3 Cold Phase - Freeze Hot Nodes Warm Nodes Cold Nodes 1 索引生命周期管理 Index Lifecycle Management
- 30. 1 2 3 Delete Phase Hot Nodes Warm Nodes Cold Nodes 1 索引生命周期管理 Index Lifecycle Management
- 31. 索引生命周期管理 Index Lifecycle Management
- 32. • 提升来自不同源头的数据关联度 • 复用分析的能力 • 复用内置可视化、仪表盘等分析能力 Elastic通用模式 Elastic Common Schema 好处 • 当前版本1.0.0: github.com/elastic/ecs • 内部验证 • 欢迎社区的反馈 状态
- 35. 35 Agenda Use color to highlight Elastic Stack 架构 Elasticsearch 最佳实践 如何升级 性能优化 问与答 1 3 4 5 2
- 36. 36 一会儿……
- 37. 37 升级 • 滚动升级 Rolling Upgrade • 停机升级 Full Restart Upgrade
- 41. 41 Agenda Use color to highlight Elastic Stack 架构 Elasticsearch 最佳实践 如何升级 性能优化 问与答 1 3 4 5 2
- 42. 42 性能优化-群集监控 Source: Gray Arial 10pt
- 43. 43 性能优化-节点监控
- 44. 44 性能优化-索引监控
- 45. 45 性能优化-Kibana监控
- 47. 47 写入优化：Tune for Index Speed • 使用批量处理 Bulk Request • index.refresh_interval 调大到 30s 或更大 • index.translog.durability:"async" index.translog.sync_interval: "10s" • 使用自动生成的id • 使用SSD • 映射Mapping • index: false • norms: false • index_options: freqs • dynamic template - no default setting for string • index.codec: best_compression https://www.elastic.co/guide/en/elasticsearch/reference/6.6/tune-for-indexing-speed.html https://www.elastic.co/guide/en/elasticsearch/reference/6.6/tune-for-indexing-speed.ht ml
- 48. 48 读取优化：Tune for Search Speed • 数据模式设计- 避免join • 搜索尽可能少的字段 • 避免使用脚本和预索引数据 • 对于一些枚举的数字，例如http状态代码，建议使用keyword数据类型 • 搜索 rounded dates • 仅对只读索引进行合并索引 • 预热全局序global ordinals • 索引排序 • 使用请求路由/优先 • 使用自适应副本选择 https://www.elastic.co/guide/en/elasticsearch/reference/6.6/tune-for-indexing-speed.html https://www.elastic.co/guide/en/elasticsearch/reference/6.6/tune-for-search-speed.html
- 49. ©2018 Elasticsearch, Inc., Confidential and Proprietary Elastic 专业服务 私塾培训公开培训 目标20 - 25个人 通常由2+教师教学 全球培训课程: purchases.elastic.co/ 在客户场地教学 15人以上价格划算; 与公开培 训教学大纲一致 需求请发送至: training@elastic.co 咨询服务 由Elastic的专家或者合作伙 伴给订阅客户提供 为架构设计、移植和整合提 供顾问服务 更多信息: www.elastic.co/services
- 50. 50 AMA & Thank You!