Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Elasticsearch

2 261 vues

Publié le

Elasticsearch introduce

Publié dans : Données & analyses
  • Soyez le premier à commenter

Elasticsearch

  1. 1. ELasticsearch
  2. 2. ElasticSearch 简介  构建在 Apache Lucene 之上的的搜索引擎服务,开源( Apache2 协议)  分布式索引,分布式搜索,自动负载均衡  海量数据实时索引、实时分析  高可靠性,开源社区比较活跃  JSON 格式的文档型数据  并非是只一个全文检索系统,正蜕变为一个完整的数据分析平台
  3. 3. ElasticSearch 典型用户  Github 在 2013 年 1 月升级了他们的代码搜索, Solr->Elasticsearch  20TB 的数据, 13 亿的文件, 1300 亿行的代码  26 个索引存储节点和 8 个客户端节点(负责处理搜索请求)
  4. 4. Elasticsearch 与关系数据库对比 Relational DB Databases Tables Rows Columns Elasticsearch Indices Types Documents Fields
  5. 5. Elasticsearch 初步探索
  6. 6. 颗粒度问题  最难的问题 . 颗粒度的大小很难把握  颗粒度越小歧义越高 , 歧义多召回率高  颗粒度越大 , 准确率越低 , 召回率低  系统不同需要的平衡点不同  Example: 中国银行知春路分行  NLP 语法分析 : 中国银行 / 知春路分行  搜索 :[ 中国 / 银行 ][ 中国银行 ][ 知春路 / 分行 ][ 知春路分行 ]
  7. 7. 一些有趣的 case  他说的确实在理  结婚的和尚未结婚的  上海大学城书店  北京大学生前来应聘  学习近平和李克强将成为一种风尚  发展中国家庭养猪事业  门把手坏了 , 门把手夹了  两毛五一斤 . 一斤八两  一次性交多少钱
  8. 8. ElasticSearch + Logstash + Kibana 实时日志收集 、查询和分析系统  Logstash 是一个完全开源的工具,可以对你的日志进行收集、分析,并 将其存储供以后使用。  kibana 是一个功能强大的 elasticsearch 数据显示客户端,最新版的 kibana3 是纯 html+js 客户端,可以很方便的部署到 Apache 、 Nginx 等 Http 服务器。
  9. 9. ELK 日志分析与监控应用场景  根据关键字查询日志详情  监控系统的运行状况  统计分析,比如接口的调用次数、执行时间、成功率等  异常数据自动触发消息通知  基于日志的数据挖掘
  10. 10. splunk 功能强大的日志管理工具 可以用多种方式来添加日志 生产图形化报表 最厉害的是它的搜索功能 - 被称为“ Google for IT” 个人永久免费——每天最大索引量 500MB
  11. 11. ELK 架构模式
  12. 12. 添加数据

×