Recommandé
Contenu connexe
Similaire à 未来网络技术发展探梦 - 开篇
Similaire à 未来网络技术发展探梦 - 开篇 (20)
Plus de Yao-Wei Ou
未来网络技术发展探梦 - 开篇
- 3. ‣ 過去的監控系統 ‣ 我們為什麼選擇了 Open-Falcon ‣ 光載無限如何玩轉 Open-Falcon ‣ OWL：分佈式企業級監控解決方案 目錄
- 4. 4 過去的監控系統
- 5. 過去的監控系統 5 Cacti Whatsup Gold Zabbix ‣ 難以擴展 ‣ 二次開發難度高 ‣ 多套系統，不同的操作方式 ‣ 需要管理不同的配置，系統間同 步 ‣ 難以保證監控全覆蓋
- 6. Zabbix 6
- 7. Cacti 7
- 9. ‣ 統一監控工具，降低維護以及排查的成本 • 降低值班人員的學習成本與技術門檻，將解決問題的經驗積累到系統上 ‣ 提高監控系統的效能、可用性、用戶體驗 ‣ 高可擴展性 • 目標至少支持一萬臺服務器的規模 ‣ 能滿足內部的二次定制需求 9 需求總結
- 10. 10 尋找開源解決方案
- 11. 有這麼多的開源監控系統... 11 Zabbix, Nagios, Cacti, WhatsupGOLD, Sensu, Open-Falcon, Prometheus, Flapjack, Bonsun, OMD, Check_MK, graphite, collectd, Zenoss, monit, Munin, OpenNMS, Ganglia, Consul...
- 12. 也有這麼多的商業監控系統... 12 New Relic, Logical Monitor, DataDog, Splunk, 监控宝, Elastic-Marvel, Librato, Stackdriver...
- 13. ‣ 現代化的設計與良好的架構 ‣ 活躍的社區與大公司的支持 ‣ 模塊化、可擴展性高，易於二次開發 • 可以很容易地利用既有的 Zabbix Script 或 Plugin ‣ 滿足光載無限的業務需求 • 網路質量、7x24 小時值班人員、等等 13 我們如何選擇開源項目?
- 14. ‣ 系統設計簡潔，易於二次開發 ‣ 分佈式組件，水平擴展容易，支持量級高 ‣ 高效數據展示與查詢 ‣ Golang 二進制部署方便 ‣ 完善的基礎採集項 ‣ 人性化的告警策略與模板設計 14 我們為什麼選擇 Open-Falcon?
- 15. ‣ 系統不易分發 ‣ 安全性考量不到位 ‣ 沒有通盤考慮的權限設計 ‣ 複雜度稍高 ‣ 每個 Graph 實例均是單點 ‣ Graph 擴容有損 ‣ 上下游組件配置難度高 ‣ 報警沒有入庫 ‣ 報警現場沒有保存 15 Open-Falcon 的問題
- 17. ‣ Container/Monitoring as a Service ‣ 安全性補強 ‣ 用戶界面改善與體驗優化 ‣ CMDB 與 Open-Falcon 結合 ‣ 運維內部接口適配 ‣ 後端模塊統一與簡化 ‣ CDN 網絡質量監測 17 玩轉 Open-Falcon
- 18. ‣ Open-Falcon 所有組件容器化 ‣ 搭配 Docker-Swarm 做資源調度 18 Container as a Service
- 19. ‣ Open-Falcon 所有組件容器化 ‣ 搭配 Docker-Swarm 做資源調度 18 Container as a Service
- 20. ‣ Open-Falcon 所有組件容器化 ‣ 搭配 Docker-Swarm 做資源調度 18 Container as a Service
- 21. ‣ Open-Falcon 所有組件容器化 ‣ 搭配 Docker-Swarm 做資源調度 18 Container as a Service
- 22. ‣ Open-Falcon 所有組件容器化 ‣ 搭配 Docker-Swarm 做資源調度 18 Container as a Service
- 23. ‣ SSO 單一登入 ‣ Grafana 與 Open-Falcon 的賬號整合 19 安全性補強 2 2 2 UICDashboard Portal Single Sign-On FE Grafana
- 24. ‣ 入口統一 ‣ 深度結合 Grafana 儀錶盤 ‣ 單頁式設計 ‣ 告警與工單處理流程 20 用戶界面改善與體驗優化(1/5)
- 30. ‣ 探索趨勢圖以外的可能 ‣ Grafana 與 Open-Falcon 的 深度整合 22 Grafana 深度整合(3/5)
- 31. ‣ 探索趨勢圖以外的可能 ‣ Grafana 與 Open-Falcon 的 深度整合 22 Grafana 深度整合(3/5)
- 32. ‣ 探索趨勢圖以外的可能 ‣ Grafana 與 Open-Falcon 的 深度整合 22 Grafana 深度整合(3/5)
- 33. ‣ Isomorphic Web Design ‣ 單頁式設計 ‣ 服務端渲染 ‣ 前端組件統一 23 單頁式設計(4/5)
- 34. 24 告警處理流程(5/5)
- 35. 24 告警處理流程(5/5)
- 36. 24 告警處理流程(5/5)
- 37. ‣ 支持以內部 BOSS 賬號登入 ‣ 設備列表跳轉至概覽頁面 ‣ 資產信息同步 25 CMDB 整合（1/2）
- 38. ‣ 支持以內部 BOSS 賬號登入 ‣ 設備列表跳轉至概覽頁面 ‣ 資產信息同步 25 CMDB 整合（1/2）
- 39. ‣ CMDB 統一管理服務與角色，專用接口替換模板變量 26 CMDB 整合（2/2）
- 40. ‣ CMDB 統一管理服務與角色，專用接口替換模板變量 26 CMDB 整合（2/2）
- 41. ‣ 協助運維更快上手 • Screen, Template, HostGroup 的初始範本 • Zabbix 腳本移植、提供插件範本 ‣ Agent 安裝流程與配置簡化 • 如：RPM 包安裝、/etc/init.d 啟動腳本 ‣ 支持 Zabbix API 接口 ‣ 支持以 HostGroup 為單位查找，設備同步自 CMDB 27 運維內部接口適配
- 44. ‣ 多維度 • 機房、省份、城市、地區、運營商 ‣ 批次計算 • 平均值、最大/最小值、標準差 ‣ 不同的分組 • 內網、外網、平台 ‣ 不同的探測工具 • fping, tcpconn, tcpping, traceroute, … ‣ 向量 • 方向與大小 29 網路質量監測的挑戰
- 45. 架構上的調整 30 OWL NQM … UICDashboard Portal OWL Dashboard 2 2 2 Grafana Alarm API Gateway Graph Transfer (Queue) Judge HBS (Control) OWL MySQL Redis InfluxDB Cassandra OpenTSDB ELK
- 46. 架構上的調整 30 OWL NQM … UICDashboard Portal OWL Dashboard 2 2 2 Grafana Alarm API Gateway Graph Transfer (Queue) Judge HBS (Control) OWL MySQL Redis InfluxDB Cassandra OpenTSDB ELK
- 47. 31 網路質量監測（1/3）
- 48. 32 網路質量監測（2/3）
- 49. 33 網路質量監測（3/3）
- 50. ‣ 借鑒 Consol 與 Docker- Compose ‣ 簡化服務端維護與部署的負擔 • 配置檔統一管理 • 打造周邊工具鏈 • docker, vagrant, test, scripts, make ‣ 集中管理，聚人氣 • 代碼、文檔、問題、反饋、PR • ★399 agent (~2016/04/09) • ★262 of-release (~2016/04/09) 34 後端模塊統一與簡化（1/2）
- 51. 35 後端模塊統一與簡化（2/2） UICDashboard Portal OWL Dashboard 2 2 2 Grafana AlarmQuery Graph 20 Transfer 60 Judge 20 5 1 HBS Sender Link 5 1 1 Nodata Aggregator Tasks MySQL Redis
- 52. 35 後端模塊統一與簡化（2/2） UICDashboard Portal OWL Dashboard 2 2 2 Grafana AlarmQuery Graph 20 Transfer 60 Judge 20 5 1 HBS Sender Link 5 1 1 Nodata Aggregator Tasks Backend Modules Driver MySQL Redis
- 53. 35 後端模塊統一與簡化（2/2） UICDashboard Portal OWL Dashboard 2 2 2 Grafana AlarmQuery Graph 20 Transfer 60 Judge 20 5 1 HBS Sender Link 5 1 1 Nodata Aggregator Tasks UI Backend Modules Driver MySQL Redis
- 54. 35 後端模塊統一與簡化（2/2） UICDashboard Portal OWL Dashboard 2 2 2 Grafana AlarmQuery Graph 20 Transfer 60 Judge 20 5 1 HBS Sender Link 5 1 1 Nodata Aggregator Tasks UI Backend Modules Driver MySQL Redis Docker
- 55. 36 分佈式企業級監控解決方案
- 56. 37
- 58. Design Philosophy 38 MICROSERVICES 10 major modules individual deployed
- 59. Design Philosophy 38 PUSH agent as a push proxy MICROSERVICES 10 major modules individual deployed
- 60. Design Philosophy 38 PUSH agent as a push proxy RRDTOOL with consistent hash MICROSERVICES 10 major modules individual deployed
- 61. Design Philosophy 38 BINARY Go static binary PUSH agent as a push proxy RRDTOOL with consistent hash MICROSERVICES 10 major modules individual deployed
- 62. Design Philosophy 38 BINARY Go static binary PUSH agent as a push proxy RRDTOOL with consistent hash DEPLOYMENT mass deployment by ops-updater MICROSERVICES 10 major modules individual deployed
- 63. Design Philosophy 38 BINARY Go static binary PUSH agent as a push proxy RRDTOOL with consistent hash GRAFANA open-falcon datasource DEPLOYMENT mass deployment by ops-updater MICROSERVICES 10 major modules individual deployed
- 64. Agent1 Agent2 Agent3 Agent4 … AgentN UICDashboard Portal2 2 2 AlarmQuery Graph 20 Transfer 60 Judge 20 5 1 HBS Sender Link 5 1 1 Open-Falcon 39 Nodata Aggregator Tasks Alarm FE
- 65. OWL 40
- 67. OWL 40 Alarm API Gateway Graph Transfer (Queue) Judge HBS (Control) UICDashboard Portal Alarm FE Owllight
- 68. OWL 40 Central Status Alarm API Gateway Graph Transfer (Queue) Judge HBS (Control) UICDashboard Portal Alarm FE Falcon-Plus Owllight
- 69. OWL 40 Central Status Alarm API Gateway Graph Transfer (Queue) Judge HBS (Control) UICDashboard Portal Alarm FE Falcon-Plus Owllight Agent1 Agent2 Agent3 Agent4 … AgentN
- 70. Grafana OWL 40 Central Status InfluxDB Cassandra OpenTSDB ELK Alarm API Gateway Graph Transfer (Queue) Judge HBS (Control) UICDashboard Portal Alarm FE Falcon-Plus Owllight Agent1 Agent2 Agent3 Agent4 … AgentN
- 71. 系統功能模塊 41
- 72. 42
- 73. 43
- 74. 44
- 75. 45
- 76. 合作模式 46 社區版 無限制 主机管理 基礎監控項 基礎儀錶盤 自行搭建 社區支持 企業版 1000 主機 CMDB 網路質量監控 智能監控 人性化儀錶盤 IT 運營決策分析 SaaS / 私有化 7x24x365 在線服務 定製版 無限制 CMDB 定制化儀錶盤 智能監控 IT 運營決策分析 私有化 技術專家支持
- 77. 47 與 Prometheus 相比 OPEN-FALCON PROMETHEUS Abundant APIs Metrics API Push Model: Auto Discovery Pull Model: Manual configuration Easy to scale out Harder to scale out simple alert management of own dashboard Alertmanager offers grouping, deduplication and silencing functionality Faster query performance of RRA Slower, Recording rules Simple shellscript as plugin A bit learning curve to write exporter and collector Limited expression PromQL
- 78. 47 與 Prometheus 相比 OPEN-FALCON PROMETHEUS Abundant APIs Metrics API Push Model: Auto Discovery Pull Model: Manual configuration Easy to scale out Harder to scale out simple alert management of own dashboard Alertmanager offers grouping, deduplication and silencing functionality Faster query performance of RRA Slower, Recording rules Simple shellscript as plugin A bit learning curve to write exporter and collector Limited expression PromQL
- 79. 47 與 Prometheus 相比 OPEN-FALCON PROMETHEUS Abundant APIs Metrics API Push Model: Auto Discovery Pull Model: Manual configuration Easy to scale out Harder to scale out simple alert management of own dashboard Alertmanager offers grouping, deduplication and silencing functionality Faster query performance of RRA Slower, Recording rules Simple shellscript as plugin A bit learning curve to write exporter and collector Limited expression PromQL
- 80. 47 與 Prometheus 相比 OPEN-FALCON PROMETHEUS Abundant APIs Metrics API Push Model: Auto Discovery Pull Model: Manual configuration Easy to scale out Harder to scale out simple alert management of own dashboard Alertmanager offers grouping, deduplication and silencing functionality Faster query performance of RRA Slower, Recording rules Simple shellscript as plugin A bit learning curve to write exporter and collector Limited expression PromQL
- 81. 47 與 Prometheus 相比 OPEN-FALCON PROMETHEUS Abundant APIs Metrics API Push Model: Auto Discovery Pull Model: Manual configuration Easy to scale out Harder to scale out simple alert management of own dashboard Alertmanager offers grouping, deduplication and silencing functionality Faster query performance of RRA Slower, Recording rules Simple shellscript as plugin A bit learning curve to write exporter and collector Limited expression PromQL
- 82. 47 與 Prometheus 相比 OPEN-FALCON PROMETHEUS Abundant APIs Metrics API Push Model: Auto Discovery Pull Model: Manual configuration Easy to scale out Harder to scale out simple alert management of own dashboard Alertmanager offers grouping, deduplication and silencing functionality Faster query performance of RRA Slower, Recording rules Simple shellscript as plugin A bit learning curve to write exporter and collector Limited expression PromQL
- 83. 47 與 Prometheus 相比 OPEN-FALCON PROMETHEUS Abundant APIs Metrics API Push Model: Auto Discovery Pull Model: Manual configuration Easy to scale out Harder to scale out simple alert management of own dashboard Alertmanager offers grouping, deduplication and silencing functionality Faster query performance of RRA Slower, Recording rules Simple shellscript as plugin A bit learning curve to write exporter and collector Limited expression PromQL
- 84. 47 與 Prometheus 相比 OPEN-FALCON PROMETHEUS Abundant APIs Metrics API Push Model: Auto Discovery Pull Model: Manual configuration Easy to scale out Harder to scale out simple alert management of own dashboard Alertmanager offers grouping, deduplication and silencing functionality Faster query performance of RRA Slower, Recording rules Simple shellscript as plugin A bit learning curve to write exporter and collector Limited expression PromQL
- 85. 48 與 Open-Falcon 相比 Open-Falcon ‣ 系統不易分發 ‣ 安全性考量不到位 ‣ 沒有通盤考慮的權限設計 ‣ 複雜度稍高 ‣ 每個 Graph 實例均是單點 ‣ 上下游組件沒有 naming ‣ 報警沒有入庫 ‣ 報警現場沒有保存 ‣ 容器化 ‣ 登入權限控管，支持第三方登錄 ‣ 加入身份權限控管 ‣ 模塊統一，前後端分離 ‣ 數據雙寫開關，熱遷移 ‣ 配置中心管理 ‣ 告警入庫，統計分析 ‣ 保存所有告警處理記錄，工單關聯
- 86. ‣ 海內外最專業的團隊 • 紮紮實實投入資源於 Open-Falcon 社區，持續兩年多 • 經過無數次公司內部跨團隊的打磨，踩過無數的坑 • 社區主要貢獻者 • 技術專家：PMC 技術委員會常務委員 ‣ 人性化 • 面向用戶：管理者、一線運維人員、研發工程師 ‣ 為企業定制 • CMDB、服務樹、插件、視圖、數據採集與存儲、多元可視化方案 49 Why OWL？