Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰
•
59 j'aime•9,890 vues
講者：SYSTEX 數據加值應用發展部產品經理 | 陶靖霖 議題簡介：認清現實吧! Big Data 是個熱門詞彙、熱門議題，但是問題的核心仍然圍繞在資料處理的流程、架構與技術，要踏入 Big Data 的領域，使用者會遭遇哪些挑戰? Splunk 被譽為「全球最佳的 Big Data Company」，究竟在資料處理的流程中擁有什麼獨特的技術優勢，能夠幫助使用者克服這些挑戰?又有哪些成功幫助使用者從資料中萃取出價值的應用案例?歡迎來認識 Splunk 以及全球 Big Data 成功案例。
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
Similaire à Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰
Similaire à Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰 (20)
Plus de Etu Solution
Plus de Etu Solution (20)
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰
- 1. ! Big Data, Big Challenge Splunk Big Data Splunk
- 2. ! Big Data
- 3. ! Big Data Data Input Output Processor Storage! Informa4on 所謂巨量資料，就是用現有的一般技術難以管理的大量數據 的集合 野村綜合研究所
- 4. ! Big Data 生 流 存 算 用 看
- 5. ! 生 流 存 算 用 看 我需要的資料從 哪裡來？ 要怎麼收集資料？ 資料收集能力？ 資料格式的限制？ 資料如何ETL？ 資料如何正規化？ 該如何呈現運算分析 結果？ 該用什麼工具呈現？ 需要客製開發嗎？ 資料可否壓縮保存？ 資料可否備份？ 保存年限與生命週 期管理？ 如何尋找與計算？ 如何撰寫MR程式？ 需要多久才能學會？ 如何輸出運算結果？ 如何與其他系統整 合？
- 6. ! Hadoop Ecosystems 生 流 存 算 用 看
- 7. ! ! ! !
- 8. ! 全球最佳 Big Data 創新應用公司 8!
- 9. ! 獲獎無數 Big Data Innovator 2013 SIEM Magic Quadrant LEADER 2012 Security Market Growth #1 Worldwide 2012 IT Operations Market Growth #3 Worldwide Best SIEM North America Best Enterprise Security Solution EMEA #1 ! Most Innovative#4 !
- 10. ! Splunk
- 12. ! Splunk Big Data 生 流 存 算 用 看
- 13. ! • – • – – • – 生 流 存 算 用 看
- 14. ! Key-Value Pair (KVP) • ETL •
- 15. ! • ETL •
- 16. ! •
- 18. ! Best Practices • Text Binary – parsing • XML – JSON • • timestamp • time offsets • Timestamp • UUID Session ID – • – – •
- 20. ! 20! 不用事先定義資料欄位，不用客製化連接器，不用資料庫，不需要事先過濾 Web!logs! Log4J,!JMS,!JMX! .NET!events! Code!and!scripts! Configura4ons! syslog! SNMP! neUlow! Configura4ons! Audit/query! logs! Tables! Schemas! Hypervisor! Guest!OS,!Apps! Cloud! Configura4ons! syslog! File!system! ps,!iostat,!top! Registry! Event!logs! File!system! sysinternals! Logfiles! Configs! Messages! Traps!! !Alerts! Metrics! Scripts! Tickets!Changes! UNIX Linux/Unix!Windows! Networking!Databases!Applica4ons! !! ! Virtualiza4on! Click`stream!data! Shopping!cart!data! Online!transac4on! data! ! ! Manufacturing,! logis4cs…! CDRs!!IPDRs! Power!consump4on! RFID!data! GPS!data!
- 21. ! • – – – • ETL (Extract, Transform, Load) – – 生 流 存 算 用 看
- 22. ! Splunk 結構化資料 非結構化資料 關聯式 資料庫 半結構化資料 Log Email XML 聲音 圖片 影像 Extract! Metadata
- 23. ! Splunk 彈性的資料收集方式，可使用代理程式或免用代理程式 perf shell code Mounted File Systems! hostnamemount syslog! TCP/ UDP WMI! Event Logs! Performance Active ! Directory syslog compatible hosts! and network devices Unix, Linux and Windows hosts (NFS, CIFS, SMB…etc.) Windows hosts DB Connection, SNMP, REST API, STDOUT…etc. Local File Monitoring! log files! config files! dumps and trace files Windows Inputs! Event Logs! performance counters! registry monitoring! Active Directory monitoring virtual! host Windows hosts Scripted! Inputs! shell scripts! custom parsers! batch loading 免安裝代理程式 Splunk Forwarder
- 25. ! • ETL (Extract, Transform, Load) – – ETL – • – – 生 流 存 算 用 看
- 26. ! Splunk • • • – JSON, CSV, W3C…etc.
- 27. ! Data Schema
- 28. !
- 29. ! Hadoop ETL
- 30. ! Splunk • Hadoop • – Replication Factor • Multi-site Clustering – • – PB
- 32. ! • – Time to Value – • 生 流 存 算 用 看
- 33. ! Search your IT infrastructure J2EE exception Last 60 minutes fail* password sshd Last 30 minutes Last 60 minutes Last 3 hours Last 24 hours Last 7 days All time Last 24 hours
- 34. !
- 35. ! • • • (Regular Expression) • • Join • (Lookup) • • • (Tag) (Event Type) • (Data Modeling) (Pivot) • (Predictive Analysis)
- 36. ! Splunk Map Reduce 36! Indexer Search Head 分散式搜尋 Search!Head Map Reduce Indexer Indexer Indexer Indexer
- 37. ! Hadoop 3 匯入 瀏覽 匯出 Splunk Hadoop Connect Hadoop Splunk' Hadoop'' Connect' HA'Indexes' and'Storage' Commodity' Servers' Hadoop' (MapReduce' 'HDFS)' Report'and'' analyze' Custom'' dashboards' Monitor'' and'alert' Ad'hoc'' search'
- 38. ! Hadoop! ! 可完全與 Hadoop!整 合，運用 Hadoop 完 成搜尋與計算 能夠立即為 Hadoop! 的導入帶來效益 可直接使用已存在 Hadoop 內的資料 搜尋與探索 視覺化 儀表板 分享分析 NoSQL'and'Other'Data'Stores' Hadoop!Client!Libraries! Streaming!Resource!Libraries! 保留 Splunk 全功能， 操作方式與 Splunk 完全相同
- 39. ! Splunk ' ' ' '
- 40. ! • – – Big Data • – – – 生 流 存 算 用 看
- 42. ! Splunk IT Business • Splunk – – – – – … 42! Splunk 帶來「一份日誌，多重應用」的複合價值 Mush up Web Apps 網站管理 團隊 VPs of Infrastruct ure
- 43. ! 43! 網站維運分析 應用系統管理 商情分析 資安與法規遵循 LOB!Owners/! Execu4ves! Customer! Support! System! Administrator! IT 維運管理 Opera4ons! Teams! Security! Analysts! IT!! Execu4ves! Development!! Teams! Auditors! Website/Business! Analysts!
- 44. ! Splunk Apps 超過!500!種!Apps!提供各種應用方式 REST!API! XenApp! XenDesktop! Server, Storage, Network Server Virtualization Operating Systems Infrastructure Applications Mobile Applications Cloud Services Other Monitoring Ticketing/Help Desk Custom Biz Applications SDKs! Web!Framework!
- 45. ! Splunk REST API Web Framework 開發人員可以利用熟悉的程式語言、SDK 介接其他系統或開發應用 Web!! Framework! JAVA' JavaScript' Python' Data'Models' Search' Extensibility' Modular'Inputs' SDKs'Simple'XML' JavaScript' Django' Ruby' C#' PHP'
- 46. ! ODBC driver
- 47. ! DB Connect RDBMS Hadoop
- 49. ! Splunk Tableau
- 50. ! • Hadoop • vs. – – … • Data Visualization / – … 生 流 存 算 用 看
- 52. ! Apps
- 53. !
- 54. ! Splunk 生 流 存 算 用 看 完整成熟的解決方案，涵蓋巨量資料處理各階段會遭遇的挑戰 成熟穩定的資料 收集機制 完善的資料格式 處理能力 妥善的資料生命 週期管理 強大的資料搜尋 運算功能 貼心的 Hadoop 整合應用 開放彈性的資料 整合開發平台 優異便利的 資料視覺化工具
- 56. ! Q A