Big Data as a Service
•
5 j'aime•3,050 vues
Slide "Big Data as a Service" งานประชาพิจารณ์ของ สรอ. 1 กพ. 59
Recommandé
Contenu connexe
Tendances
Tendances (8)
En vedette
En vedette (20)
Similaire à Big Data as a Service
Similaire à Big Data as a Service (20)
Plus de IMC Institute
Plus de IMC Institute (20)
Big Data as a Service
- 1. งานระดมความเห็นการบริการ Big Data ของภาครัฐ 1 กุมภาพันธ์2559
- 2. Government Big Data as a Service รศ.ดร.ธนชาติ นุ่มนนท์ ผู้อำนวยการสถาบันไอเอ็มซี 1 กุมภาพันธ์2559
- 4. 4 วัตถุประสงค์ เพื่อจัดทำวิจัยและศึกษากรอบแนวคิดสำหรับ – การพัฒนาข้อมูลขนาดใหญ่ ความหมาย และแนวทางการวาง โครงสร้างเทคโนโลยีขั้นพื้นฐาน – เพื่อนำไปใช้ในการจัดทำ Big Data ให้มีประสิทธิภาพสูงสุด – เพื่อเป็นบริการให้หน่วยงานภาครัฐที่สนใจสามารถนำมาใช้งาน ในอนาคต
- 6. 6 Internet of ThingsCloud Computing Big Data/Analytic
- 9. 9 สิ่งที่เปลี่ยนแปลง ข้อมูลมีจำนวนมากขึ้น เทคโนโลยีสามารถเก็บข้อมูลขนาดใหญ่ได้ มีเทคโนโลยีในการวิเคราะห์ผลจากข้อมูลขนาดใหญ่ Data Science: Machine Learning ทำให้ช่วย สามารถคาดการณ์เรื่องต่างๆจากข้อมูลขนาดใหญ่ได้
- 11. 11 Data Sources
- 12. 12 Big Data Technology !!
- 13. 13 เทคโนโลยีที่จำเป็น Big Data เทคโนโลยีในการเก็บข้อมูล – Hot Data (RDBMS), Warm-Cold Data (Hadoop) เทคโนโลยีในการวิเคาระห์ข้อมูล – SQL, Spark, Hive, MapReduce เทคโนโลยีในการแสดงผล (Data Visualisation)
- 14. 14 Big Data Future Architecture Sscial Media Images e-mails Crawlers ERP CRM LOB APPs Unstructured and Structured Data Parallel Data Warehouse Hadoop On Cloud Hadoop On Private Server Connectors S S R S BI Platform Familiar End User Tools Spreadsheet Predictive Analytics Data Market Place NoSQL Petabytes of Data (Unstructured) Hundreds of TB of Data (structured)
- 15. 15 ความเข้าใจผิดบางประการเกี่ยวกับ Big Data Big Data คือการลงทุน Database ขนาดใหญ่ Big Data คือเทคโนโลยี Hadoop เราจะต้องทำโครงการ Data Warehouse แล้วค่อยทำโครงการ Big Data การทำ Big Data ต้องการ Data Scientist
- 17. 17 Data Lake โดยใช้ Hadoop Source: Danairat T.
- 18. 18 หลักการของ Data Lake Source: www.clearpeak.com, cr: Komes Chandavimol
- 19. 19 ความท้าทายด้านเทคโนโลยี ความซับซ้อนของเทคโนโลยีที่หลากหลาย งบประมาณการลงทุนมหาศาล บุคลากรที่มีความเชี่ยวชาญ – Big Data Engineer – Big Data Developer – Big Data Analyst – Data Scientist
- 20. 20 Hadoop Stack
- 21. 21 Hadoop Sizing
- 22. 22 Hadoop Cluster Size: Survey Source: AtScale, 2015
- 23. 23 ตัวอย่างของรัฐบาลสหรัฐอเมริกา ซื้อบริการจากผู้ประกอบการเอกชน มาตรฐานกลางเช่น ITAR, FedRAMPSM ใช้หลักการ“certify once, use many times” เพื่อ การรับรองความปลอดภัยของระบบ Cloud ตัวอย่างเช่น Amazon Web Services: GovCloud
- 25. 25 ตัวอย่าง Big Data Platform ของ PInterest
- 26. 26 ตัวอย่างบริการ BDaaS ของ AWS Amazon S3: Object Storage (Cold Data) Amazon RDS : Relational Database Amazon Redshift: Datawarehouse Amazon EMR: Hadoop as a Service Amazon Kenesis: Data Ingestion/Storage
- 29. 29 สิ่งที่สำรวจ สำรวจระดับความพร้อมของรัฐในการให้บริการ Big Data ในด้านต่างๆ (บุคลากร,ระบบ,เทคโนโลยี) สำรวจบุคลากร รู้จัก Big Data ในระดับใด,เห็นประโยชน์ของ Big Data ระดับใด และความจำเป็นระดับไหนขององค์กร สำรวจกระบวนการ Big Data ในปัจจุบัน ได้มีการเริ่มใช้ในองค์กรหรือยัง อย่างไร และ จะใช้เพื่อประโยชน์อะไร สำรวจ ลักษณะของข้อมูลที่พร้อมทำ Big Data สำรวจรูปแบบของการดึงข้อมูล สำรวจ โอกาส อุปสรรค และ ข้อจำกัดในการทำ Big Data ในองค์กร
- 31. 31 กลุ่มตัวอย่าง
- 32. 32 กลุ่มตัวอย่าง
- 33. 33 สรุปผลสำรวจ
- 34. 34 สรุปผลสำรวจ
- 35. 35
- 36. 36
- 37. 37
- 38. 38
- 39. 39 Government : Big Data as a Service
- 40. 40 Big Data Project: หน่วยงานลงทุนเอง ข้อดี สามารถเลือกติดตั้งระบบ Big Data Platform ใดๆก็ได้ ข้อมูลอยู่ในองค์กร สามารถควบคุมระบบเองได้ ข้อเสีย ค่าใช้จ่ายสูง และอาจเกิดการ ลงทุนซ้ำซ้อน การตัดสินใจการซื้อเทคโนโลยี บางอย่างอาจไม่คุ้มค่า อาจทำให้ไม่ได้ใช้งานอย่าง ประสิทธิภาพเต็มที่ ต้องมีบุคลากรมาดูแลระบบเอง
- 41. 41 Big Data Project: ใช้ Public Cloud ข้อดี มีราคาถูก มีผู้ดูแลระบบให้ สามารถเลือกใช้บริการต่างๆ ได้หลากหลาย สามารถที่ใช้เทคโนโลยีล่าสุด ได้ ข้อเสีย มีความเสี่ยงเรื่องข้อมูลไปอยู่ที่ต่าง ประเทศหรือหน่วยงานเอกชน ไม่สามารถ customize เทคโนโลยี ตามความต้องการได้ อาจมีปัญหาเรื่องการตั้งงบประมาณ จ่ายค่าบริการรายเดือน ผู้ให้บริการBDaaS ส่วนใหญ่อยู่ ต่างประเทศ
- 42. 42 Big Data Project: ใช้ Community Cloud ข้อดี ไม่ต้องลงทุนเองในหน่วยงาน ค่าบริการเป็นข้อตกลงระหว่างหน่วย งาน และอาจมีราคาถูกสุด มีข้อดีต่างๆเช่นเดียวกับ BDaaS ของ Public Cloud แต่หน่วยงาน ของรัฐดูแลให้ ไม่มีความเสี่ยงเรื่องข้อมูลไปอยู่กับ หน่วยงานนอกภาคราชการ ข้อเสีย ไม่สามารถ customize เทคโนโลยีตามความต้องการได้
- 43. 43 บริการ BDaaS ของภาครัฐ Storage as a Service Database as a Service Hadoop as a Service BI as a Service
- 45. 45 การให้บริการ เน้น Warm/Cold Data เน้นเรื่องของเทคโนโลยีใหม่ๆในการประมวลผล หาเครื่องมือช่วยการทำ Visualisation/Data Science ถ้าเป็น RDBMS ควรทำบริการแบบ RDS คือจัดหา Virtual Server ที่ติดตั้ง Database ในแต่ละหน่วยงาน
- 47. 47 ระบบประมวลผล
- 50. 50 Object Based Storage เก็บข้อมูลประเภท Cold Data เสมือนการให้บริการ Cloud Sotrage อย่าง Amazon S3 ภาครัฐ ควรเป็นเทคโนโลยีที่ใช้ Community Servers ราคาต่อหน่วยจะถูกกว่า Hadoop ควรมีขนาดอย่างน้อย 1 PetaByte
- 51. 51 Hadoop เก็บข้อมูลประเภท Cold-Warm Data และ Unstructure Data เสมือนการให้บริการHadoop as a Service ภาครัฐ ควรมีขนาดของ HDFS Storage อย่างน้อย 1 PetaByte ควรสร่้างระบบประมวลผลแบบ Hive, Impala, Spark, MapReduce ให้ผู้ใช้ ควรให้สามารถเชื่อมต่อกับ Data Visualization Tool ได้
- 55. 55 ค่าบริการ
- 58. 58 ขนาดข้อมูล
- 64. 64
- 68. 68 ความจำเป็นด้านBig Data ขนาดข้อมูลในหน่วยงาน (เขียว) ชนิดข้อมูล (ชมพู) ลักษณะการวิเคราะห์ข้อมูล (เหลือง) ความพร้อมบุคลากร (ส้ม) อื่นๆ (ส้ม)
- 70. 70 ความคาดหวังต่อระบบ Big Data รูปแบบที่ควรจะเป็น จัดทำเอง หรือ Cloud (เขียว) ความเหมาะสมของระบบ (ชมพู) สิ่งที่ผู้ให้บริการควรทำ (เหลือง) การคิดค่่าบริการ (ส้ม) ข้อเสนอแนะอื่นๆ (ฟ้า)