Big Data Technology - Cloud Computing

1. Prof. 潘人豪 Pan, Ren-Hao
元智大學•大數據與數位匯流中心

2. The Obligatory Timeline Slide
(Mike Culver @ AWS)
COBOL,
Edsel
Amazon.com
Darkness
Web as a
Platform
Web Services,
Resources Eliminated
Web
Awareness
InternetARPANET
Dot-Com Bubble Web 2.0 Web Scale
Computing

3. 雲端計算？?

4. 雲端計算 (Cloud Computing)

5. 雲端計算(Cloud Computing)
雲端計算(Cloud Computing)
並非「新技術」而是一種概念，代表透過網路使電
腦進行協同運算或資源共享。在此過程中所衍生出
相應的技術(如虛擬化、自動化)，則可稱Cloud
Computing Technologies。
特性：
• 超大型(massively)：具大量主機運算資源
• 無限延展(scalable)：運算能力可隨運算設備的增加而迅速
擴充
• 彈性使用(elastic)：用戶可隨需要增加或減少運算資源的
使用

6. Benefits 優勢
 Cost & management
 Economies of scale, “out-sourced” resource management
 Reduced Time to deployment
 Ease of assembly, works “out of the box”
 Scaling
 On demand provisioning, co-locate data and compute
 Reliability
 Massive, redundant, shared resources
 Sustainability
 Hardware not owned

7. Types of Cloud Computing
 Public Cloud: Computing infrastructure is hosted at the vendor’s
premises.
 Private Cloud: Computing architecture is dedicated to the
customer and is not shared with other organizations.
 Hybrid Cloud: Organizations host some critical, secure
applications in private clouds. Not critical applications are hosted
in the public cloud
 Cloud bursting: the organization uses its own infrastructure for normal
usage, but cloud is used for peak loads.

8. 雲端計算(Cloud Computing)之發展
分散式運算 (Distributed Computing)
• 叢集運算 (Cluster Computing)
• 網格運算 (Grid Computing)
• 雲端計算 (Cloud Computing)

9. 雲端計算(Cloud Computing)之發展
叢集運算 (Cluster Computing)特性
• Networked in a tightly-coupled fashion
• The same subnet of the same domain
• Nodes are homogeneous
• The same hardware
• The same software
資料來源：Grid and Cluster Computing: Options for Improving Windows® Application
Performance
圖片來源 : http://www.cs.mtu.edu/beowulf/

10. 雲端計算(Cloud Computing)之發展
網格運算 (Grid Computing)
• Loosely-coupled
• Across domains or subnets
• Nodes can be heterogeneous
• Diverse hardware and
software configurations

資料來源：Grid and Cluster Computing: Options for Improving Windows® Application
Performance
圖片來源 : http://tech4globe.com/what-is-grid-computing.html

11. 雲端計算(Cloud Computing)之發展
網格運算 (Grid Computing) 實例
• SETI@HOME
• Folding@Home
分析蛋白質摺疊及相關疾病起因和發展的分散式計
算專案，於2000.10.01啟動。探討目標包括阿茲海默
症、狂牛症、癌症和囊胞性纖維症

12. 雲端計算(Cloud Computing)之發展
資料來源：鐘嘉德、高天助、楊嘉栩: ”雲端運算與產業發展”、資策會產業情報研究所(Market Intelligence & Consulting Institute, MIC

13. 雲端計算與服務
 雲端計算 (Cloud Computing)
 vs.
 雲端服務 (Cloud Service)

14. 雲端計算與服務
雲端計算(Cloud Computing)
並非「新技術」而是一種概念，代表透過網路使電腦
進行協同運算或資源共享。在此過程中所衍生出相應的
技術(如虛擬化、自動化)，則可稱Cloud Computing
Technologies。
雲端服務(Cloud Services)
泛指透過網路連線，取得基於雲端計算平臺上所建立
的服務
※：可簡化為一上下層關係！

15. 雲端服務 (Cloud Services)
雲端服務特性 (Key Cloud Services Attributes)
1. Offsite, provided by third-party provider
2. Accessed via the Internet
3. Minimal/no IT skills to “implement”
4. Provisioning : self-service requesting, near real-
time deployment, dynamic & fine-grained
scaling.
資料來源： IDC, 2008

16. 雲端服務 (Cloud Services)
雲端服務特性 (Key Cloud Services Attributes) (cont.)
5. Pricing : fine-grained & usage-based pricing
capability
6. User Interface : browser & successors
7. System Interface : Web services APIs
8. Shared resources/common versions : customize
“around” the shared services
資料來源： IDC, International Data Corporation, 2008

17. 雲端運算與創新

18. 傳統架構與雲端架構效能比較
-
以Google App Engine為例

19. 傳統架構與雲端架構效能比較
Basic LAMP
資料來源：Google Developer Day Slide

20. 傳統架構與雲端架構效能比較
Dedicated Database
資料來源：Google Developer Day Slide

21. 傳統架構與雲端架構效能比較
Multiple Web Servers
資料來源：Google Developer Day Slide

22. 傳統架構與雲端架構效能比較
Load Balance: DNS Round Robin
資料來源：Google Developer Day Slide

23. 傳統架構與雲端架構效能比較
Load Balance: DNS Round Robin
資料來源：Google Developer Day Slide

24. 傳統架構與雲端架構效能比較
Load Balance: DNS Round Robin
資料來源：Google Developer Day Slide

25. 傳統架構與雲端架構效能比較
Reverse Proxy
資料來源：Google Developer Day Slide

26. 傳統架構與雲端架構效能比較
Reverse Proxy
資料來源：Google Developer Day Slide

27. 傳統架構與雲端架構效能比較
Master-Slave Database
資料來源：Google Developer Day Slide

28. 傳統架構與雲端架構效能比較
Master-Slave Database
資料來源：Google Developer Day Slide

29. 傳統架構與雲端架構效能比較
Master-Slave Database
資料來源：Google Developer Day Slide

30. 傳統架構與雲端架構效能比較
Partitioned Database
資料來源：Google Developer Day Slide

31. 傳統架構與雲端架構效能比較
Cloud Solution : Google App Engine
資料來源：Google Developer Day Slide

32. 傳統架構與雲端架構效能比較
Cloud Solution : Hadoop File System + HBase
資料來源：Google Developer Day Slide

33. 案例介紹
雲端應用 – 2011福島第一核電廠核災
ABC News - Japan Earthquake: before and after - Link
•Google 東京都内避難場所 - Link
•尋人網 - Link

34. 雲端計算架構

35. 雲端計算架構
資料來源：wikipedia

36. 雲端計算架構
https://www.ibm.com/developerworks/mydeveloperworks/blogs/sbose/entry/gathering_clouds_of_xaas?lan
g=en

37. 雲端計算架構
軟體即服務(Software as a Service, SaaS)
透過Internet訂閱軟體服務(Software on Demand)，從前
端辦公室應用到後端資料分析、客戶關係管理、業務流
程管理及人力資源管理等
代表廠商：
Google , Microsoft, Salesforce.com

38. 雲端計算架構
平台即服務(platform as a service, PaaS)
服務型虛擬平台，使用者透過網路使用PaaS服務提供
的虛擬主機平台進行開發或管理，不用自建硬體主機和
作業系統，節省軟硬體維護及管理人力和時間。
產品：
Google App Engine,
Microsoft Azure,

39. 雲端計算架構
Google App Engine vs. Hadoop

40. 雲端計算架構
架構即服務(Infrastructure as a service, IaaS)
將 IT 基礎架構變成一種服務，將內部所需的 IT 架構交
由 IaaS 廠商提供。相較於建構傳統機房需要訂購所需的
硬體、軟體、儲存、電力及頻寬成本，可以更有效率取
得IT資源。
產品：
EC2 (Amazon Elastic Compute Cloud)
Google Storage
中華電信hicloud
Hadoop

41. 雲端計算架構
架構即服務(Infrastructure as a service, IaaS)
應用技術
• 虛擬化/虛擬運算技術(Virtualization)

42. Infrastructure as a Service
(IaaS)

43. Classification of Cloud Computing
based on Service Provided
 Infrastructure as a service (IaaS)
 Offering hardware related services using the principles of cloud computing. These could
include storage services (database or disk storage) or virtual servers.
 Amazon EC2, Amazon S3, Rackspace Cloud Servers and Flexiscale.
 Platform as a Service (PaaS)
 Offering a development platform on the cloud.
 Google’s Application Engine, Microsofts Azure, Salesforce.com, s
force.com .
 Software as a service (SaaS)
 Including a complete software offering on the cloud. Users can
access a software application hosted by the cloud vendor on pay-
per-use basis. This is a well-established sector.
 Salesforce.coms’ offering in the online Customer Relationship
Management (CRM) space, Googles gmail and Microsofts hotmail,
Google docs.

44. More Refined Categorization
 Storage-as-a-service
 Database-as-a-service
 Information-as-a-service
 Process-as-a-service
 Application-as-a-service
 Platform-as-a-service
 Integration-as-a-service
 Security-as-a-service
 Management/
Governance-as-a-service
 Testing-as-a-service
 Infrastructure-as-a-service
InfoWorld Cloud Computing Deep Dive

46. Virtualization

47. 現有雲端計算服務與分類
• Utility Computing
• Software as a Service
• Service Oriented Architecture
• Software + Services
• Software as Self Service
• Platform as a Service
資料來源： Matias Woloski, “Cloud Computing Taxonomy Map”

49. Amazon Web Services (AWS)
 Elastic Compute Cloud – EC2 (IaaS)
 Simple Storage Service – S3 (IaaS)
 Elastic Block Storage – EBS (IaaS)
 SimpleDB (SDB) (PaaS)
 Simple Queue Service – SQS (PaaS)
 CloudFront (S3 based Content Delivery Network – PaaS)
 Consistent AWS Web Services API
Link : http://aws.amazon.com/products/?nc2=h_ls

50. What does Azure platform offer to developers?

51. 現有雲端計算服務與分類
雲計算產業鏈全景圖
資料來源： 百度

52. 案例介紹
Coca-Cola village and Facebook
•Promarket 青少年夏令營 (以色列)
•應用RFID技術
•結合Facebook
•真實世界的 – “讚！”
•Video – Link
•Zara - Inditex RFID Project
•Video – Link

53. 國內雲端推展

54. 國內政策
雲端運算產業發展方案 (99 .4 經濟部核定通過)
•執行與經費： 5 年 240 億元經費
• 目標
• 雲端服務應用體驗 1,000 萬人次
• 帶動企業研發投資 127 億
• 促成投資(含製造、服務) 1,000 億
• 新增就業人口 5 萬
• 雲端運算產值累計達 1 兆

55. 雲端運算產業發展
資料來源：經濟部雲端運算產業發展方案

56. 雲端運算產業發展方案 - 發展策略
策略1 ：發展全方位、高度整合C4雲端運算產業鏈
資料來源：經濟部雲端運算產業發展方案

57. 策略1 ：發展全方位、高度整合C4雲
端運算產業鏈
發展雲端系統與經營資料中心
(Cloud)
• 標準化的雲端資料中心
• 客製化的雲端資料中心
• 五星級的雲端資料中心
發展雲端應用軟體(Commerce)
• 推動生活雲端應用
• 推動雲端應用場域實驗
持續推動寬頻建設(Connectivity)
• 延伸應用大頻寬連網基礎建設
• 促使優質連網服務發展
創新研發雲端裝置產品(Client)
• 創新研發雲端裝置產品
• 發展雲加端服務平台
推動科研雲端系統測試與研究發
展
• 建立學術雲端資料中心，提
供科研大型雲端系統測試環
境
• 建立學術界雲端運算研究環
境，加速科技創新與科學發
現

58. 策略2 ：推動政府雲端應用/G-Cloud
政府對政府(G2G)機關
• 結合組織再造，共構機房，節省國庫IT 支出，提高資
源利用
政府對企業(G2B,G2B2B)
• 財稅/電子發票/優值經貿網絡、貿易、中小企業-普
及帶動企業e 化水準升級
政府對民眾(G2C)
• 交通便利路網資訊，通暢民眾行車，節能減碳

59. 策略2 ：推動政府雲端應用/G-Cloud
資料來源：經濟部雲端運算產業發展方案

60. 策略3 ：全方位協調、統合與管理執行方案
資料來源：經濟部雲端運算產業發展方案

61. 雲端運算產業發展方案
教育部 - 教育雲端服務
• 執行年度/經費：99 ~ 103年 / 16.5 億元
• 目標
• 建立教育雲端環境
• 推動 5i 服務模式

62. 教育雲端服務
教育雲端環境
資料來源：經濟部雲端運算產業發展方案

63. 教育雲端服務
 教育雲端服務 - 5i 服務模式
• Internet 透過雲端環境進行學習
• Interactive 透過雲端環進行人與人互動教學
• Integrate 透過單一簽入整合各式雲端學習資源
• Incentive 透過雲端(web2.0 概念)培養教學分享動機
• Innovative 創新
http://edumeaning.51donate.com/

64. 雲端運算產業發展方案
其他雲端發展方案
• 防救災業務雲端服務
• 全國路網車速資訊交通雲
• 推動中小企業運用雲端服務
• 推動貿易便捷安全雲端服務計畫
• 電子發票雲端服務
• 賦稅資訊系統整合再造更新整體實施計畫
• 優質經貿網絡－關港貿單一窗口計畫
• 科技研發雲端運算服務平台計畫

65. 全國路網車速資訊交通雲

66. 科技研發雲端運算服務平台計畫

67. 雲端運算產業發展方案 - 未來方向
六大新興產業雲端發展機會
資料來源：經濟部雲端運算產業發展方案

68. 國外案例 EuroCloud
Issues : “strict privacy laws that place rigid limits on the movement of
information beyond the borders the 27-country European Union” – Cloud
Computing Hits Snag in Europe, 2010

69. 台灣雲端運算產業鏈
IaaS
雲端設施服務
PaaS
雲端平台服務
計算服務
儲存服務
工具平台
服務
環境平台
服務
SaaS
雲端應用軟體服務
跨業別
軟體服務
行業別
軟體服務
•中華電信hicloud /騰雲TCloud Elaster
•宏碁電子化資訊管理中心Acer eDC /ITIL
•趨勢防毒雲服務
•華碩雲端機櫃/for Enterprise
•華碩WebStorage/for ASUS Product
•行政院研考會 G-Cloud
•廣達-企業雲平台
•騰雲-TCloud CAP(Cloud App. Platform)
•中華電信-教育雲
•廣達-製造雲
•緯創-醫療雲
•巨匠電腦-培訓雲
•政府-財稅/貿易雲 等
•中華電信 SaaS CRM 等
•億迅-客服雲
•華經資訊-文件雲
•凌羣-品管雲
•跨越科技XDNA,PM
•寶盛-SOA-ERP
•台灣IT硬體
(英業達、廣達、緯創、華碩、 . .) 資料來源：各媒體公開資料
資料整理：張進福,資策會創研所，2010年

70. 雲端資訊安全議題

71. 雲端資訊安全議題
雲端安全聯盟 (Cloud Security Alliance, CSA)
• 由微軟、甲骨文、趨勢科技、戴爾、Google、思科
等全球重量級廠商組成
• 2010.03 發表 - “Top Threats to Cloud Computing V1.0”
• 當中提出七大威脅

72. CSA 提出之七大威脅
1. 濫用或利用雲端運算進行非法的行為 (Abuse and
Nefarious Use of Cloud Computing)
 影響：IaaS , PaaS
 防制：完善審查機制、資安監控
2. 不安全的介面與 APIs (Insecure Interface and APIs)
 影響：IaaS , PaaS, SaaS
 防制：遵循安全開發準則、白箱測試
3. 惡意的內部人員 (Malicious Insiders)
 影響：IaaS , PaaS, SaaS
 防制：ISMS認證

73. CSA 提出之七大威脅
4. 共享環境所造成的議題 (Shared Technology Issues)
 影響：IaaS
 防制：硬體資源獨立(ex: RAM), 虛擬化環境隔離 (ex:VLAN), 資
安監控
5. 資料遺失或外洩 (Data Loss or Leakage)
 影響：IaaS , PaaS, SaaS
 防制： ISMS認證, 金鑰管理機制(ex: 使用者金鑰管理, 第三方
金鑰管理),安全地刪除資料, 災難復原, 完善AAA機制 (驗證、
授權、稽核)
6. 帳號或服務被竊取 (Account or Service Hijacking)
 影響：IaaS , PaaS, SaaS
 防制： ISMS認證, 安全登入機制(ex:安全碼), 實體Token登入

74. CSA 提出之七大威脅
7. 未知的風險模型 (Unknown Risk Profile)
 影響：IaaS , PaaS, SaaS
 狀況：各國法規不同, 資安專業素養, 系統認知瞭解

75. 新型態資安攻擊
WPA Cracker - A Cloud cracking service
• WPA-PSK protected wireless networks
• ZIP cracking
• 284 million word dictionary
• 400CPU cluster

76. 雲端資訊安全議題及發展目標
議題層次
• Privacy Protection
• IaaS security
• PIaaS security
• SaaS security
• 行動資安與終端安全
• 瞭解未來雲端資安議題， 由
國科會， 『民國100年雲端計算安全技術與資訊安全
技術研發專案計畫計畫書』之發展重點

77. 個人資料防護(Privacy Protection)
解析惡意網站內容之行為狀態
發展數位鑑識，應用內容解構技術
分析Web 服務存取行為之關聯

78. IaaS security
虛擬機的獨立性(virtual machine independency)
虛擬系統弱點診測及虛擬系統安全防護技術
檔案遺失防護
• 安全監控、確保檔案資料儲存正確
資料保密
• 透過block level 資料切割技術分散儲存不同的區塊，
讓惡意人士無法取得完整的資料

79. PaaS security
雲端服務平台安全管理
• 雲端系統弱點診測監控
• 雲端服務平台資安事件分析
• 防毒
身分與權限管理
• AAA (Authentication, Authorization & Accounting)
終端裝置安全管理

80. SaaS security
資訊交換過程中之內容機敏資訊保護機制及管
理機制
雲端應用層安全防禦
• 高效能 Web App 封包（XML, RIA）深層過濾
• Web DB 存取行為監控
• Behavior based 惡意軟體閘道偵測
身分與權限管理
• AAA (Authentication, Authorization & Accounting)

81. 行動資安與終端安全
認證裝置防護
小額付款及線上交易安全機制
終端裝置安全防護

82. 其他
分散式雲架構之 CIA控管
• Confidentiality (機密性)
• Integrity (完整性)
• Availability (可用性)
Cross-layer security solutions

83. 雲端發展參考

84. 雲端發展
 雲端使用者調查分析
• International Data Corporation (IDC) - “Cloud
Computing 2010 - An IDC Update”
• Cloud User Surveys
• Benefits
• Challenges
• Adoption Areas
• Vendor Requirements

85. 雲端發展
Cloud User Surveys - Benefits
54.0%
63.9%
64.6%
67.0%
68.5%
75.3%
77.7%
77.9%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90%
Seems like the way of the future
Sharing systems with partners simpler
Always offers latest functionality
Requires less in-house IT staff, costs
Encourages standard systems
Monthly payments
Easy/fast to deploy to end-users
Pay only for what you use
資料來源：Cloud Computing 2010 . An IDC Update

86. 雲端發展
Cloud User Surveys - Challenges
76.0%
76.8%
79.8%
80.2%
81.0%
82.9%
83.3%
87.5%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90%
Not enough ability to customize
Hard to integrate with in-house IT
Bringing back in-house may be difficult
Lack of interoperability standards
On-demand paym’t model may cost more
Performance
Availability
Security
資料來源：Cloud Computing 2010 . An IDC Update

87. 雲端發展
Cloud User Surveys – Adoption Areas
48.6%
49.1%
49.8%
50.6%
51.3%
52.9%
54.8%
55.1%
55.6%
59.4%
66.9%
67.3%
0% 10% 20% 30% 40% 50% 60% 70% 80%
IT/Information Security
Application dev/test/deploy platform
Business Intelligence/Analytics
Server capacity on demand
IT Management software
Storage capacity on demand
Data/Content Distribution services
Personal productivity apps
Business apps (CRM, HR, ERP)
Data Back-up or Archive services
Web applications/Web serving
Collaboration applications
資料來源：Cloud Computing 2010 . An IDC Update

88. 雲端發展
Cloud User Surveys – Vendor Requirements
72.9%
78.3%
79.2%
81.0%
82.1%
84.5%
86.0%
87.8%
88.6%
91.6%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Have local presence, can come to my offices
Are a technology and business model innovator
Offer both on-premise and public cloud services
Support many of my IT needs
Allow managing on-premise & cloud together
Understand my business and industry
Provide a complete solution
Option to move 'cloud' offerings back on premise
Offer Service Level Agreements (SLAs)
Offer competitive pricing
資料來源：Cloud Computing 2010 . An IDC Update

89. 雲端發展思維模式
• Rodrigo Flores (CTO, newScale, Inc.) ： “The Competitive
Threat of Public Clouds”
• Give up the fight
IT人員角色轉換
系統維運 => IT資源/組織流程媒合
• Define your Model T Ford
制定發展標準/範本，並以此做為服務開發方針
避免過度客製化迷思
• Think like an ATM
自助服務(Self-Service)觀念
使用者自主進行：服務找尋、訂閱、追蹤、管理、使用
雲端發展
Model T 1913年進行量產：
Assembly line 生產線提升組
裝速度，從12小時減至1小時

90. Thanks
 潘人豪
E-Mail : pan@51donate.com