2014-10-17 探析台灣巨量資料產業供應鏈串聯現況

探析台灣巨量資料產業供應鏈串聯現況 October 17, 2014 【科管局免費研討會】雲端技術與巨量資料
By Jazz Yao-Tsung Wang 王耀聰
< jazzwang@etusolution.com >

•王耀聰 Jazz Yao-Tsung Wang
•jazzwang＠etusolution．com
•Etu 首席架構師暨 Hadoop 傳教士
•Hadoop.TW 共同創辦人
•Hadoop The Definitive Guide 譯者
•Hadoop Operations 譯者
•自由軟體愛好者 / 推廣者 / 開發者
•http://about.me/jazzwang - slideshare, github, etc.
•http://trac.3du.me/cloud - 原 http://trac.nchc.org.tw/cloud
Who AM I

•流：巨量資料應用的本質
•轉：從運算中心到資料中心的典範轉移
•智慧：雲端運算的商業模式
•聚：台灣雲端產業發展的反思
•合：從特定應用談跨界供應鏈串聯
•價值：串聯上下游價值鏈，一起走出台灣
流轉智慧 ● 聚合價值
Agenda 大綱

田野調查(1)
巨量資料?!
海量資料?! 大數據?!

http://www.cns11643.gov.tw/AIDB/fm_view.do?font=cns_0000&id=77771

3 Buzzwords in 2014 三大年度熱門關鍵字
物聯網
Internet of Things
雲端運算
Cloud Computing
巨量資料
Big Data
7

市場現況：Gartner Hype Cycle 2013
8
萌芽期
夢幻期
幻滅期
平原期
高原期

市場現況： Gartner Hype Cycle 2014
萌芽期
夢幻期
幻滅期
平原期
高原期

巨量資料的現況 … 2013 Current Status of Big Data ….. 2013
'' Big data is like teenage sex:
everyone talks about it,
nobody really knows how to do it,
everyone thinks everyone else is doing it,
so everyone claims they are doing it .. ''
– Dan Ariely, Professor at Duke University
and Professor at Center for Advanced Hindsight

巨量資料的起源與標準定義
出處碑帖 :董其昌 / 邵康節先生自著無名公臨鍾繇千字文 http://www.cns11643.gov.tw/AIDB/fm_view.do?font=cns_0000&id=75985

始於2007的「資料大爆炸」時代 Data Explosion!!
12
出處：The Expanding Digital Universe,
A Forecast of Worldwide Information Growth Through 2010,
March 2007, An IDC White Paper - sponsored by EMC
http://www.emc.com/collateral/analyst-reports/expanding-digital-idc-white-paper.pdf
2007年，IDC預估 2010年會成長六倍！（相較2006年）
2006 161 EB
2010 988 EB (預測)

數位宇宙以每年 1.5 倍速度成長
出處：The Digital Universe of Opportunities
http://www.emc.com/infographics/digital-universe-2014.htm
追蹤歷年的IDC數據：
2006 161 EB
2007 281 EB
2008 487 EB
2009 800 EB (0.8 ZB)
2010 988 EB (預測)
2010 1227 EB (1.2 ZB)
2011 1773 EB (預測)
2011 1800 EB (1.8 ZB)
2012 2837 EB (2.8 ZB)
2013 4400 EB (4.4 ZB)
景氣差而成長趨緩？
或受新技術抑制？

海量資料泛指資料大小已無法用一般軟體擷取、管理與處理；
單一資料集大小介於數十 TB 至數 PB 的資料。
'Big Data' = few dozen TeraBytes to PetaBytes in single data set.
多個檔案，容量 100TB
一個資料庫，容量 100TB
一個檔案，容量 100TB
出處：http://en.wikipedia.org/wiki/Big_data
巨量資料的標準定義 What is Big Data?!

巨量資料的三大挑戰 Challenges - 3 Vs of Big Data
15
巨量資料的挑戰在於如何管理「數量」、「增加率」與「多樣性」
Volume 資料數量
(amount of data)
Velocity 資料增加率
(speed of data in/out)
Variety 資料多樣性
(data types, sources)
Batch (批次作業)
Realtime (即時資料)
TB
EB
Unstructured
非結構化資料
Semi-structured
半結構化資料
Structured
結構化資料
PB
參考來源：
[1] Laney, Douglas. "3D Data Management: Controlling
Data Volume, Velocity and Variety" (6 February 2001)
[2] Gartner Says Solving 'Big Data' Challenge Involves More Than Just Managing Volumes of Data, June 2011

A2-16
Source: http://www.datasciencecentral.com/forum/topics/the-3vs-that-define-big-data
Reference: http://whatis.techtarget.com/definition/3Vs

A2-17
4V’s of Big Data
Source: http://www.datasciencecentral.com/profiles/blogs/data-veracity

A2-18
Source: http://magazine.good.is/infographics/infographic-the-four-v-s-of-big-data
Reference: http://dashburst.com/infographic/big-data-volume-variety-velocity/
Reference: http://businessintelligence.com/bi-insights/the-four-vs-of-big-data-infographic/
4V’s of Big Data (IBM)

A2-19
4V’s of Big Data (Oracle)
Reference: http://www.practicalecommerce.com/articles/3960-6-Uses-of-Big-Data-for-Online-Retailers?replytocom=25159
Reference: http://johanlouwers.blogspot.tw/2013/07/adding-v-to-four-v-big-data-thinking.html
Source: http://businessintelligence.com/bi-insights/the-four-vs-of-big-data-infographic/attachment/ibm-big-data/

A2-20
5V’s of Big Data
Source: http://www.datatechnocrats.com/what-is-bigdata/

A2-21
12 V’s of Big Data? Roadmap for Big Data!
權限管控
品質管控
數量管控
Source: Gartner (March 2011), 'Big Data' Is Only the Beginning of Extreme Information Management, April 2011,
http://www.gartner.com/id=1622715
當我們緊密相連.....
世界政經：歐盟想分Tweeter 找出經濟、政治的脈動
國家安全：美國PRISM計劃
(網軍!終極警探4.0 )
組織如何因應APT ?
Big Data 平台本身的安全性?
有太多安全的問題等待解決！

巨量資料應用的本質
出處碑帖 : 王羲之 / 臨鍾繇千字文 http://www.cns11643.gov.tw/AIDB/fm_view.do?font=cns_0000&id=38552

Source: http://scitechvista.most.gov.tw/zh-tw/Articles/C/0/6/10/1/1884.htm

巨量資料的奇幻漂流 Life of Big Data

巨量資料的五大生命週期 5 Stage of Big Data Life Cycle
蒐
存
取
析
用

資料科學工作流程 Data Science Workflow
資料
擷取
蒐集
資料
整理
凈化
資料
儲存
管理
特徵
萃取
視覺化分析
互動式查詢
資料模型/模式
說故事
結果闡釋
“Data Analysis: Just One Component of the Data Science Workflow”,
By Ben Lorica, 'Big Data Now 2013', OR'eilly
http://www.oreilly.com/data/free/files/bigdatanow2013.pdf

Ex. Data Flow of Log Analysis
用
算
看
流
生
存

從運算中心到資料中心的典範轉移

典範轉移的時間間距據愈來愈短
Source : TIME Magazine, “2045: The Year Man Becomes Immortal”, Feb. 10, 2011 http://content.time.com/time/magazine/article/0,9171,2048299,00.html
Image Source : http://trickvilla.com/wp-content/uploads/Moores-law-graph.gif

Trend of Computing – Moore's Law
摩爾定律是1965年由英特爾創始人之一戈登·摩爾提出來的。
在積體電路上可容納的電晶體數目，約每隔24個月便會增加一倍。
英特爾執行長David House 所說：每隔18個月晶片的效能提高一倍。
Source: Moore's Law, Wikipedia http://upload.wikimedia.org/wikipedia/commons/c/c5/PPTMooresLawai.jpg

Trend of Network – Nielsen's Law of Internet Bandwidth
Source: “Nielsen's Law of Internet Bandwidth”, April 5, 1998 http://www.nngroup.com/articles/law-of-bandwidth/
Image Source: “Nielsen's Law”, May 31, 2013
http://redstone.us.com/2013/05/31/subject-nielsens-law/
尼爾森定律是1998 年由Jakob Nielsen 提出。
每隔20個月，網際網路頻寬會增加一倍。

Trend of Storage – Kryder's Law
Source: 奎德定律，科學人雜誌，2005年9月號，第43期 http://203.68.243.199/saweb/read.asp?docsn=2005092489 Image Source: “Hard drive capacity over time following Kryder's Law (1980-2011)”, Wikepedia http://en.wikipedia.org/wiki/File:Hard_drive_capacity_over_time.svg
奎德定律是2005年，由希捷資深研發副總馬克奎德提出的。
每隔13個月相同價格的儲存容量就會增加一倍。

Moore's Law , Nielsen's Law , Kryder's Law
1960
1962
1964
1966
1968
1970
1972
1974
1976
1978
1980
1982
1984
1986
1988
1990
1992
1994
1996
1998
2000
2002
2004
2006
2008
2010
2012
2014
2016
0
2
4
6
8
10
12
14
CPU
Network
Storage
Log(*)
60%
50%
~100%
Mainframe
Parrallel
Distributed
Grid
Cloud
18個月
13個月
24個月
指
數 (Log)
巨量資料
面對的挑戰
西元

https://amplab.cs.berkeley.edu/2013/02/07/for-big-data-moores-law-means-better-decisions/

Paradigm Shift in Architecture from Computing Center to Data Center
Infiniband Network
Cluster File System
High Density Server
Computing Center
Move Data
To Compute
Message Passing
減少資料搬運
Reduce
Data Transfer
強調能源效率
Energy-
Efficiency
易於橫向擴充
High-
Scalability
Gigabit Ethernet
Distributed File System
Commodity Hardware
Data Center
Move Compute
To Data
Share Noting

雲端的智慧來自於群眾的智慧 The Wisdom of Cloud

知識源自彙整過去，智慧在能預測未來 Knowledge is from the PAST, Wisdom is for the FUTURE.
http://www.pursuantgroup.com/blog/tag/dikw-model/
資料多寡不是重點，重點是我們想要產生什麼價值呢？
時效合理嘛？成本合理嘛？
It does not matter how big is your data. The goal is to create VALUE within reasonable time period and total cost of ownership.

大家都說「資料是金礦」，那就讓我們拿採礦當類比吧！
Open Data
資料集
分析資料的合法性
資料鑑價？
個資法
商業模式
金礦
開採權
含金度
提煉廠
分析平台與工具軟體
SMAQ
開採成本
總擁有成本
軟硬體投資
國際金價
提供給客戶的價值
產品通路

從創新到創業，最難的是『創造價值』！
獲利世代：自己動手，畫出你的商業模式
Business Model Generation
http://www.books.com.tw/products/0010567254

40
投資巨量資料與否，先想清楚 ROI
Source: Accenture Technology Labs , “Four Options for Enterprise IT when Deploying the Big Data System Hadoop”, June 24, 2013
http://www.accenture.com/us-en/Pages/insight-hadoop-deployment-comparison.aspx
Where to deploy your Hadoop clusters? Executive Summary
http://www.accenture.com/SiteCollectionDocuments/PDF/Accenture-Technology-Labs-Where-To-Deploy-Your-Hadoop-CLusters-Executive-Summary.pdf
ROI
Return on investment
投資回報率

雲端運算的商業模式 Business Model of Cloud Computing
規模經濟 (Economies of Scale)
眾人共用資料中心的軟硬體資源，降低總持有成本
網路即通路 (Network as a Channel)
一雲多螢，雲端的成功關鍵在於網路頻寬普及率
資料即服務 (Data as a Service)
綁架你的資料，當資料越來越大，網路傳不動，你就付錢吧！
運算即價值 (Compute as a Value)
當資料集中，連結愈多，愈能透過運算的手段，
找出群眾的智慧，就是提供給客戶最好的價值！

台灣雲端產業發展的反思我們是否有設法形成『規模經濟』呢？
出處碑帖: 趙孟頫感興詩並序

軟體人才：雲端產業無法大量複製的重要資源!!
Global Hadoop & Big Data Analytics Market by Type, 2012- 2017 (%)
Source: Hadoop & Big Data Analytics Market [Hardware, Software, Services, Hadoop-as-a- Service] - Trends, Geographical Analysis & Worldwide Market Forecasts (2012 – 2017)
http://www.marketsandmarkets.com/Market-Reports/hadoop-market-766.html

Supply Chain of Big Data Industry and Current Community Status
JavaScript.TW 7759 members
NoSQL Taiwan 2083 members
Open Data Taiwan 1462 members
Hadoop Taiwan 1969 members
Open Data
Storage
MapReduce
Query
Web 2.0
Mobile
IoT
Analytics
Taiwan R User 699 members
@ 2014/03/28

SNA of Big Data Communities 巨量資料社群的群聚分析
node = facebook id
每個點代表一個臉書帳號
edge = membership
每一邊代表社群歸屬
Social
Network
Analysis
SNA @ 2013/03/22

SNA @ 2013/08/31
5個月以後，
OpenData.TW 人數翻了5倍
與NoSQL.TW 跟Hadoop.TW 的連結也變強！

JavaScript.TW 人數非常龐大！
代表台灣有很多人對前端工程有興趣。
NoSQL.TW
Hadoop.TW
OpenData.TW
巨觀來看，對於資料庫有興趣的人數比較高！
SNA @ 2013/08/31
玩OpenData的人不少都需要前端視覺化的技術。
跨領域人才？
玩後端的人比例上仍舊比較少。

高手總是藏在
我們不知道的偏僻角落….
有時候得設法鼓勵這些人上新的舞台揮灑

從特定應用談跨界供應鏈串聯

資料科學家 Data Scientist
http://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/ar/pr

資料科學團隊 Data Team
http://www.ithome.com.tw/node/82093

物聯網產業
雲服務 IaaS
Open Data
巨量資料處理
預測分析工具
Web 2.0 網站
Mobile App
創造給客戶的價值，先思考產業供應鍊下游是誰？

民眾
政府
廠商
減少蒐集發票
對獎的困擾
方便記帳
減少紙張用量
減少地下經濟
增加稅收
預測與分析
社會趨勢
( Ex. 食安危機,
控制流感疫情 )
各項稅務
電子化
不同區域的
消費行為特徵
競業現況
制定銷售策略
需求分析：建立電子發票蒐集與資料交換平台

財政部財政資訊中心
國網中心
中華電信
硬體製造商:Intel, MTK, ASUS, etc.
關貿網路
中華電信
民眾
廠商
基礎建設
機房維運
權責單位
國網中心
Etu
TCloud
電信研究所
TL
中介軟體
佈署管理
分散式
資料庫
亦思
趨勢
輿情分析
聯經數位
工研院巨資中心
預測分析
行銷策展
稅務專業
最終客戶

串聯上下游價值鏈，一起走出台灣

A2-58
Source : Big Data Vendor Revenue and Market Forecast 2013-2017, wikibon, 2014-02-12
http://wikibon.org/wiki/v/Big_Data_Vendor_Revenue_and_Market_Forecast_2013-2017
Big Data Market Forecast 2011-2017

A2-59
Big Data Market Forecast by Sub-Type, 2011-2017

A2-60
Big Data Revenue by Type, 2013

A2-61
Big Data Revenue by Type, 2013

A3-62
Big Data Landscape 3.0 (2014)
Source: © Matt Turck (@mattturck), Sutian Dong (@sutiandong) & FirstMark Capital (@firstmarkcap)
http://www.slideshare.net/mjft01/big-data-landscape-matt-turck-may-2014

A3-63
Market Segment in Big Data Landscape
•Analytics - 120 companies, 9 exits (7.5%)
•Infrastructure - 99 companies, 4 exits (4.0%) :
•Applications - 67 companies, 1 exit (1.5%)
•Open Source - 31 companies, no exits
•Data Sources - 29 companies, 2 exits
•Cross Infrastructure / Analytics - 12 companies, no exits
Source: Big Data Landscape, v 3.0, analyzed
http://www.kdnuggets.com/2014/05/big-data-landscape-v30-analyzed.html

A3-64
Big Data Landscape by Categories

A3-65
Big Data Landscape by Sub-Categories “Analytics”

A3-66
Big Data Landscape by Sub-Categories “Infrastructure”

A3-67
Big Data Landscape by Sub-Categories “Application”

A3-68
Big Data Landscape by Sub-Categories “Open Source” & “Sources”

A3-69
Market Segment in Big Data Landscape - Sub-types in Infrastruture
•Infrastructure - 99 companies, 4 exits (4.0%) :
–NoSQL Databases: 14 Companies, 1 Exit
–NewSQL Databases: 12 Companies
–Hadoop on Prem: 11 Companies, 1 Exit
–Management / Monitoring: 10 Companies
–MPP Databases: 10 Companies, 1 Exit
–Big Data: 8 Companies, 1 Exit
–Data Transformation: 7 Companies
–Crowd-sourcing: 7 Companies
–Cluster Service: 4 Companies
–Graph Databases: 4 Companies
–Security: 5 Companies
–Storage: 4 Companies
–App Dev: 3 Companies

付諸行動，跨界整合
出處碑帖 :王羲之 /臨鍾繇千字文 http://www.cns11643.gov.tw/AIDB/fm_view.do?font=cns_0000&id=23350 http://www.cns11643.gov.tw/AIDB/fm_view.do?font=cns_0000&id=46960

台灣巨量資料產業的粗略分工
Internet of Things
Data as a Service
Big Data Stack
Big Data Security
Big Data Analytics
Big Data Applications
硬體製造商, Ex. ASUS, Intel …
國網中心 – 技術試驗場
Etu, 亦思科技, 騰雲科技
Trend Micro 趨勢科技
工研院巨資中心
關貿網路 / 財政資訊中心

Taskforce #1 : Big Data Stack + Hardware Vendor - 尋找黃金比例 : 硬體架構 & 軟體參數 - NCHC : 大量佈署試驗場 /標準驗證
Taskforce #2 :
Big Data Stack + Big Data Security
- 如何符合企業資安需求
- 處理資訊安全相關應用的巨量資料處理架構

Is There A Golden Ratio for Big Data Hardware Design
FLOPS=~IOPS
電路講究阻抗匹配，資料中心的硬體設計將講究計算與讀寫通量的匹配。

程式執行與狀態監控形成
回饋控制（Feedback Control）
當讀寫 I/O 遠慢於 CPU 運算時，會發生 IOWAIT 軟體如何監控南北橋流量，以得出最佳的匹配比？

當人才免不了分布在不同組織，我們需要跨組織的力量

在台灣內部比高下沒意思，團結才有機會走出去

想找到巨量資料的終極祕寶 ONE PIECE 來當我們的夥伴吧!!
http://www.books.com.tw/img/N00/029/53/N000295364_t_01.jpg

Etu Big Data
SYSTEX Coroperation
318, Rueiguang Rd., Taipei 114, Taiwan
T: +886 2 7720 1888
F: +886 2 8798 6069
www.etusolution.com
流轉智慧 ● 聚合價值

2014-10-17 探析台灣巨量資料產業供應鏈串聯現況

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à 2014-10-17 探析台灣巨量資料產業供應鏈串聯現況

Similaire à 2014-10-17 探析台灣巨量資料產業供應鏈串聯現況 (20)

2014-10-17 探析台灣巨量資料產業供應鏈串聯現況