2012.05.24 於 「Big Data Taiwan 2012」的 Keynote 講稿。 主講者：Etu 副總經理/ 蔣居裕 《議題簡介》 無論是企業區域網路，還是開放的網際網路，在巨大的結構化與非結構化資料的背後，其實充滿著各種行為意圖，以及人、事、物、時、地的多維度關聯。商業的日益競爭，已經來到了一個除了講求行銷創意，還要擁有巨量資料處理與分析技術，才能出奇制勝的時代。有人形容 Big Data 的價值挖掘，就像是在攪拌混凝土，若在尚未完成前就中斷，將導致前功盡棄，全無可用的窘境。對 Big Data 的意圖與關聯探索，必須是 End-to-End 全程的照料，方得實現。本議程將舉例說明這個有序到永續的過程，讓聽者更能領略意圖與關聯充滿的世界。

1. Big Data 101 一
一個充滿意圖與關聯世界的具體實現
精誠資訊 雲中心
Etu 副總經理 蔣居裕
1

2. 大綱
• 我從 Etu 品牌影片學到的事
• Big Data 101 – 今日須知
• Big Data Ecosystem – 今日看盡生態系
• 一個充滿意圖與關聯的世界
• Etu - 意圖與關聯世界的具體呈現者
• 結論
2

3. 我從 Etu 品牌影片學到的事
1. 了解客戶是商業服務的根本需求
2. 找出商品間的關聯不是新鮮事，但從 Big Data 來找，
面向更廣，機會更大，挑戰也更大
3. 藉由分析沈默大眾的行為資料 (Big Data)，找出不存在
結構化資料庫裡的意圖與關聯
4. 要知意圖，要得關聯，可透過 Etu 專業團隊的協助，
做得更快更好
3

4. Big Data 101
今日須知
4

5. Big Data 要處理的資料量級
• 1.8 ZB World Wide created in 2011
• 7.9 ZB World Wide created by 2015
• Yottabyte
source: The readwriteweb, Nov. 2011 • Zettabyte
• Gigabyte
• Megabyte
• Kilobyte
5

6. Big Data 時代來臨 – 新量級、新處理模式、新企業智慧
行動/網際網路
Mobile/Internet
物聯網 Unstructured (非結構化)
Internet of Things • Web Pages
• E-mail
• Multimedia
• Instant Messages
• More Binary Files
Semi-structured (半結構化)
• XML
• Logs
Structured (結構化) • Click-stream
• Equipment / Device
• Relational Database
• RFID tag
• File in record format
6

7. Big Data 要處理的三個面向：3V
Velocity
處理時效
Volume
Variety 資料量
資料格式
7

8. 30字箴言
Volume Variety
很多的非/半結構化資料
Velocity
要在一定的時間內處理完
而且成本不能太高
8

9. CIO Survey 2012 同樣是第一名，在不同年代有不同內涵
年度科技優先順序 (Technology Priorities)
Number: 2,335 Source: Gartner, 2012
9

10. 變遷中的 Business Intelligence
BI in 2008/2009
BI from 2012
10
image credit: David Fierstein
10

11. 2020 前的 10 大趨勢主軸
沒有一項趨勢是獨自發展的！我們正被一個大生態系推著走
Source: “Top Ten Trend in CRM for 2020”, Gartner, 2012
11

12. Big Data 對企業的價值
預估未來
競爭策略
客戶滿意
Survey of IT Decision Makers from 304 Source: GigaOM Pro, March 2012
companies
12

13. Big Data Ecosystem
今日看盡生態系
13

14. Big Data 主流基礎平台：Hadoop
• 處理半/非結構化巨量資料
• 儲存與運算單點(本地)解決
• 分散式橫向擴充架構 (Scale-out)
• 以開源的 Apache Hadoop 為標準版本
14

15. Hadoop 平台競爭要素
Hadoop Disruption Vectors
整合
部署
存取
Source: GigaOM Pro, 2012
15

16. Big Data Taiwan 2012 活動要義
• 一個主題：Big Data Integration
• 兩個特邀：
• 三個軸向：Cloud．Mobility．Enterprise
• 九家廠商
16

17. 整合：從 Big Data 到 Total Data
聲音檔案
影片檔案 OLTP
圖形檔案 Web, Mobile, CRM,
ERP, SCM, …
 商務交易
文件檔案
文字資料 回饋/歷史資料 與
XML檔案 行為互動
Web Logs
點擊事件
SQL NoSQL NewSQL
社交網路
關聯圖譜
Big Data 
新聞 Feeds 精煉處理場 預處理
 EDW MPP NewSQL

感應器 多結構資料 傳統 ETL
嵌入設備 儲存/彙整/轉換/運算
RFID Tags
商業智慧
地理資訊  與
GPS 點位 回饋/歷史資料
線上分析
Dashboard,
事件 Report,
其他 Visualization, … OLAP
Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture
17

18. Big Data Taiwan 2012 整合大全
聲音檔案
影片檔案 OLTP
圖形檔案 Web, Mobile, CRM,
ERP, SCM, …
 商務交易
文件檔案
文字資料 回饋/歷史資料 與
XML檔案 行為互動
Web Logs
點擊事件
SQL NoSQL NewSQL
社交網路
關聯圖譜
Big Data 
新聞 Feeds 精煉處理場 預處理
 EDW MPP NewSQL

感應器 多結構資料 傳統 ETL
嵌入設備 儲存/彙整/轉換/運算
RFID Tags
商業智慧
地理資訊  與
GPS 點位 回饋/歷史資料
線上分析
Dashboard,
事件 Report,
其他 Visualization, … OLAP
Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture
18

19. 三種溫度資料的整合：Hot / Warm / Cold
Hot Data
在線結構化資料
在線半/非結構化資料
OLTP OLAP
Warm Data
在線半/非結構化資料
Hadoop-based Solution
Cold Data
離線資料
SAN / NAS / Scale-out NAS
19

20. Total Data 整合舉例: Etu + Splunk
巨量．可加掛．什貨皆拉
及時分析．價值接力
敏捷．漂亮．高貴
20

21. Big Data Taiwan 2012 整合大全
• 半/非結構化與結構化資料共構
– Etu (Hadoop) 與 SQL 整合 (Track 1-2)
– Etu (Hadoop) 與 MPP DB/DW 整合 (Track 1-2)
• 半/非結構化與半/非結構化資料共構
– Etu (Hadoop) 與 Splunk 整合 (Track 1-1 / 3-2)
– Etu (Hadoop) 與 Stream Computing 整合 (Track 2-2)
• Warm Data 與 Cold Data 串接
– Etu (Hadoop) 與 NAS/SAN 整合 (Keynote 4)
21

22. 一個充滿意圖與關聯的世界
22

23. 何謂意圖？
• 明示 (直接的意圖)
– 直接表達於言語、文字、或動作
• 默示 (間接的意圖)
– 透過特定行為去推知
 Big Data 要處理分析的，一般為默示意圖
23

24. 反意圖：因為不了解意圖，所以浪費
您還在做促銷網頁與頻發電子報嗎？
24

25. 正意圖
• 強化熱點
• 個人化郵件
• 關聯式推薦
25

26. 有哪些關聯？
• 商品與商品
• 人與人
 然後把人與商品關聯起來，創造更大的價值
更多的關聯維度：
• 時間
• 地點
• 事件
26

27. 關聯推薦的完美實踐 I – Netflix
比你的枕邊人還要了解你對影片的喜好
用戶租看的影片 60% 來自系統的自動推薦
預測用戶對一部影片的評等
誤差不會超過半顆星
27

28. 關聯推薦的完美實踐 II – Amazon
以小書商體貼的初衷，長成地球上最大的個人化零售商
每秒賣出 72.9 項商品 (Oct. 2010)
想方設法，讓客戶與商品配對
28

29. Amazon 每秒賣出 72.9 項商品的秘訣
訂單積累 (基本) 的關聯推薦
29

30. Amazon 每秒賣出 72.9 項商品的秘訣
完美 (無所不用其極) 的個人化關聯推薦
30

31. Amazon 每秒賣出 72.9 項商品的秘訣
用戶對一項商品下評論、標籤、討論、評等 (顆星)，
都將影響自己與他人的個人化關聯推薦
31

32. 企業可以向超級雲端公司學習的意圖與關聯智慧
萬事皆搜尋
智慧回應每日億級瀏覽行為
百萬商品關聯推薦
9 億人際關係多維度分享
32

33. Etu –
意圖與關聯世界的具體呈現者
33

34. Etu 讓您擁有國際等級的意圖與關聯智慧
VISIONING THE
BIG DATA FLOWS
INTO BUSINESS VALUE
taipei . beijing
34

35. 企業採用 Hadoop 技術架構的挑戰
•技術/人才缺口
1. 企業對 Hadoop 架構普遍陌生
2. Hadoop 叢集規劃、部署、管
還處於市場早期 理與系統調校的技術門檻高
•專業服務資源缺口
1. 缺乏在地、專業、有實務經驗
的 Hadoop 顧問服務
2. 缺乏能夠提供完整 Big Data 解
決方案設計、導入、與維護的
助您跨越 Big Data 鴻溝 專業廠商
35

36. Etu，世界級的 Big Data 專業團隊
36

37. Etu - Big Data Conqueror
大數據征服者聯盟
擁有累計超過 30 年 Big Data 處理經驗
商業與科技顧問並俱
全球性資訊安全服務運營，規模超過 500 個節點，日處理超過 350 億筆數據
線上服務 IDC 自動化管理，規模超過 10,000 台伺服器
3 位 Cloudera Certified Developer for Apache Hadoop
1 位 Cloudera Certified Administrator for Apache Hadoop
Big Data 行業應用經驗，含括電信業務、行動加值服務、
互動多媒體、電力、網路服務、資訊安全等範疇
圖像版權屬 Marvel Studios 與各人頭主人所擁有
37

38. Etu Appliance
Big Data End-to-End Solution in a Box
儲存與運算一體，簡化與最佳化的優勢機種：
• 10 分鐘內可部署 100+ 節點
• 資料擷取能力 1U 勝過 8U
• Big Data 運算處理最適化
• 單節點可處理 4~40 TB 資料
• 延展：公有雲等級的運算架構
• 可靠：電信等級的系統品質
• 效能：企業等級的創新績效
38

39. One Service Etu Consulting
顧問服務 商業暨科技顧問
One Application Etu Recommender
分析應用系統 精準推薦應用
One Platform Etu Appliance
處理平台 巨量資料處理解決方案
39

40. Etu 的「7 是 7 不是」
Etu 是 Etu 不是
1 非結構化 Big Data 解決方案供應商 結構化資料庫/資料倉儲供應商
2 同時具備儲存與運算能力的軟硬一體 一種單純的儲存設備
3 帶有公有雲血統的分散式運算 傳統的 IT 架構
4 強調為客戶提高營收獲利 只強調為客戶節省成本
5 商業顧問+方案實踐者 只有平台與工具的廠商
6 亞洲自主技術，瞄準亞洲市場 只看台灣市場的代理商
Big Data Ecosystem 的一份子，
7 單打獨鬥的原廠
Partner-friendly
40

41. 關聯推薦舉例 – 人為
• 參加過 Big Data Taiwan 2012 也看過這本書：
“The Filter Bubble: What The
Internet Is Hiding From You”
《搜尋引擎沒告訴你的事》
by Eli Pariser (March, 2012)
41

42. 關聯推薦舉例 – 人為
• 聽過「Big Data 101 — 一個充滿意圖與關聯世界的具體實現」的人，
同時也報名了：
– 「Hadoop 與 SQL 的甜蜜連結 — 非結構與結構資料共構的企業策略」
– 「活用您的 Big Data，實現線上服務行銷的精準推薦」
– 「行動智慧將巨量資料成為營收利器」
– 「資安分析在維運智慧的成效」
• 聽過「Big Data 101 — 一個充滿意圖與關聯世界的具體實現」的人，
同時也參觀了：
– C1 (Etu) 攤位
– A2 (M Factory/Splunk) 攤位
42

43. 關聯推薦舉例 – 行為
• 參觀過「 C1 (Etu) 」攤位的人，同時也參觀了：
– A2 (M Factory/Splunk) 攤位
– C2 (Microsoft) 攤位
– D1 (Fujitsu) 攤位
– D3 (IBM) 攤位
– E1 (EMC Isilon) 攤位
 行為資料從 RFID Tag 來
43

44. 結論
台灣第一個專注服務企業客戶的 Hadoop-based 顧問與解決方案品牌
意圖與關聯充滿的 Big Data 世界
Etu 幫您具體整合來呈現
44

45. www.etusolution.com
45

46. Follow Us: 歡迎加入 Etu Taiwan Facebook 粉絲專頁
http://www.facebook.com/etusolution
46