對多數企業而言，最實在的大數據便是利用外部數據所提供的多樣性為原有數據加值。在本講題中，將提及網路爬蟲的價值，並提到如何利用網路爬蟲所蒐集的外部資料與內部資料交叉分析，創造數據商業模式的新藍海。 本講題原為第一屆台灣人工智慧學校經理人週末研修班專題演講題目

1. 無中生有
利用外部數據打造新商業模式
大數軟體有限公司
丘祐瑋 David Chiu
EMAIL: david@largitdata.com
網站: www.largitdata.com
電話: +886929094381

2. 關於我
• 大數軟體有限公司創辦人
• 前趨勢科技工程師
• ywchiu.com
• 大數學堂
http://www.largitdata.com/
• 粉絲頁
https://www.facebook.com/largitdata
• R for Data Science Cookbook
https://www.packtpub.com/big-data-and-business-
intelligence/r-data-science-cookbook
• Machine Learning With R Cookbook
https://www.packtpub.com/big-data-and-business-
intelligence/machine-learning-r-cookbook
2

3. Machine Learning With R Cookbook (机器学习与R语言实战)
& R for Data Science Cookbook (数据科学：R语言实现)
Author: Yu-Wei (David) Chiu3

4. 定義數據分析?

5. 我是搞數據科學的，分析公司的資料倉儲。算啊算，得
出重大結論：今年2月份營業收入遠遠小於其它月份
我試圖用 Python 建立模型找出原因，但至今無果
掃地在旁阿姨小聲的說
2月份是春節，幾乎所有的公司半個月無人上班…

6. 一所擁有三千畢業生的學校畢業典禮
中午外頭卻只有兩家餐廳有開

8. 8

9. 如何嗅到商機

10. 利用網路爬蟲找尋商機

11. 網路爬蟲
透過機器人自動搜集外部資料
11

12. Google
爬取全世界的網頁，建立搜索引擎
12

13. Facebook
爬取個人資訊，建立交友平台
13

14. 比價網
比較不同電商網站的價格資訊
14

15. 輿情系統
聆聽社群大數據，找尋關鍵資訊
15

16. 大數據民調
知道評論北農事件的使用者輪廓
15%
85%
16

17. 大數據分析
結合外部數據與內部數據創造新價值
17

18. 內外部資料交叉分析
創造新價值
18

19. 當下中國最好的生意
對的商品賣給對的客戶
19

20. 使用者貼標
利用外部資訊瞭解使用者行為
20

21. 分析顧客的輪廓
了解使用者的屬性
10%
90%
已婚: 93.5% 單身: 6.5%
居住地: 台北、高雄、台南、
台中、彰化、新竹
21

22. 商品設計與推薦
找出身邊的滑雪控，推出滑雪相關保險產品
在機場櫃台賣旅平險的時候
大聲問喜歡滑雪的朋友們
你們要買滑雪相關險種嗎?
請標註你身邊的滑雪控
22

23. 信用評分
使用外部資料決定使用者信用分數
好友數品質
追蹤人數
公開的個人資料
貼文與被按讚數
留言與按讚、打卡
是否按時付費
過去一年消費習慣
收貨地址是否常更改
手機號碼是否常改
履歷完整度
好友名單
為能力背書的人數
打電話習慣
手機漫遊國家與次數
手機訊號遊走不同
基地台情形
資料來源：商業週刊
23

24. 正負向情緒分析
使用Twitter正負評情緒指標判斷進場點
Mao, H., Counts, S., & Bollen, J. (2014). Quantifying the
effects of online bullishness on international financial
markets. InECB Workshop on Using Big Data for
Forecasting and Statistics, Frankfurt, Germany.
24

25. 利用Google Trends 輔助決策
Quantifying Trading Behavior in
Financial Markets Using Google
Trends
Quantifying Wikipedia Usage
Patterns Before Stock Market
Moves
25

26. 根據三週移動平均決定進出
在A 點死亡交叉賣出
在B 點黃金交叉買進
Google Trend
三週均線
26

27. 在康那香(9919)的實證
27

28. 使用深度學習建立貴金屬預測模型
蒐集貴金屬的報價，利用RNN
中的 LSTM建立時間序列預測模
型，用以預測買賣點與風險
28

29. 從財務報表了解公司關係
了解該公司有投資哪些子公司?
29

30. • PTT
• Facebook粉絲團
• 網路新聞媒體
• 鉅亨網、MoneyDJ、Mobile01、伊莉討論區、DCARD、新浪新聞、CCTV ,
bloomberg, mckinsey, economist 等各式媒體頻道
大量搜集網路輿情
30

31. 抓取即時重大訊息
31

32. 從文字中挖掘關聯
32

33. 命名實體識別
NER/Named Entity Recognition
從文本中檢測命名實體
(e.g. 人名、位置、公司
名稱等)
名詞短語識別：使用從
屬關係分析和詞性分析
將提取所有名詞
樂陞 皇鑫
樂美館
33

34. 樂陞網路圖
利用區域社群偵測標記不同社群
34

35. 對話機器人
利用外部資訊擴充電腦的腦
我要如何變聰明才能
回答使用者天馬行空
的問題呢?
35

36. 資訊不對稱
創造不公平的優勢

37. 大數學堂
點擊超過一百萬次的資料科學線上教學影片
http://www.largitdata.com
37

38. EMAIL: david@largitdata.com
網站: www.largitdata.com
電話: 0929094381
THANK YOU
38