台灣數位媒體廣告量已於2016年超越電視廣告，成為廣告量排名第一的媒體，除了因為網路佔據了大眾越來越多的時間之外，更是因為數位廣告可透過技術鎖定廣告受眾，將廣告即時推播到受眾使用的裝置上，讓廣告更加有成效。 而數位廣告背後的技術，則是包含最近當紅的大數據分析以及機器學習，因為在廣告的量體大且需即時反應的本質中，要如何透過分散式架構處理，是一個重要的課題。TenMax陸振恩技術總監將在本次講座，揭開廣告系統運作的神秘面紗。

1. 2 0 1 7 . 0 7
數 位 廣 告 的 基 本 架 構
P o p c o r n y ( 陸 振 恩 )

2. Who am I
• 陸振恩 (popcorny)
• Director of Engineering @TenMax
• 之前經歷
– 交大資科所
– 第四屆趨勢百萬程式競賽冠軍
– 聯發科技 (2005- 2010)
– SmartQ (2011 – 2014)
– cacaFly/TenMax (2014-present)
• FB: https://fb.me/popcornylu
2

3. Funp集團
3

4. 數位廣告的特色
• 可量測的
• 預算範圍廣
• 格式多樣
• 可以鎖定客群 (Targeting)
• 馬上投遞
4

5. 數位廣告的技術特性
• 量體大 (Volume)
• 反應時間短 (Velocity)
• 資料雜 (Variety)
• 垃圾多 (Veracity)
• 標準大數據的4V
5

6. 數位廣告的技術特性
• 量體大 (Volume)
• 反應時間短 (Velocity)
• 資料雜 (Variety)
• 垃圾多 (Veracity)
• 標準大數據的4V
6

7. 基本架構?
生態架構 & 技術架構
7

8. Outline
• 廣告伺服器 (Ad Server)
• 廣告網路 (Ad Network)
• 即時競價 (Real Time Bidding)
8

9. Ad Server
9

10. Ad Server
• 顧名思義，就是專門用來處理廣告的Server
• 基本組成
– 廣告管理介面 (Web Console)
– 廣告投放 (Ad Serving)
– 素材投遞 (Creative Delivery)
10

11. Ad Server: 廣告管理介面
• 上廣告的介面
• 分成供給方跟需求方
• 供給方
– 版位
– 廣告代碼
• 需求方
– 訂單
– 廣告
– 素材
• 廣告跟素材需要綁定
• 廣告跟版位需要綁定
11

12. Ad Server: 廣告投遞
• 當收到一個廣告請求時，決定用哪一個廣告來投放
• 考慮因素有哪些?
– 只能投遞到有綁該版位的廣告
– 廣告排程(走期)
– 廣告預算
– 廣告輪播
– 額外的條件
12

13. Ad Server: 廣告投遞
13

14. Ad Server: 素材投遞
• 素材投遞的考量因子
– 網路頻寬
– 網路延遲
– $$$$
• 通常會使用CDN (Content Delivery Network)來投遞素材
– Reverse Proxy的概念
– 使用者會去跟最近的CDN節點要資料
14

15. 素材投遞
15

16. 自架廣告伺服器遇到的問題
• 用包天的方法相對沒有彈性
• 用包量的方法每天的量也不固定
• 沒有賣完的流量怎麼處理
• 要養一批業務來收廣告也不一定符合經濟效益
16

17. Ad Network for the rescue
17

18. Ad Network
• 撮合廣告買方跟賣方的平台
• 通常會針對一種區域或類型的廣告(例如台灣的原生廣告，
大陸的影音廣告，東南亞的手機廣告等等…)
• 對買方(廣告主)可以有比較多的網站選擇
• 對賣方(網站)也可以不用自己養銷售團隊
18

19. Ad Network
19

20. Ad Network的基本組成元件
• 廣告後台
• 廣告投遞
• 素材投遞
• 定向技術 (Targeting)
• 報表系統 (Report System)
• 點擊率預測 (CTR Prediction)
20

21. Ad Network: 定向技術
21
• 可以讓廣告只投到某些流量的技術

22. Ad Network: 定向技術
22
• 內容定向 (Contextual Targeting)
– 可透過爬蟲去爬廣告出現的網頁
– 根據內容給它自動分類
– 甚至找出關鍵字，跟廣告想要投
遞的關鍵字匹配

23. Ad Network: 報表系統
• 根據某個時間區間內，在某些條件下的，某個(或某些維度)
下的數據
• 功能
– 成效報表
– 對帳報表
– 請款
– 分析
23

24. Ad Network: 報表系統
• 基本組成
– 時間區間 (Day Range)
– 過濾 (Filter)
– 維度 (Dimensions)
– 數值 (Metrics)
24

25. Ad Network: 報表系統
Select
dim1, dim2, dim3,
sum(metrics1) as metrics1,
sum(metrics2) as metrics2,
sum(metrics3) as metrics3
from report
where
dt >= '2017-07-14' and
dt < '2017-07-22' and
dim4 = 'ooxx'
group by dim1, dim2, dim3
25
dimensions
metrics
date range
filter

26. Ad Network: 報表系統
26
• OLAP Cube

27. Ad Network: 報表系統
• Data Warehouse
– 儲存Cube資料的地方
– 儲存多個來源的資料
– 專門為查詢的需求優化
– 用Column-based Store來提升效率
– 用反正規化(denormalization)來提升效率
27

28. Ad Network: 報表系統
• BI(Business Intelligence) Tool
– 視覺化呈現的Tool
– 方便切換不同維度去呈現資料
– 基本圖表: Pivot Table, Plot, Pie Chart, Bar Chart
– Dashboard
28

29. Ad Network: 報表系統
29

30. Ad Network: 點擊率預測
• 點擊率(Click Through Rate) 預測是所有優化的核心
• CTR = #Clicks / #Impressions * 100%
• 功用
– 幫助選擇最適合的廣告
– 幫助判斷流量價值
• 常見的做法
– Logistic Regression
30

31. Ad Network: 點擊率預測
• Feature Engineering
– 有非常多的features會影響點擊率
– 有些時候這是其中幾個features的結合而產生的新features
– 數值類(numeric data)轉成類別類(categorical data)
– 前處理資料讓資料更方便被ML library處理
• Training
– 雖然都是Logistic Regression，但是優化方法可以很多種.
(GD, FTRL, Momentum, ADAM)
– Batch方法也可以有所不同 (Full-batch, Mini-batch, SGD)
31

32. Ad Network: 點擊率預測
32

33. Ad Network: 點擊率預測
• 挑戰
– 量體大
– 回報低
– 生命週期短
– 預測所花的時間非常短 (<0.1ms)
• 成效跟成本的tradeoff
33

34. Ad Network會遇到的問題
• 供需失衡問題
– 廣告需求 >>> 流量供給
– 廣告需求 <<< 流量供給
• 供給過量雖然可以透過埋別人的Code來處理剩餘流量，但
是缺乏彈性。
• 需求面無法找到很窄的受眾 (e.g. 再行銷)
• 需求面也無法滿足比較爆炸性的需求
34

35. RTB for the rescue
35

36. Real Team Bidding
• RTB的角色
– SSP (Supply Side Platform)
– ADX (Ad Exchange)
– DSP (Demand Side Platform)
– DMP (Data Management Platform)
36

37. Real Team Bidding
• 一個廣告請求可以丟給很多的DSP (Demand Side Platform)
• 每個廣告請求都會產生一個競標
• 價高者得
• 用第二高價為得標價
• 100ms要做出決定 (包含網路延遲)
37

38. RTB Auction
38

39. RTB架構的好處
• 對DSP
– 更容易觸及到更多的使用者
– 可以投遞很窄的族群(e.g. retargeting)
• 對SSP
– 更有效率得給更多買家購買流量
39

40. DSP
• DSP會有的功能
– 廣告後台
– 廣告投遞
– 素材投遞
– 定向技術 (Targeting)
– 報表系統 (Report System)
– 點擊率預測 (CTR Prediction)
– Cookie Matching
– 重定向 (Retargeting)
– DMP
40

41. RTB的架構中投遞人是個重點
41

42. 但是DSP怎麼知道
ADX打過來的廣告請求是誰?
42
Cookie Matching

43. Cookie Matching
• 一種兩個domain交換cookie(identity)的方法
• ADX通常會提供cookie matching service
• DSP會在埋在客戶網站中的程式碼發出cookie matching
request
• 在競標的時候，ADX會把ADX cookie id轉成DSP cookie id。
43

44. Cookie Matching: Matching階段
44

45. Cookie Matching: Bidding階段
45

46. Retargeting
• 會造訪過我的網站的人，應
該更有可能在我站內購買。
• 想盡辦法把他在從站外找回
來
• 是一個量少但質精的策略
46

47. Product Retargeting
• 當看過某件商品後，非常有
可能他會購買該商品。
• 想盡辦法頭遞給他廣告外，
還要推薦給他最近看過的商
品
47

48. DMP
• DMP (Data Management Platform)
• 掌管匿名使用者(audience)的資料
• 類似CRM，只是不是針對customer，而是audience
• 可以分為
– 人口分布: 年齡, 性別, 收入
– 興趣: 運動, 財經, 旅遊
– 消費行為: 女裝, 尿布, 3C
• 資料來源
– 行為分析
– 可從email資訊跟外站或是線下交換資料
– 相似受眾 (Lookalike)
48

49. Recap
• 介紹了三種廣告架構
– Ad Server
– Ad Network
– RTB
• 誰優誰劣?
– Ad Server有最高的透明度，以及流量掌握度
– Ad Network可以有最豐富類型的廣告類型，透明度中等
– RTB可以有最大的人群觸及率，適合針對人群去投遞
49

50. Recap
• 廣告系統的組成
– 廣告後台
– 廣告投遞
– 素材投遞
– 定向技術
– 報表系統
– 點擊率預測
– Cookie Matching
– 重定向
– DMP
50

51. 廣告系統技術架構圖
51

52. 最後來看整個AdTech的生態系
52

53. Thanks
Questions?
53
LUMA Landscape DISPLAY ad 2017

54. Thanks
Questions?
54