SlideShare une entreprise Scribd logo
1  sur  82
Télécharger pour lire hors ligne
User’s Sequential Behavior Modeling
How we used in Cathay Financial Holdings
Speaker: Ta-Chun Su
Agenda
01 The importance of Sequential Behavior Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Advanced Preprocessing- How we define “word”
✦ Modeling
✦ Preprocessing- How we define “word”
03 Case- MyRewards
✦ Embedding- Better representations of a word
✦ Application- 1. Visualization
2. Modeling
✦ Problem
Agenda
02 NLP: World of word embedding
04 Case- CIP
✦ Advanced Preprocessing- How we define “word”
✦ Modeling
✦ Preprocessing- How we define “word”
03 Case- MyRewards
✦ Embedding- Better representations of a word
01 The importance of Sequential Behavior Information
✦ Application- 1. Visualization
2. Modeling
✦ Behavior
✦ Sequence
✦ Problem
什麼是⾏為序列
Timeline
2018-10-30 20:38
在 MOMO 消費 195 元
2019-08-07 17:45
進線客服: 信⽤卡異常
2019-08-07 08:41
在 Uber 消費 185 元
2019-08-07 16:39
在星巴克信義店消費
授權失敗
2018-04-30 12:11
客訴網路當機
2018-01-23 15:11
官網購買長榮機票
2017-9-23 01:42
官網點擊長榮機票
2017-9-25 17:24
官網點擊長榮機票
跨集團產品推薦 數位資料
客服進線
風險預警
電商
物流
什麼場景需要⾏為序列
…
…
模型訓練⽅式
男 20 是 … 2 0 1 … 1 … 熱拿鐵
男 21 否 … 4 2 1 … 1 … 茶葉蛋
女 22 是 … 0 1 1 … 1 … 茶葉蛋
女 35 是 … 1 1 0 … 0 … 85度c
性別 年紀
商品的歷史兌換次數
(one-hot encoding)
Y…
茶葉蛋熱拿鐵 冰拿鐵養樂多
過去N天
是否兌換
歷史訊息彙總類變數
1. 易造成維度過⾼問題
2. 看不出: ⾏為(商品)之間的關聯性
3. 看不出: ⽤⼾⾏為序列間的關聯性
1-of-N Encoding問題
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
2019-08-07 18:31
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
2019-08-07 19:022019-08-07 18:31
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
2019-08-07 22:012019-08-07 19:022019-08-07 18:31
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
2019-08-07 22:012019-08-07 19:022019-08-07 18:31
2019-08-07 17:41
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
2019-08-07 22:012019-08-07 19:022019-08-07 18:31
2019-08-07 18:532019-08-07 17:41
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
2019-08-07 22:012019-08-07 19:022019-08-07 18:31
2019-08-07 18:53 2019-08-07 21:552019-08-07 17:41
⾏為之間的關聯性
Timeline
⼩韓
⼩芬
2019-08-07 22:012019-08-07 19:022019-08-07 18:31
2019-08-07 18:53 2019-08-07 21:552019-08-07 17:41
⼩韓
⾏為序列間的關聯性: 以⾏動⽀付為例
1/29 1/311/301/30
收到轉帳款項
收到轉帳款項修改帳⼾資訊更改⽤⼾⼤頭貼 轉出款項
Timeline
⼩呱
⼩韓
⾏為序列間的關聯性: 以⾏動⽀付為例
1/29 1/311/301/30
收到轉帳款項
收到轉帳款項修改帳⼾資訊更改⽤⼾⼤頭貼 轉出款項
Timeline
⼩呱
⾏為序列很重要
⾏為序列很重要
如何萃取⾏為意義
Agenda
01 The importance of Sequential Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Advanced Preprocessing- How we define “word”
✦ Modeling
✦ Preprocessing- How we define “word”
03 Case- MyRewards
✦ Embedding- Better representations of a word
✦ Application- 1. Visualization
2. Modeling
✦ Problem
[1, 0, 0, 0, 0, 0, 0, …, 0]
[0, 1, 0, 0, 0, 0, 0, …, 0]
[0, 0, 1, 0, 0, 0, 0, …, 0]
[0, 0, 0, 1, 0, 0, 0, …, 0]
[0, 0, 0, 0, 1, 0, 0, …, 0]
catapple wordv
過去:定義⽂字向量
[1, 0, 0, 0, 0, 0, 0, …, 0]
[0, 1, 0, 0, 0, 0, 0, …, 0]
[0, 0, 1, 0, 0, 0, 0, …, 0]
[0, 0, 0, 1, 0, 0, 0, …, 0]
[0, 0, 0, 0, 1, 0, 0, …, 0]
catapple wordv
過去:定義⽂字向量 現在:Word Embedding
Hottest Pre-trained
Embedding Method
BERT ELMO
XLNETMT − DNN
Word2Vec
ERNIE
Hottest Pre-trained
Embedding Method
BERT ELMO
XLNETMT − DNN
Word2Vec
ERNIE
Word2Vec
Word2Vec
Word2Vec
Pre-trained
Word Embedding
1. Word Vector
+ Visualization
2. Modeling
Convolutional Neural Networks for Sentence Classification
Word embedding 應⽤
1. Word Vector
+ Visualization
2. Modeling
Convolutional Neural Networks for Sentence Classification
Word embedding 應⽤
Agenda
01 The importance of Sequential Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Advanced Preprocessing- How we define “word”
✦ Modeling
✦ Preprocessing- How we define “word”
✦ Problem
03 Case- MyRewards
✦ Embedding- Better representations of a word
✦ Application- 1. Visualization
2. Modeling
⼀篇⽂章
韓國 氣象廳 表⽰ , 康芮
在 沖繩 東南⽅ 1080 公⾥
附近 海上 , 以 時速 20
公⾥ 的 速度 , 往 ⻄北
偏⻄ ⽅向 移動
⼀連串的序列⾏為
點擊商品茶葉蛋
點擊商品紅茶拿鐵
我要兌換紅茶拿鐵
我要送禮紅茶拿鐵
19
韓國 氣象廳 表⽰ , 康芮
在 沖繩 東南⽅ 1080 公⾥
附近 海上 , 以 時速 20
公⾥ 的 速度 , 往 ⻄北
偏⻄ ⽅向 移動
點擊商品茶葉蛋
點擊商品紅茶拿鐵
我要兌換紅茶拿鐵
我要送禮紅茶拿鐵
⼀篇⽂章 ⼀連串的序列⾏為
19
韓國 氣象廳 表⽰ , 康芮
在 沖繩 東南⽅ 1080 公⾥
附近 海上 , 以 時速 20
公⾥ 的 速度 , 往 ⻄北
偏⻄ ⽅向 移動
點擊商品茶葉蛋
點擊商品紅茶拿鐵
我要兌換紅茶拿鐵
我要送禮紅茶拿鐵
透過前後⽂,
描述詞語間的關聯性:
Word Embedding
⼀篇⽂章 ⼀連串的序列⾏為
19
韓國 氣象廳 表⽰ , 康芮
在 沖繩 東南⽅ 1080 公⾥
附近 海上 , 以 時速 20
公⾥ 的 速度 , 往 ⻄北
偏⻄ ⽅向 移動
點擊商品茶葉蛋
點擊商品紅茶拿鐵
我要兌換紅茶拿鐵
我要送禮紅茶拿鐵
透過前後⽂,
描述詞語間的關聯性:
Word Embedding
透過前後⾏為,
描述⾏為間的關聯性:
Behavior Embedding
⼀篇⽂章 ⼀連串的序列⾏為
如何⽤在推薦系統
如何⽤在推薦系統
⾸先要知道怎麼把⾏為定義成⽂字
紅茶
紅茶 茶葉蛋
紅茶
85度c
50元飲料任選
85度c
50元飲料任選
熱拿鐵
熱拿鐵
Haagen-dazs
迷我杯
原燒套餐券
茶葉蛋熱拿鐵
養樂多
紅茶
熱拿鐵
定義⽂本
Timeline
Corpus
紅茶
紅茶 茶葉蛋
紅茶
85度c
50元飲料任選
85度c
50元飲料任選
熱拿鐵
熱拿鐵
Haagen-dazs
迷我杯
原燒套餐券
茶葉蛋熱拿鐵
養樂多
紅茶
熱拿鐵
Item Sequences
定義⽂本
Corpus
Visualization
MR2V
Dimensions
(4 dim)
Item
Vectors
[ [
[ [
[ [
[ [
全國電⼦
森森百貨
頂好超市
燦坤3c
中杯拿鐵
⼤杯紅茶拿鐵
冰淇淋單球
⿊咖啡
摩絲漢堡
台灣⾃來⽔⽔費
北市⾃來⽔⽔費
中華電信
台灣⼤哥⼤
漢神巨蛋
中友百貨
Corpus
Item embedding
Agenda
01 The importance of Sequential Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Advanced Preprocessing- How we define “word”
✦ Modeling
✦ Preprocessing- How we define “word”
✦ Problem
03 Case- MyRewards
✦ Embedding- Better representations of a word
✦ Application- 1. Visualization
2. Modeling
Problem of Word2vec
Apple
The Rock
Same meaning in different context
Contexualized Word Embeddings
Hey ELMo, What’s the embedding
of the word “apple”?
Okay. I mean: “I have an apple”
There are multiple possible
embeddings! Use it in a sentence.
Chatbot
Agenda
01 The importance of Sequential Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Advanced Preprocessing- How we define “word”
✦ Modeling
✦ Preprocessing- How we define “word”
03 Case- MyRewards
✦ Embedding- Better representations of a word
✦ Application- 1. Visualization
2. Modeling
✦ Problem
預測目的
幫助客服專員解決服務的三個痛點
客戶問題描述不清
繁雜問題常進線客服
客戶進線缺乏耐心
客戶不熟銀行業務易誤用詞彙
應對複雜的熱門商品
93% 進線客服為信用卡業務
客戶最為關心信用卡帳務
通話服務及時間壓力
法規: 80 % 進線須於 30 秒內接起
時常要安撫客戶情緒
員工流動率高、培訓成本增
2018-10-30 20:38
在 MOMO 消費 195 元
2019-08-07 17:45
進線客服: 信⽤卡異常
2019-08-07 08:41
在 新光三越 消費 104 元
2019-08-07 16:39
在星巴克信義店消費授權失敗
2018-10-18 20:38
進線客服申請信⽤卡掛失
2018-10-12 15:19
信⽤卡開卡
2018-10-01 18:41
在好市多消費 2145 元
2018-10-02 09:23
在新光三越消費 184 元
假設:有因有果
⾦控客⼾歷程
Reactive ETL
響應式資料處理流服務
ML Serving
將機器學習流程拆成微服務
HIPPO Manager
部署、控制與監控服務
Data Serving
即時傳達智能資料
訊息與資料交換的 Mailbox
2018-06-22 13:57:12
在信義分⾏開立台幣存款帳⼾
2018-06-11 20:38:07
在 ATM 從台幣存款帳
⼾提款 3,000 元
2018-06-13 15:19:28
透過業務⼈員詢問防癌保險的投保資訊
2018-06-05 09:23:58
進線客服中⼼申請信⽤卡掛失
2018-06-18 10:38:40
⽤樹精靈買進國泰⾦股票 55,100 元
建立以客⼾為中⼼的
歷程資料
如何⽤在客服進線
⾸先要知道怎麼把⾏為定義成⽂字
千千萬萬種⾏為
2018-10-30 20:38
在 MOMO 消費 195 元
2019-08-07 17:45
進線客服: 信⽤卡異常
2019-08-07 08:41
在 Uber 消費 185 元
2019-08-07 16:39
在星巴克信義店消費
授權失敗
2018-10-18 20:38
在新光三越消費 184 元
2018-10-12 15:19
KOKO信⽤卡開卡
2018-10-01 18:41
在好市多消費 2145 元
2018-10-02 09:23
信義分⾏ATM提款777元
…
2018-04-30 12:11
台幣存款99元
2018-01-23 15:11
在新光三越消費499元
2017-9-23 01:42
官網瀏覽長榮機票
2017-9-25 17:24
在全家繳信⽤卡帳單200元
Timeline
Initialized Word Embedding
Dimemb
Word Vector
0.12 0.32 0.67 0.71 0.54 0.23
0.11 0.67 0.91 0.25 0.12
0.42 0.54 0.44 0.11 0.87 0.24 0.32
0.34 0.22 0.35 0.54 0.11
0.56 0.11 0.58 0.23 -0.12 0.91 0.22
0.24 0.34 0.34 0.39 0.31 0.69
0.67 0.56 0.56 0.55 0.91
…
0.23 0.54 0.93 0.23 0.56 0.67
0.51 0.22 0.68 0.67 0.77 0.91 0.34
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
…
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信⽤卡帳單200元
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
1010
× Dimemb /per month
如果有N筆⾏為,N筆⽂字向量是好的嗎
Case1
Dimemb
Word Vector
0.12 0.32 0.67 0.71 0.54 0.23
0.11 0.67 0.91 0.25 0.12
0.42 0.54 0.44 0.11 0.87 0.24 0.32
0.34 0.22 0.35 0.54 0.11
0.56 0.11 0.58 0.23 -0.12 0.91 0.22
0.24 0.34 0.34 0.39 0.31 0.69
0.67 0.56 0.56 0.55 0.91
…
0.23 0.54 0.93 0.23 0.56 0.67
0.51 0.22 0.68 0.67 0.77 0.91 0.34
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
…
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信⽤卡帳單200元
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
Case1
Dimemb
Word Vector
0.12 0.32 0.67 0.71 0.54 0.23
0.11 0.67 0.91 0.25 0.12
0.42 0.54 0.44 0.11 0.87 0.24 0.32
0.34 0.22 0.35 0.54 0.11
0.56 0.11 0.58 0.23 -0.12 0.91 0.22
0.24 0.34 0.34 0.39 0.31 0.69
0.67 0.56 0.56 0.55 0.91
…
0.23 0.54 0.93 0.23 0.56 0.67
0.51 0.22 0.68 0.67 0.77 0.91 0.34
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
…
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信⽤卡帳單200元
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
Case2
Dimemb
Word Vector
0.12 0.32 0.67 0.71 0.54 0.23
0.11 0.67 0.91 0.25 0.12
0.42 0.54 0.44 0.11 0.87 0.24 0.32
0.34 0.22 0.35 0.54 0.11
0.56 0.11 0.58 0.23 -0.12 0.91 0.22
0.24 0.34 0.34 0.39 0.31 0.69
0.67 0.56 0.56 0.55 0.91
…
0.23 0.54 0.93 0.23 0.56 0.67
0.51 0.22 0.68 0.67 0.77 0.91 0.34
台灣銀⾏提款199 元
國泰世華銀⾏提款199元
富邦銀⾏提款199元
⽟⼭銀⾏提款199元
…
⼟地銀⾏提款199 元
台新銀⾏提款199元
華南銀⾏提款199 元
花旗銀⾏提款199 元
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
王道銀⾏提款199元
怎麼把⾏為定義成好的⽂字
如何定義⽂字
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信⽤卡帳單200元
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
在 其他 消費 3位數
在 Uber 消費 3位數
在星巴克授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 其他 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳帳單3位數
原⾏為歷程表⽰ 顆粒度重整-1 顆粒度重整-2
在 MOMO 消費 3位數
在 Uber 消費 3位數
在星巴克信義店授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 MOMO 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳信⽤卡帳單3位數
如何定義⽂字
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信⽤卡帳單200元
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
在 其他 消費 3位數
在 Uber 消費 3位數
在星巴克授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 其他 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳帳單3位數
原⾏為歷程表⽰ 顆粒度重整-1 顆粒度重整-2
在 MOMO 消費 3位數
在 Uber 消費 3位數
在星巴克信義店授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 MOMO 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳信⽤卡帳單3位數
如何定義⽂字
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信⽤卡帳單200元
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
在 其他 消費 3位數
在 Uber 消費 3位數
在星巴克授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 其他 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳帳單3位數
原⾏為歷程表⽰ 顆粒度重整-1 顆粒度重整-2
在 MOMO 消費 3位數
在 Uber 消費 3位數
在星巴克信義店授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 MOMO 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳信⽤卡帳單3位數
如何定義⽂字
信⽤卡刷卡
信⽤卡刷卡
信⽤卡刷卡
信⽤卡刷卡
信⽤卡刷卡
信⽤卡刷卡
信⽤卡刷卡
官網瀏覽
信⽤卡帳單
顆粒度重整-3
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信⽤卡帳單200元
在 其他 消費 3位數
在 Uber 消費 3位數
在星巴克授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 其他 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳帳單3位數
原⾏為歷程表⽰ 顆粒度重整-1 顆粒度重整-2
在 MOMO 消費 3位數
在 Uber 消費 3位數
在星巴克信義店授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 MOMO 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳信⽤卡帳單3位數
授權
授權是否成功
授權回應敘述
拒絕原因敘述
是否沖正
原始幣別
店家所在國家
折台幣⾦額
授權型態
是否實體卡片⽀付
信⽤卡正附卡
卡種, 卡等
帳單
上期是否繳清
是否⾃動扣繳
本期應繳總額
最低應繳⾦額
預借現⾦
循環利息
繳款
繳款通路店家
是否為⾃動扣繳
折台幣⾦額
該期繳款第幾次
逾期繳款天數 flag
是否逾期繳款
進件
交易型態
申請書類型
進件通路
進件敘述
是否申請附卡
是否申請商務卡
是否申請 combo 正卡
是否申請 combo 附卡
領卡⽅式
申辦電⼦帳單
指定⾃動扣繳銀⾏
電話照會原因
信⽤卡年費
信⽤卡類
信⽤卡別
開卡
開卡通路
發卡原因
活動登錄
登錄通路別
登錄專案描述
紅利異動
交易型態
紅利種類
兌換管道
交易描述
異動點數(+)(-)
是否有⾃付⾦額
現⾦回饋新增
請款
交易型態
原始幣別
店家所在國家
折台幣⾦額
MCC 敘述
信⽤卡正附卡
卡種, 卡等
包含分期前單筆消費
客⼾歷程資料: 調整⾏為顆粒度
授權
授權結果
拒絕原因
原始幣別
店家的國家
折台幣⾦額
⼿機⽀付
實體卡片
卡種
卡等
event
twd_amt_
flag
txn_au_re
sp_desc
txn_decli
ne_desc
txn_curre
ncy_code
merchant_l
ocation_co
untry_code
card_type card_level
payment
_desc
is_physi
cal_card
event_p
ercent
creditcard_autho
rization
positive-4-
digits
Approved
Not
Declined
TWD TW 9.Costco聯名卡 ⼀般卡 Normal TRUE 10.24%
creditcard_autho
rization
positive-4-
digits
Approved
Not
Declined
TWD TW 13.台塑聯名卡 ⼀般卡 Normal TRUE 7.45%
creditcard_autho
rization
positive-3-
digits
Approved
Not
Declined
TWD TW 9.Costco聯名卡 ⼀般卡 Normal TRUE 6.85%
creditcard_autho
rization
positive-4-
digits
Approved
Not
Declined
TWD TW 1.Bank Card ⼀般卡 Normal TRUE 3.91%
creditcard_autho
rization
positive-3-
digits
Approved
Not
Declined
TWD TW 1.Bank Card ⼀般卡 Normal TRUE 3.62%
客⼾歷程資料: 調整⾏為顆粒度
A95276897788609
A95276897788609
A95276897788609
User Behavior Table
A95276897788609
A95276897788609
A95276897788609
A95276897788609
A95276897788609
A95276897788609
Recalibrated Behavior Vector
Dimemb
Word Vector
0.12 0.32 0.71 0.54 0.23
0.11 0.91 0.12
0.42 0.44 0.24 0.32
0.34 0.22 0.54 0.11
0.56 -0.12 0.91 0.22
0.24 0.34 0.39 0.31 0.69
[
[
[
[
[
[
[
[
[
[
[
[
4 × 104
× Dimemb/per month
1. Word Vector
+ Visualization
2. Modeling
Convolutional Neural Networks for Sentence Classification
Word embedding 應⽤
1. Word Vector
+ Visualization
2. Modeling
Convolutional Neural Networks for Sentence Classification
Word embedding 應⽤
Agenda
01 The importance of Sequential Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Advanced Preprocessing- How we define “word”
✦ Modeling
✦ Preprocessing- How we define “word”
03 Case- MyRewards
✦ Embedding- Better representations of a word
✦ Application- 1. Visualization
2. Modeling
✦ Problem
2019/10/01
01 02 03 04 01 02 03 04 05 06 07 08 09
Day
Hour
⽤KOKO COMBO卡在PCHOME消費18650元
2018/10/01 02:03 - 信⽤卡交易
⾦融
⾏為
⽤Costco聯名卡在好市多內湖店消費2145元
2018/10/03 00:48 - 信⽤卡交易
⾦融
⾏為
CTI
CTI
CTI
⽤台塑聯名卡在新店加油站消費487元
2018/10/01 04:48 - 信⽤卡交易
⾦融
⾏為
2018-10-01 08:58
在其他商家消費3位數
2016-9-23 01:42
官網瀏覽機票
2018-9-25 17:24
在全家繳信⽤卡帳單3位數 …
2018-10-01 03:51
在其他商家消費3位數
2017-9-25 17:24
在MOMO消費5位數 …
…
2017-9-25 17:24
在YAHOO消費5位數
定義模型訓練⽅式
過去⼀個⽉內⾏為
模型輸入
x1 x2 xn
2019-08-07 17:45
進線客服: 信⽤卡異常
2019-08-07 08:41
在 Uber 消費3位數
2019-08-07 16:39
在星巴克信義店消費
授權失敗
2018-10-12 15:19
信⽤卡開卡
2018-10-01 18:41
在好市多消費4位數
2018-10-02 09:23
進線客服申請信⽤卡掛失
…
2018-01-23 15:11
在新光三越消費3位數
2017-9-23 01:42
官網瀏覽長榮機票
2017-9-25 17:24
在全家繳信⽤卡帳單3位數
… 下⼀通進線問題
Attention Model
Fig. from HuggingFace DeepMoji model
進線問題 *24
xAgg x1 x2 x3 xN…
Attention Model
Fig. from HuggingFace DeepMoji model
進線問題 *24
xAgg x1 x2 x3 xN…
Attention Score
a1 = 0.7 a2 = 0.2 a3 = 0.1
信⽤卡授權, 授權結果
拒絕原因, 原始幣別
店家的國家, 折台幣⾦額
⼿機⽀付, 實體卡片
卡種,卡等
信⽤卡帳單, 應繳總額,
最低應繳⾦額, 上期是否繳清 循
環利息, 預借現⾦,
是否⾃動扣繳, 繳款截⽌⽇
交易型態, 紅利種類
兌換管道, 異動點數/⾥程
預借現⾦
Attention Score
a1 = 0.7 a2 = 0.2 a3 = 0.1
信⽤卡授權, 授權結果
拒絕原因, 原始幣別
店家的國家, 折台幣⾦額
⼿機⽀付, 實體卡片
卡種,卡等
信⽤卡帳單, 應繳總額,
最低應繳⾦額, 上期是否繳清 循
環利息, 預借現⾦,
是否⾃動扣繳, 繳款截⽌⽇
交易型態, 紅利種類
兌換管道, 異動點數/⾥程
預借現⾦
模型成效
AUC
模型成效
AUC
In Progress
Self Attention
Fig. from Jay Alammar
Streaming Framework
Applications
…
Anything related to Sequence
ALPHA Chatbot MyRewards Recommender System Fraud Detection
結論
Sequential behavior is all you need

Contenu connexe

Similaire à User's sequential behavior-逢甲資料科學大講堂

網路創業 開店經營-詹翔霖教授
網路創業 開店經營-詹翔霖教授網路創業 開店經營-詹翔霖教授
網路創業 開店經營-詹翔霖教授文化大學
 
網路創業 開店經營-詹翔霖教授
網路創業 開店經營-詹翔霖教授網路創業 開店經營-詹翔霖教授
網路創業 開店經營-詹翔霖教授文化大學
 
Demo day shanghai 复歌科技
Demo day shanghai 复歌科技Demo day shanghai 复歌科技
Demo day shanghai 复歌科技36Kr.com
 
手机展示原型设计 张晓蕾 20120323
手机展示原型设计 张晓蕾 20120323手机展示原型设计 张晓蕾 20120323
手机展示原型设计 张晓蕾 20120323yalong9527
 
传统企业转型电商的机遇和挑战
传统企业转型电商的机遇和挑战传统企业转型电商的机遇和挑战
传统企业转型电商的机遇和挑战fansbao
 
RRCA 微信营销系统
RRCA 微信营销系统RRCA 微信营销系统
RRCA 微信营销系统RRCA
 
域名與在地化網路品牌經營策略
域名與在地化網路品牌經營策略域名與在地化網路品牌經營策略
域名與在地化網路品牌經營策略種籽網頁設計
 
改变互联网生产关系
改变互联网生产关系改变互联网生产关系
改变互联网生产关系hixiangfshang
 
光點行動消費行善分享事業說明
光點行動消費行善分享事業說明光點行動消費行善分享事業說明
光點行動消費行善分享事業說明寰宇 吳
 
Wavemaker express weekly #30 (2021)
Wavemaker express weekly #30 (2021)Wavemaker express weekly #30 (2021)
Wavemaker express weekly #30 (2021)Wavemaker Taiwan
 

Similaire à User's sequential behavior-逢甲資料科學大講堂 (14)

Bp
BpBp
Bp
 
網路創業 開店經營-詹翔霖教授
網路創業 開店經營-詹翔霖教授網路創業 開店經營-詹翔霖教授
網路創業 開店經營-詹翔霖教授
 
網路創業 開店經營-詹翔霖教授
網路創業 開店經營-詹翔霖教授網路創業 開店經營-詹翔霖教授
網路創業 開店經營-詹翔霖教授
 
Demo day shanghai 复歌科技
Demo day shanghai 复歌科技Demo day shanghai 复歌科技
Demo day shanghai 复歌科技
 
手机展示原型设计 张晓蕾 20120323
手机展示原型设计 张晓蕾 20120323手机展示原型设计 张晓蕾 20120323
手机展示原型设计 张晓蕾 20120323
 
传统企业转型电商的机遇和挑战
传统企业转型电商的机遇和挑战传统企业转型电商的机遇和挑战
传统企业转型电商的机遇和挑战
 
[粉絲寶]2014點亮淘寶路台灣站_传统企业转型电商的机遇和挑战
[粉絲寶]2014點亮淘寶路台灣站_传统企业转型电商的机遇和挑战[粉絲寶]2014點亮淘寶路台灣站_传统企业转型电商的机遇和挑战
[粉絲寶]2014點亮淘寶路台灣站_传统企业转型电商的机遇和挑战
 
RRCA 微信营销系统
RRCA 微信营销系统RRCA 微信营销系统
RRCA 微信营销系统
 
Moedict naer
Moedict naerMoedict naer
Moedict naer
 
分解技术
分解技术分解技术
分解技术
 
域名與在地化網路品牌經營策略
域名與在地化網路品牌經營策略域名與在地化網路品牌經營策略
域名與在地化網路品牌經營策略
 
改变互联网生产关系
改变互联网生产关系改变互联网生产关系
改变互联网生产关系
 
光點行動消費行善分享事業說明
光點行動消費行善分享事業說明光點行動消費行善分享事業說明
光點行動消費行善分享事業說明
 
Wavemaker express weekly #30 (2021)
Wavemaker express weekly #30 (2021)Wavemaker express weekly #30 (2021)
Wavemaker express weekly #30 (2021)
 

User's sequential behavior-逢甲資料科學大講堂