讓電腦擁有情緒 Making Affective Computers Have Emotions 情感運算四層次 何謂機器擁有情緒 使用案例與系統架構 擁有情緒的構成因素 評估電腦是否擁有情緒 情緒模組間的影響 情緒合成 情緒觸發三層次

1. 讓電腦擁有情緒讓電腦擁有情緒
Making Affective ComputersMaking Affective Computers
Have EmotionsHave Emotions
林豪鏘．國立臺南大學林豪鏘．國立臺南大學
數位藝術與互動設計實驗室數位藝術與互動設計實驗室
Koong LIN,Koong LIN, National University of TainanNational University of Tainan
Affective Learning

2. Affective Computing
共 56 頁
大．綱大．綱
情感運算四層次情感運算四層次
何謂機器擁有情緒何謂機器擁有情緒
使用案例與系統架構使用案例與系統架構
擁有情緒的構成因素擁有情緒的構成因素
評估電腦是否擁有情緒評估電腦是否擁有情緒
情緒模組間的影響情緒模組間的影響
情緒合成情緒合成
情緒觸發三層次情緒觸發三層次
多多元．創意．新科技元．創意．新科技
205/11/14

3. Affective Computing
共 56 頁
我是鏘鏘我是鏘鏘 林豪鏘林豪鏘
 國立清華大學資訊科學博士 , 1997
 國立臺南大學．數位學習科技系．教授．系主任
 台灣科技藝術教育協會．副理事長
 台灣科技藝術學會．副秘書長
 中華民國數位 容學會．常務理事內
 中華民國視覺藝術協會．理事
 中華民國資訊管理學會．理事
 ISAC 中華民國大專校院資訊服務協會．理事
 資訊安全管理主導稽核員． ISMS (ISO 27001) LA
 數位藝術與互動設計實驗室主持人 現代詩人．藝術觀點總編輯
 藝術所 ( 美術系 ) ．所長．資訊長
 網路行銷叢書作者
 棒球評論網路作家
 網站流行音樂業餘樂評
 人工智慧社群網站創站站長 (Since 1995)
 台北數位藝術獎評審．網路藝術組召集人
 國際新媒體藝術節．策展人
 Boom ！快速與凝結新媒體的交互作用，關渡美術館．參展藝術家
 藝術家博覽會－「藝．極棒」多媒體藝術展．參展藝術家
DDLab
305/11/14

4. 情感運算情感運算
Affective Computing

5. Affective Computing
共 56 頁
情感運算情感運算
Affective ComputingAffective Computing
 定義：
 透過各種感應器
 取得由情緒、情感所引起的表情及生理變化信號
 針對這些訊號進行識別
 理解人的情感
 做出適當的回應
 新興學術 域：領
 如何感知情緒
 建 適當的立 情緒模型
 將情緒適 地以各種方式切 表達
 或在網 上路 傳遞
 生理 & 心理
 感情 & 情緒
INPUT:
•表情
•語音
•文字
•生理資訊
•肢體感應器
•聲調
505/11/14

6. Affective Computing
情緒化行為情緒化行為
Emotional BehaviorsEmotional Behaviors
 冷科學 vs. 熱科學
 認知科學
 寵物靈性
 非理性行為
 決策
 創意
 學習
共 56 頁 605/11/14

7. 情感運算四層次情感運算四層次
Affective Computing

8. Affective Computing
共 56 頁
Picard, MITPicard, MIT
Levels of Machine EmotionsLevels of Machine Emotions
 To recognize emotions
 To express emotions
 To have emotions
 Emotional Intelligence
Affective Computing, Affective Design, Emotion RecognitionAffective Computing, Affective Design, Emotion Recognition
805/11/14

9. 何謂擁有情緒何謂擁有情緒
Affective Computing

10. Affective Computing
何謂機器擁有情緒何謂機器擁有情緒
 Rosalind Picard ：
一個機器擁有：
情緒行為
快速的、主觀的情緒
由認知 生情緒產
情緒經驗
身心相互影響
則可稱之為「擁有情緒」
共 56 頁 1005/11/14

11. Affective Computing
市面擁有情緒的機器市面擁有情緒的機器
 討論：市面上 些硬體、軟體、應用，能哪
稱之為「擁有情緒的機器」？
 SIRI 算 ？ 算 ？嗎 掰噗 嗎
共 56 頁 1105/11/14

12. ElizaEliza
數位二
張宜馨
不正常對話：撕破臉的情侶再度見面不正常對話：撕破臉的情侶再度見面
Keyword MatchingKeyword Matching
關鍵字配對關鍵字配對

13. Affective Computing
你好。好久不見
最近過的好嗎？
還不賴，你 ？呢
我最近交了新男友。
想以新戀情刺激對方
你最近交了新男友
對阿，你 ？呢
對阿，我呢
另一個陪你的人啊。個陪我的人哪
所以沒有 ？嗎
心裡暗爽中是嗎
05/11/14 共 56 頁 13

14. Affective Computing 還是跟以前你 一樣。
沒有聽到確切的答案，不開心了怎樣
都不正面回答我的問題。我可以幫你解答
你真的愛過我 ？嗎我真的愛過你嗎
……
我真的愛過 ？你嗎
因為沒有關鍵字所以重覆上一句
我有事先走了。
不想 他甩還會再見嗎
你還想再見面 ？嗎
竊喜對方還是在意自己的
路上小心
很生氣的走掉了
05/11/14 共 56 頁 14

15. 使機器擁有情緒的時機使機器擁有情緒的時機
Affective Computing

16. Affective Computing
使機器擁有情緒的時機使機器擁有情緒的時機
 多數情況 ( 包含生活、需求等 )
 沒有最佳解的結構
 沒有唯一的正確答案
 允許錯誤的選擇
 不允許長時間運算
 求解的過程成本過高
 使用者高興就好
 如：決定 餐吃什麼、晚
app 自動 生的動態產 UI 、
隨者情緒撥放歌曲的音樂撥放器、
資源有限的資料探勘。
共 56 頁 1605/11/14

17. Affective Computing
使機器擁有情緒的時機使機器擁有情緒的時機
 討論：在 看過的動畫 通或電影中，你 卡
最喜歡 一個「機器擁有情緒的例子」你 哪
？
 討論：在 的生活中，若機器擁有情緒，你
能 助 什麼？幫 你
 人工智慧、瓦力、霹靂五號
 Star Trek: Data, Spock
 NCIS, 馬蓋先 + 老皮 共 56 頁 1705/11/14

18. 擁有情緒的使用案例擁有情緒的使用案例
Affective Computing

19. Affective Computing
Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (1)(1)
 一個 App 中的 agent
A. 擁有自己的情緒。
B. 能導正主人的情緒。
C. 能與其他 agent 交流。
共 56 頁 19
IA; Intelligent Agent
05/11/14

20. Affective Computing
Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (2)(2)
 A. agent 擁有自己的情緒：
 當手機記憶體、儲存空間飽和時，
agent 向主人表達自己不滿的情緒。
 當手機 GPS 被偵測出「不常移動」的 況時，狀
agent 向主人要求帶它出去運動。
 當手機電量將要用盡時， agent 跟主人 它肚子餓了說
。
 當手機連接氣象資訊，發現將要下雨時，
agent 告訴主人自己有被淋濕的危險。
 agent 從網路中取得具有情緒 涵的文章、資源，內
並分享給主人。
共 56 頁 2005/11/14

21. Affective Computing
Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (3)(3)
 B. 能導正主人的情緒：
 當主人情緒輕微低落時， agent 能開啟 youtube 等網路
資源，分享喜 轉移注意，悅
或開啟 Google 街景服務，讓主人看看世界美麗的地方
。
 當主人情緒嚴重負面時， agent 能傾聽主人訴苦。
 當主人在訴苦時，
agent 能利用心理諮商的方式導正主人。
 當主人情緒持續低落時， agent 開始關注主人行為，
若主人可能出現危險，
則 agent 主動向相關單位提出協助要求。
 當主人情緒被成功導正時，
agent 紀 導正的方法與結構，錄
共 56 頁 2105/11/14

22. Affective Computing
Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (4)(4)
 C. agent 能與其他 agent 交流：
 主人的朋友，就是 agent 的朋友；
朋友的 agent ，就是 agent 的朋友。
 agent 會要求主人帶它與其他 agent 交友。
 agent 會向其他 agent 學習屬於機器的情緒邏輯。
 若主人情緒低落時， agent 會請朋友來關心主人。
 若朋友情緒低落時， agent 會請主人去關心朋友。
共 56 頁 2205/11/14

23. 系統概念圖系統概念圖
Affective Computing

24. Affective Computing
概念圖概念圖
共 56 頁 2405/11/14

25. Affective Computing
系統示意圖系統示意圖
共 56 頁 2505/11/14

26. 大腦：大腦：
腦皮質腦皮質 vs.vs. 邊 系統緣邊 系統緣
Affective Computing

27. Affective Computing
共 56 頁 27
Limbic PerceptionLimbic Perception
 Limbic system 邊 系統緣
 紅色部分為大腦的邊 系統。緣
 邊 系統乃一術語指包含海馬體及杏仁體緣
在 ，支援多種功能例如內 情緒情緒、行為及長
期記憶的大腦結構。這種被描述為邊 系緣
統的腦部結構與嗅覺結構相近。
 術語「 limbic 」源自拉丁文「 limbus 」
，意指「邊界」或「邊 」。緣
05/11/14

28. Affective Computing
共 56 頁 28
Cortex vs. LimbicCortex vs. Limbic
 大腦有兩個半球，外層是很薄有皺紋的灰色組織
，叫作大腦皮質 (Cerebral cortex)
 Cortex: 腦皮層
 Cortex 則是直接處理感官的訊號，
生產 正確的感覺
 Limbic 和情緒有關
例如：聞到臭味時會 生厭惡的感覺產
 Limbic system 還會跟記憶有關聯
 例如聞到花香，
會想起某次旅行，
而且有愉快的感覺
05/11/14

29. Affective Computing
共 56 頁 29
Cortex
Lmbic
Brainstem
05/11/14

30. 第一與第二情緒第一與第二情緒
Affective Computing

31. Affective Computing
共 56 頁 31
Primary vs Secondary EmotionPrimary vs Secondary Emotion
 There are certain features of stimuli that we
respond to emotionally first, and that activate
a corresponding cognitive state secondarily.
 Primary emotion
 Limbic
 Innate
 Secondary emotion
 Arise later when systematic
connections are identified
btwn primary emotions &
cate. of obj. & situations
Cortex
Lmbic
Brainst
em
1st
2nd
05/11/14
• 看到老婆嚇一跳
• 手機照片
• 臉書
• 行車記錄器

32. 情緒合成情緒合成
Affective Computing

33. Affective Computing
共 56 頁 33
「情緒」 、 「動機」、「行為」「情緒」 、 「動機」、「行為」
 「情緒」會影響「動機」、
繼而影響「行為」
 當敵對角色出現時，
 可能會觸發「恐懼」情緒
 並導致角色有心跳加快、
體 下降的行為模擬。溫
05/11/14

34. Affective Computing
共 56 頁 34
Concern LoopConcern Loop
 系統將設計若干個 “ Concern Loop” ，
 個每 Loop 都會隨時檢查
是否有新的情緒輸入
 可以觸發其學習機制
 當某個 Loop 經過較長時間未接受到輸入時，
 會主動驅動一個要求，
請使用者輸入新資訊，
並將入融入既有的資訊，
形成一些記憶案例 Case 的知識庫
05/11/14

35. Affective Computing
共 56 頁 35
情緒模組間之影響情緒模組間之影響
 各種情緒模組之間，
對彼此各有一些正負向影響
 「喜 」的情緒，悅
會讓角色向出現「微笑」的行為。
 「喜 」的情緒，悅
可能抑制「沮喪」的情緒發生的機率。
05/11/14

36. Affective Computing
共 56 頁 36
情緒合成情緒合成
 情緒門檻
 情緒超過門檻 才會觸發值
 情緒飽合
 根據情緒的訊號特性，
必須在其達到飽和時，
就停止情緒量的 加增
 情緒遞減
 我們也會設定情緒的自動遞減機制，
讓該情緒在若無新刺激的情況下，
情緒量會逐 遞減步
05/11/14

37. Affective Computing
共 56 頁 37
多角色情緒社群關係多角色情緒社群關係
(Emotions in Social Relationships)(Emotions in Social Relationships)
 友好 (Friendship)
 彼此之間具有共同情緒評價方向
 敵對 (Animosity)
 彼此之間具有相反情緒評價方向
 同理心 (Empathy)
 暫時將自己的推理目標
改為對方的推理目標
05/11/14

38. Affective Computing
共 56 頁 38
情緒觸發三層次情緒觸發三層次
 迅速反應層次
 這對應到認知科學的 Fast Primary Emotion
 也對應到認知神經科學的大腦 Limbic System
 推理層次
 這對應到認知科學的 Secondary Emotion
 也對應到認知神經科學的大腦 Cortex 機制
 屬於一種 Cognitive Generated Emotion
 通常可透過
Planning 、 Evaluating 、 Reasoning 、 Inferen
ce 等動作來完成。
 自我監督層次
 決定如何更有效率地執行推理層次的任務
 並評估是否有效滿意達到的整目標
 可實現「情緒智慧」 (Emotion Intelligence)05/11/14

39. 擁有情緒的電腦，擁有情緒的電腦，
使用者比較喜歡噢使用者比較喜歡噢 !!
Affective Computing

40. Affective Computing
共 56 頁 40
Poker-Playing AgentsPoker-Playing Agents
with Facial Expressionwith Facial Expression
 People prefer: agent w f expr
 Koda’s wrok:
 illustrate how to syn emo in OCC
 10 emo expr for each agent
05/11/14

41. Affective Computing
共 56 頁 41
Emotions and MoodsEmotions and Moods
forfor Animated CharactersAnimated Characters
 Bates & Relly, 1994
 Make agent believablebelievable
 Oz Proj
 Syn chars
 Not look like real creature
 Powerfully influence audience as if real
 Disney Animation
 Thomas & Johnson

Important: each char has a clear emo state at all times
05/11/14

42. 再來看一次：再來看一次：
擁有情緒的五大定義擁有情緒的五大定義
Affective Computing

43. Affective Computing
共 56 頁 43
Computers thatComputers that
HaveHave EmotionsEmotions
 Feeling
 Human vs machine
 Have
 What means?
 How do we know?
 Five components
 For a sys that has emo
05/11/14

44. Affective Computing
共 56 頁 44
Computers thatComputers that
HaveHave EmotionsEmotions
 Components
1. Emergent emo & emtional behavior
2. Fast primary emo
3. Cognitive generated emo
4. Emotional experiences
1. Cognitive awareness
2. Physiological awareness
3. Subjective feelings
5. Body-mind interaction
 Evaluating Performance
05/11/14

45. Affective Computing
共 56 頁 45
C1. Emergent emo &C1. Emergent emo &
emtional behavioremtional behavior
 Emotional behavior
 Sys has behavior that appear to arise from emo
 Emergent emo
 Those which are attributed to sys based on their
observable emo behavior
05/11/14

46. Affective Computing
共 56 頁 46
C2. Fast primary emoC2. Fast primary emo
 Be afraid before knowing what is
happening
 Before signal getting to cortex
 Animal: innate, to harmful events
 Primary emo
 Innate, quick & dirty reactions
 Surprise, angers
05/11/14

47. Affective Computing
共 56 頁 47
 Brain: Two comm sys
 Rough pattern recog.
 Hijack cortex
 False alarm
 Finer patter recog.
 Slower
 Precise
 Primary emo:
 important for re-allocation of limited resources
05/11/14

48. Affective Computing
共 56 頁 48
C3. Cognitive generated emoC3. Cognitive generated emo
 Explicit reasoning
 Cognitive-appraisal emo.
 Don’t worry; be happy
 Happy
 Cognitively gen
Secondary emo
05/11/14

49. Affective Computing
共 56 頁 49
C4. Emotional experiencesC4. Emotional experiences
1. Cognitive awareness
2. Physiological awareness
3. Subjective feelings
05/11/14

50. Affective Computing
共 56 頁 50
C5. Body-mind interactionC5. Body-mind interaction
 緊張  胃痛
 害羞  臉紅
 Emo influence mem
 Internal feelingsfeelings (Component 4)
 These influence NOT happen in sys
having no subjective feelings
05/11/14

51. 評估電腦是否擁有情緒評估電腦是否擁有情緒
Affective Computing

52. Affective Computing
共 56 頁 52
Evaluating PerformanceEvaluating Performance
 C1: emotional behavior
 Outside observ.  correct sys emo behavior?
 C2: fast primary emo
 Sys respond quickly?
 C3: cognitive emo
 Sys understand its gen emo?
 C4: emo experience
 Its sensor discriminate diff feeling for diff emo?
 C5: body-mid interaction
 Positive mood  retrieve, learn, recog pos.
info?
05/11/14

53. 結論結論
Affective Computing

54. Affective Computing
共 56 頁 54
SummarySummary
Components of emo sysComponents of emo sys
 Have emo  has 5 components:
 Sys has behavior that appear to
arise from emo
 Fast primary emo response
 Cognitive gen emo
 Emo experience
 Cog awareness
 Physiological awareness
 Subj feeling
05/11/14

55. Affective Computing
困境困境
 陪伴 vs. 提高學習動機 vs. 協助學習 ?
 干擾 ?
 互動頻率 ?
 Feedback:
 學生的情緒 ?
 回應的情緒 ?
 代理人的情緒 ?
 如何回應 ?
共 56 頁 5505/11/14

56. Affective Computing
共 56 頁 5605/11/14