Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
En vedette (20)
Similaire à 社会的シグナル(Social signal)から対話相手の意図を読む, 植田一博
Similaire à 社会的シグナル(Social signal)から対話相手の意図を読む, 植田一博 (20)
Plus de KIT Cognitive Interaction Design
Plus de KIT Cognitive Interaction Design (17)
社会的シグナル(Social signal)から対話相手の意図を読む, 植田一博
- 2. 講演内容 • 社会性認知に関する研究 • 言語コミュニケーションから非言語インタラクションへ • 他者の意図理解に関する研究 • 我々の研究の紹介 • 複数の非言語情報による嘘の自動判別 • 対面販売場面における販売員と顧客のインタラクション： 非言語行動からの選好推定 • 今後の研究課題 • ロボットやエージェントへの実装のために
- 3. 社会性認知に関する研究 • 社会性認知(social cognition) • 個人間のインタラクションないしコミュニケーション（会話）を 成立させる上で必要となる種々の認知能力 • その機能は，他者認知，顔・表情認知，視線認知，自己認識， 模倣，共感，他者意図理解，社会的情動，共同注意，協調作 業，観察学習，心の理論，コミュニケーションなどを含む。 • 高次レベルの認知機能 →低次（感覚・運動に近い）レベルの認知機能 • 社会心理学→認知科学・認知脳科学 • 相手が発する非言語情報（表情，視線，しぐさやジェスチャー， 姿勢，音声に含まれる韻律など），つまり社会的シグナルの 読み取りから，ボトムアップに社会性認知が実現されている。
- 4. 言語コミュニケーションから 非言語インタラクションへ • (Grice, 1969)以降の言語学の主流 • 意図的な情報伝達 • 最近の認知科学や認知言語学 • 表出された行動の連鎖として会話を捉える • 社会的シグナルとしての非言語情報の読み取りが，コミュニ ケーションの成立に重要である • 言語コミュニケーションから非言語インタラクションへ • インタラクション時の非言語情報の計測と分析が重視
- 5. 他者の意図理解に関する研究（１） 誤信念課題を用いた研究 心の理論 人や類人猿などが，他者の心の状態，目的，意 図，知識，信念，志向，疑念，推測などを推測す る心の機能のこと（Premack & Woodruff, 1978） サイモン・バロン＝コーエン：他者の心を 読むための機構 • 意図検出器（Intentionality Detector） • 視線検出器（Eye-Direction Detector） • 注意共有の機構（Shared-Attention Mechanism） • 心の理論の機構（Theory-of-Mind Mechanism: ToMM） サリーとアンの課題の図
- 6. 他者の意図理解に関する研究（３） インタラクションを通した情動理解 • コミュニケーションにおける同調傾向 • 反応潜時（長岡ほか, 2002），顔表情（Gump & Kulik, 1997）， mimicry（Lundqvist, 1995; Hess et al., 1998），身体動作 （Condon & Ogston, 1966; Kendon, 1970），呼吸変化（中村, 1995; 長岡・小森・中村, 2000）など • 身体の同調がラポールやポジティブな印象などの情動 に影響（Laird & Lacasse, 2014） • 人-エージェント間でも同様な現象 • エージェントが表出する非言語情報が説得（Bailenson & Yee, 2006），関心（Mota & Picard, 2003），満足（Ohmoto et al., 2012）などの点で人に影響
- 7. 他者の意図理解に関する研究（４） • こうした機構が生得的に備わっているのかどうかについ ては議論があるが，普遍的な機構と考えられる • 心の理論：生得性を強調する「モジュール説」 vs. 経験を通じ た理論形成を強調する「子供＝小さな科学者説」 • 模倣：人はmimicry によって共同社会の中で生きることに適 応（Lakin, Jefferis, Cheng, & Chartrand, 2003） vs. 新生児模倣 に対する否定的なデータ（Oostenbroek et al., 2016） • こうした機構のメカニズムを解明し，それを人と人工物の インタラクションに役立てることは有益と考えられる。 • 先行研究の問題点 • 心的状態と単一の非言語情報との関連を調べたものが多い （例外：Banziger et al., 2012; Mehu & van der Maaten, 2014） • 実験室状況で調査→現実のコミュニケーションでは不明
- 8. 研究目的 • 現実のコミュニケーションの中で理解 • 記号的な情報の読み取り • 言語情報やシンボリックな情報 • 意図や感情の読み取り • 主に非言語情報 非言語情報から人の意図を読み取る →嘘の判別，対面販売での選好の判別
- 9. 複数の非言語情報による 嘘の自動判別 大本義正（京都大学） 植田一博（東京大学） 大野健彦（NTT研究所） 大本 義正・植田 一博・大野 健彦 (2010)． 複数の非言語情報による自由なコミュニケーション中の嘘の自動判別の可能性の検討． 『電子情報通信学会和文論文誌D』，J93-D(6)，848-856．
- 10. 本研究の目的とアプローチ • 自然なコミュニケーション中の人間の意図を，機械的に 判別する方法の手がかりを得る • アプローチ • 嘘に焦点を当てる • 非言語情報によって意味解釈が変化する典型例 • 嘘をついているときの非言語情報の分析 • コミュニケーション中に自発的に嘘をつける環境（犯罪の初期捜査や不 正行為に関わる初期の聞き取りなどを想定） • 人間の判別能力の確認 • 非接触で機械計測された非言語情報
- 11. 嘘研究の概要（１） • ポリグラフ • 呼吸，皮膚抵抗，脈波などの生理 指標を用いる • 基本的に組になった質問を必要と する • 裁決―非裁決，関係―無関係など • 古くから研究があり，手法がほぼ 確立 • 脳活動 • ERPやfMRIなどを用いる • 高い判別率（Kozel et al., 2005等）
- 12. 嘘研究の概要（2） • 非言語情報による判別 • 瞬き，音声，視線，反応潜時などを用いる • 利用されると考えられている情報はとても多い • どれも決定力に欠けることが多い • 基本的に刺激の提示を必要とする • 人間による観察 • 人間が判断をして，報告をする • インタビューとアンケートによる • 取り調べのような状態を想定することが多い • この状況なら，CIA職員で72％判別可能
- 13. 何が問題か • コミュニケーション中の嘘が対象ではない • 映像などに関する報告における嘘や窃盗等を隠蔽する時の 嘘 • 被験者の状態は平静である • 一部の非言語情報を除く • 意図性を問題にしない • 自発的で任意性のある嘘を対象にしない • 質問や刺激の統制が必要 コミュニケーション中の嘘発見の可能性を まず調べる必要
- 14. 実験概要 • 人間同士のコミュニケーション実験 • 自発的に嘘をつける環境を設定 • 複数の非言語情報を非接触で機械計測 • 計測システムは自作 • 参加者は23組（男性13組，女性10組） • 研究1：記録ビデオによる人間の判別能力を確認（スライ ド非公開） • 研究2：計測された非言語情報から機械的に判別可能性 を検討 • 研究3：計測された非言語情報の提示による人間の補助 を検討（スライド非公開）
- 15. 実験環境 • インディアンポーカーを利用 • 自由度の高いコミュニケーション中に嘘をつく • 安定して多くの嘘を自発的についてもらうため • 実験者も参加 • 嘘をつくことに不安と緊張を持ってもらうため • 円滑なゲーム進行のため
- 16. 注目すべき非言語情報 • 予備実験のビデオによる分析から • 有効であるように見える • 視線 • 嘘をつく場合に，話しかける相手を見ない傾向 • 韻律（声の調子） • 一定傾向ではないが，声の高さや大きさが変化 • 表情（作り笑い） • 目元よりも口元が早く変化 • 数は少ないものの，作り笑いが増加する傾向 • 無効，あるいは検出が難しい • 発話潜時 • 手や頭などの動き • 微妙な表情変化
- 17. 計測する顔特徴 • 視線 • 光彩（瞳孔）中心 • 顔方向 • 目頭 • 鼻孔 • 表情（作り笑い） • 上瞼・下瞼 • 口角
- 18. 実験環境の構成 • 画面を通してコミュニケーションを 行う • 画面の人とは視線が合うように調整 • ハーフミラーボックスと複数のカメラを使 用 • ゲームはプログラムで行う • お互いの間には仕切り
- 19. 実験手順 インディアンポーカーの説明 本実験前に１回練習 本実験 １回の勝負が１試行 コミュニケーションに制約無し70～80分 一ヶ月ほどの期間をおいて２回行った
- 20. 研究2（嘘の自動判別）：分析方法 • 分析の単位は「発話」 • 「嘘の発話」「それ以外の発話」 • 言語的に事実と異なるものが「嘘の発話」 • はぐらかし等は「それ以外の発話」 • 判別分析 • 先行研究（Vrij et al., 2000など）にならった • 判別関数は総当たりで検索 • 18名（男性9名，女性9名）を分析対象 • 計測不可の人や嘘をつかなかった人を除外 • 全部で2214発話 • 嘘：653，嘘以外：1561
- 21. 判別に利用した特徴の一覧 • 視線（発話時間に対する割合） • 発話相手の人の顔を見ている時間の割合 • 発話相手以外の人の顔を見ている時間の割合 • 発話相手の人のカードを見ている時間の割合 • 発話相手以外の人のカードを見ている時間の割合 • 発話相手外を見ている時間の割合 • 注視対象移動回数 • 注視対象移動割合 • 韻律（3段階にエンコード） • 発話の前半のピッチの平均 • 発話の後半のピッチの平均 • 発話のピッチの変化 • 発話の前半のパワーの平均 • 発話の後半のパワーの平均 • 発話のパワーの変化 • 表情（すべて真偽値） • 目元の変化が口元の変化と同時か早い • 目元が変化している • 口元が変化している
- 22. 研究2：分析結果（1） • 全体の判別結果（平均69.6％の正解率） • クロスバリデーションでも平均68.6％ • かなり高い判別率 • 訓練されていない人：42％ • 訓練された人間：50％ • 人間でも，この状況に特化すればもう少し高い 嘘 嘘以外 嘘 65.7％ 26.6％ 嘘以外 34.3％ 73.4％ 非言語情報による自動判別の可能性
- 23. 研究2：分析結果（2） • 嘘をついているときの挙動 • 発話相手から目をそらして，発話相手のカード以外の場所を見つめて いる • 発話の前半から低く，平坦な声 • 作り笑いをしている • 個人差はある • 個人ごとにチューニングすると70％～85％ • 状況による差もある • 実験の1回目と2回目で変化することも • 視線のみ，音声のみでは判別率が低い • 特定の非言語情報に特徴があるわけではない 適応による判別率向上 複数の非言語情報に注目する必要性
- 24. 議論：なぜ機械判別は可能なのか • 多くの非言語情報を利用 • だまそうとする意図が，複数の非言語情報に漏洩 • 非言語情報を広く見て統合的に利用 → 嘘をつく際の非言語情報の表出パターンをカバー • 話題の中心が移り変わる • 嘘をつく状況と本当のことをいう状況が混在する • 嘘をつく状況になった際に，嘘がばれないように非言語情報 の抑制を行う準備を十分に行えない • いずれも，自由なコミュニケーションという環境によって 新たに得られた手がかり
- 25. 結論 • 非接触計測された非言語情報の統合的な利用によって， 嘘を判別可能であることを確認 • コミュニケーション中の嘘は判別しにくい • 全体では70％近い自動判別が可能 • チューニングによってさらに改善することが示唆 • 人間に計測データを見せることである程度補助できることを 確認 今後は，より一般的な意図推定へ
- 26. 対面販売場面における 販売員と顧客のインタラクション： 非言語行動からの選好推定 本田秀仁（東京大学） 久松稜介（東京大学） 大本義正（京都大学） 植田一博（東京大学） Honda, H., Hisamatsu, R., Ohmoto, Y., & Ueda, K. Interaction in Face-To-Face Selling Situation: Estimation of Customer’s Preference Based on Nonverbal Behaviors. submitted to HAI International Conference 2016.
- 27. 先行研究 非言語行動からの心的状態の推定 • 視線，体勢，韻律，頭の位置と心的状態の関係性 （e.g., Bailenson et al., 2006; Mota & Picard, 2003; 藤江2005; Motaet al. 2003; Ohmoto et al., 2012; Stoltzman, 2006） • 実験室状況での検討が多い • 単一の行為と心的状態の関係性の検証 • Empirical question • リアルフィールドではどうか？ 2 7
- 28. 実験の概要
- 29. 実施した課題 • 旅行相談課題 • 顧客が旅行について相談する • 店員が相談に応じて，顧客が望む旅行プランを提案する 相談時間（30分） 旅行先（沖縄 or ハワイ）以外は 基本的に統制はなし →可能な限り リアルフィールドへ近づける
- 30. 実験の参加者 • 販売員役：10名（女性，Mage = 30.02） 実際に旅行代理店で社員として旅行相談を行っている • 顧客役：15名（男性4名・女性11名，Mage = 50.93） 実際に家族旅行に行きたいと考えている人を募集 • 合計30ペアに対して課題を実施 顧客は異なる二人の店員の相談に2回参加 販売員は異なる三人の顧客の相談に3回参加
- 32. 結果・分析
- 35. 非言語行動の表出強度の操作的定義 提案時間：x秒 提案後，30秒 この間に出た非言語行動：y秒 表出強度：y / (x + 30) （うなづきは回数で定義）
- 36. アンケート結果 提案された旅行プランに関する顧客の魅力度評定 評定値：６と７→魅力度強 評定値：５以下→魅力度弱 0 25 50 75 100 125 評定値 パーセント １ ２ ３ ４ ５ ６ ７
- 38. 統計分析の方法 • ロジスティック回帰分析 • 従属変数：顧客の選好強度（強→1，弱→0） • 独立変数：顧客の非言語行動の表出強度 主効果：4種類の非言語行動 2次の交互作用：全組み合わせ（6通り） • AICを指標として，ステップワイズ法により変数選択 38
- 39. 統計分析の結果 • 選択された変数 前かがみ＊うなづきの交互作用（p < .05） 顎に手＊前かがみの交互作用（p > .1） 39
- 40. 結果のまとめ • 非言語行動からの選好推定 • 顧客の前かがみとうなづきが強く観察されたときに，提案 されたプランに対する魅力が高い • それが販売員の行動によって間接的に引き起こされる可能性 • 複数の非言語行動を用いることによって，選好の区分がよ り明確になる 40
- 41. 総合討論 • リアルフィールドにおける非言語行動からの内的状 態の推定 • リアルフィールドにおいても推定可能 • 複数の指標を用いることによって，精度は増す • リアルフィールドでの分析の重要性 • より実世界の場面における振る舞いと内的状態の関係につ いての知見→知見の応用性 • ユーザーの内的状態を推測しながら商品やサービスの推奨 を行うようなオンラインショッピングにおけるコンシェルジュの 構築など 41
- 42. 課題（1と2のいずれかを選択） 1. 人-人インタラクションで，意図を読んでいる，ある いは読まれていると考えられる事例を挙げて，どの ような社会的シグナルがどのように使われている のかを考察しなさい。 2. 社会性認知に関する英語の先行研究（原著論文） を1本読み，その概要を200-300字程度でまとめる とともに，その研究を発展させてできそうな研究計 画を500字程度でまとめなさい。 • どの論文を読んだのかわかるように，論文情報（著者， タイトル，雑誌名，号・巻，掲載ページ）を明記しなさい。