NAIST SD Study 2016/6/10

1. SD Study(2016/6/10)
対話システム
5.5 マルチモーダル・マルチパーティ対話術
5.6 人間と対話システムのインタラクション
M1 MORI TAKUMA(SP)
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 1

2. Outline
5.5 マルチパーティ・マルチモーダル対話技術
5.5.1 マルチモーダルな話者交替
5.5.2 マルチパーティ対話システムにおけるフロアマネジ
メント
5.5.3 受話者推定
5.5.4 共通基盤確立におけるマルチモダリティ
5.6 人間と対話システムのインタラクション
5.6.1 システム表現の拡張
5.6.2 ユーザとの関係性の構造
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 2

3. 5.5 マルチパーティ・マルチモーダル対話技術
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 3

4. 5.5 マルチパーティ・マルチモーダル対話技術
マルチパーティ対話システム
三者以上が参加した状態での対話を扱うシステム
マルチモーダル対話システム
入出力にテキストや音声の言語情報以外のモダリティが追加される対
話システム
⇒本節では対話管理の基本問題について扱う
話者交替
基盤化
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 4

5. 経過時間[秒]
参加者A
発話
ジェスチャ
視線
参加者B
発話
ジェスチャ
視線
参加者C
発話
ジェスチャ
視線
5.5.1 マルチモーダルな対話交替
話者交替のシグナルとしてさまざまなモダリティを使う
発話 ジェスチャ 視線
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 5
１ ２０ ４３
B
その他
B
その他 C その他 A
「歴史的なもの？」
その他
A
「歴史的なものを学びたいんだけど」

6. 5.5.1 マルチモーダルな対話交替
フロアマネジメント
話者交替の統制
話者交替の統制をする言語・非言語行動をフロアマネジメント行為という
⇒音情報のみを用いるより円滑な話者交替を実現できると考えられる
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 6
フロアマネジメント行為
ターン保持 相手から視線をそらす
ターン譲渡 文法的な節の完了
文末イントネーションの使用
次話者への顔向き
ジェスチャの終了，手を基本位置に戻す
ターン取得 現話者に視線を向け，アイコンタクトを確立

7. 5.5.2 マルチパーティ対話システムにおけるフロアマネジメント
マルチパーティでは次話者の候補者が複数ある
現会話でターンを保有している話者が次話者を指定
人はフロアマネジメント行為，手のひらを差し向けるジェスチャ
⇒順番に視線を向け，アイコンタクトをとる
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 7

8. 5.5.3 受話者推定
ユーザ対システムの二者間の対話を想定したシステム
ユーザが発話＝受け手はシステム
ユーザが複数
発話が誰に向けられたものなのかを推定する必要がある
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 8

9. 5.5.4 共通基盤確立におけるマルチモダリティ
1. 非言語シグナルによるコミュニケーションチャンネルの確立
対話への参加
知覚的つながり
ユーザからのフィードバックを解釈
不十分である場合委は対話への積極的な参加を促す
話題を変える
ユーザの対話への参加態度を推定
複数のモダリティを用いる
対話参加度を判断する対話ロボット（音声，立ち位置，フェイストラッカ）
アイトラッカによる注視対象の遷移，注視継続，瞳孔径
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 9

10. 5.5.4 共通基盤確立におけるマルチモダリティ
2. マルチモーダル基盤化
ユーザ発話の言語情報をシステムが正しく理解できているか
音声だけでなく頷きや視線による非言語情報からも推定
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 10

11. 5.6 人間と対話システムのインタラクション
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 11

12. 5.6.1 システム表現の拡張
1. Subtle expression
表情や微妙な言葉の使い分けで様々な情報を伝えること
人間が相手の発話を理解するとき，言葉7％，声38%, 表情55％の割合で重視
 エージェントから人への情報伝達においても重要
 エージェントが人間らしい振る舞いをすることでしられている(不気味の谷現象)
⇒ロボットの頭部の色で感情，ビープ音の高低で確信度
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 12

13. 5.6.1 システム表現の拡張
2. パーソナリティ
 対話システムの多くは擬人化されている
 人間と言葉を用いてインタラクションを行うため
 ユーザはシステムに何らかの性格(パーソナリティ)を感じている
⇒ユーザが違和感を感じないパーソナリティを与えることが望ましい
 ビッグファイブ（外向性，情緒安定性，協調性，誠実性，経験への開放性）〔心理学〕
 「○○みたいな」，「○○あたりに」のように主張を柔らかくする
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 13

14. 5.6.1 システム表現の拡張
3. メディアの等式
人間はメディアに対して社会性を見出す
画像，映像，音声，コンピュータ
人間同士の社会的関係が構築されるように現実とメディアに等式がなり
たつ
システムの見掛けを人に近づける
ジェスチャや表情などを出力の表現形態
⇒社会的存在として認識しているかを意識した設計が必要
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 14

15. 5.6.1 システム表現の拡張
4. 外見とのギャップ
外見のリアリティが高い⇒期待感が高くなる
期待した結果が得られないと失望感が高まる(適応ギャップ)
⇒適応ギャップを最小限に止めるデザインが必要
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 15

16. 5.6.2 ユーザとの関係性の構築
対話システムがバーチャルエージェントやロボットなど身体的表現を有
するインタフェースの形態をとるようになる
⇒ユーザとの関係性の構築において信頼関係が必要となる
フィードバックを返す ー 笑顔，頷き
長期的な関係性を築く ー ユーザとの対話からユーザ特有の対話
06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 16