Recommandé
Recommandé
Contenu connexe
Plus de KIT Cognitive Interaction Design
Plus de KIT Cognitive Interaction Design (20)
人間との協調を学ぶ人工知能 岩橋直人 Artificial intelligence that learns to cooperate with human: Naoto Iwahashi
- 1. Artificial Intelligence That Learns to Cooperate With Human 人間との協調を学ぶ人工知能 人工知能学研究室 岩橋直人 空君
- 2. 1997 チェス (IBM) 二足歩行 (Honda)
- 4. 諸個人が互いを主体として承認しつつ単一の世界を共有しているよう な事態 対話における間主観性 − 相手がどのくらい自分の発話を理解するか？ − 自分が相手の発話をどのくらい理解しているか？ このいわば、間主観的確信度がコミュニケーションの根幹である 言語学（語用論）で取り扱われていない − 関連性理論、グライス理論 etc. 人工知能学でも取り扱われていない 認知的インタラクションデザインでは？ 間主観性
- 5. 対話例 話者Ａ： おはよう。きのうの夜、観た？ 話者Ｂ： うん、観たよ。なかなか良かったな。 話者Ａ： そうだね。 4 「省略」は「会話の本質」 口語と文語は異なる言語体系 省略→補完のプロセスにより意思 の疎通が可能となる 発話の生成と理解の同時性
- 9. 2007 Language Acquisition Robot (Iwahashi)
- 11. 2017-
- 12. 人間との協調を学ぶ人工知能 ① Learning by watching cooperating people ―multimodal linguistic interaction― 協調している人間を見て学ぶ ―マルチモーダル言語インタラクション ― ② Learning by watching cooperating people ―time-synchronous interactionー 協調している人間を見て学ぶ ー時間同期インタラクションー ③ Explaining reasons of visual decisions 画像に基づく判断の根拠を説明する 11
- 13. Learning by Watching Cooperating People - Multimodal Linguistic Interaction - 協調している人間を見て学ぶ - マルチモーダル言語インタラクション -
- 14. 従来研究① 対話 (Sutskever 14) 入力：単語列 − 例： 「音楽 が 好き なんだ」 出力：単語列 − 例：「どんな 音楽 が 好きなのかな」 13 Word sequence Word sequenceNeural Network
- 15. 従来研究② 言語獲得 (高渕，2017) 入力：画像と動作情報 出力：単語列 − 例：「え る も お は こ に の せ る」，「と と ろ お べ ん と お の う え お と び こ え さ せ て」 14 Image Motion Syllable sequenceNeural Network
- 16. 従来研究③ Visual Question Answering (Agrawal,2015) 入力：質問文（単語列）と画像 出力：質問に対する応答 − 例：入力「テーブルの上に何がありますか？」, 出力「牛乳」 15 Word sequence Image Word sequenceNeural Network
- 17. 従来研究との比較 16 Word sequence Image Word sequenceNeural Network Neural Network Syllable sequence Motion Image Motion Syllable sequence 従来研究③ VQA (Agrawal, 2015) 提案手法 Image Motion Syllable sequenceNeural Network 従来研究② 言語獲得（高渕，2017） 従来研究① 対話（Sutskever，2014） Word sequence Word sequenceNeural Network
- 18. 提案手法の特徴 特徴1. 三つの入力モダリティ 言語行為，動作，状況画像の3つを入力とする． 特徴2. 二つの出力モダリティ 言語表現と動作情報の2種類のどちらが最適か判断し出力する． 特徴3. 二種類の人間の発話機能 1.動作指示 2. Visual Question 17
- 19. 特徴1. 三つの入力モダリティ 1. 言語情報（音節列） − 「は こ を あ げ て」，「ま わ し て」，「こ れ な に」 2. 動作 − 物体に対する指差し，注視の2種類． 3. 状況画像 − RGB-Dの画像で表される． 18
- 20. 特徴2. 二つの出力モダリティ ロボットの言語表現 − 「べ ん と お だ よ」，「え る も だ よ」 − 物体名+「だ よ」の日本語音韻列 ロボットの動作情報 − 「OBJ1 AGARU」，「OBJ2 MAWARU」 − 画像内の物体ID+動作名 − 動作は「上げる」，「下げる」，「まわす」の 3種類 19
- 21. 特徴3. 二種類の発話機能 Command：「は こ お あ げ て」，「ま わ し て」 Visual Question：「こ れ な に」 動作命令と，Visual Questionを同じネットワークで識別する手法は今ま で存在せず，本研究の最大の特徴であるといえる． 20
- 22. 基礎的発話機能 基礎的型 basic types 事物 commodity 初期発話 initiation 付与 Give 品物／行為 good / service 提供 Offer 要求 Demand 品物／行為 good / service 命令 Command 付与 Give 情報 Information 陳述 Statement 要求 Demand 情報 Information 質問 Question 21
- 23. ニューラルネットワークモデルの構成 22 Encoder RNN FC CNN-FE IS Syllable sequence Image Motion Syllable sequence Motion Decoder RNN CNN-FE
- 24. 条件 状況画像はKinectで撮影し，画像内に存在する物体は2つとする． 使用する画像特徴量は使用するデータ全てで異なる． 音節列は人手で書き起こしたもの． 使用した物体の種類は10種． 23
- 25. データ 入力：人間の行為 （言語，動作，画像） 出力：ロボットの行為 （言語，動作） 入出力データペア総数:840個 − 360ペア:動作命令，480ペア:Visual Question 24
- 26. データの例 入力：人間の行動 出力：ロボットの行動 音節列 は こ お あ げ て - 動作情報 - OBJ1 AGARU 音節列 ま わ し て - 動作情報 指差し OBJ2 MAWARU 音節列 こ れ な に え る も だ よ 動作情報 注視 - 25
- 29. 発話機能毎の精度 28 Accuracy[%] Command Visual Question 0 20 40 60 80 100 Training Test 98.0 73.3 99.1 73.8
- 31. 考察 1. 物体数の制限について − 2個に制限 − 解決法：LSTM，セグメンテーション無しでの入力 2. 入力データについて − 人間の指差し，注視，音節列：人手で入力したもの − 今後，音声，動画像を直接入出力とする実験を行う予定 3. 実験全体を通して − データの種類に対して総数が少ないため，データ数を増やすことで精度上 昇が見込める − 実際にロボットシステムに組み込んでインタラクションの観点から評価する 30
- 32. ①のまとめ ヒューマンロボットマルチモーダル言語インタラクションのためのニュー ラルネットワークモデルの提案を行った． 1. 入力モダリティ （言語，画像，動作） 2. 出力モダリティ （言語，動作） 3. 二種類の発話機能 31 Neural Network Syllable sequence Motion Image Syllable sequence Motion
- 33. Learning by Watching Cooperating People - Time-Synchronous Interaction - 協調している人間を見て学ぶ - 時間同期インタラクション -
- 34. 観察による動作模倣学習と協調行為学習の比較 協調行為の学習と生成では 相対関係に基づく行為（動作）のモデリングが重要 33 動作模倣学習 （e.g. Breazeal 2002) 協調行為学習 人数（時系列数） 1 2≤ 自律性 自律運動、物体操作 他者依存、相互適応 学習対象 一人の目的 チームの協調、各自の役割 セグメント関係 時間関係 時間・並列関係 生成 自律 他者の動作に依存 Point!
- 35. 参照点との相対位置に基づく動作の学習と生成 タスク： 人間による参照点に依存した動作の模倣学習 − 一人の動作の観測に基づく学習と生成 課題： 非観測情報の推測 − 参照点はどれか？ − 座標系は何か？ 従来法 − 参照点に依存した隠れマルコフモデル（羽岡, 岩橋, 2000） − 参照点に依存したガウス過程隠れセミマルコフモデル（岩田, 中村, 2016） 34
- 36. 協調行為の学習と生成 タスク： 複数の人間が行う協調行為の学習 − 複数の人の動作の観測に基づく学習と生成 課題： 相互に依存関係にある二つの時系列｛X1, X2} のモデリング − 教師無し学習（ラベルなど一切ない） − どうモデル化するか？ − 学習モデルの複雑さをどう選択するか？ − 他者の行為に依存した行為をどう生成するか？ 提案法（2つのオリジナル手法） 1. Coupled HMMの最小記述長規準に基づく複数時系列学習法 2. Coupled HMMに基づく他者の動作時系列に依存した動作時系列 生成法 35
- 37. Coupled HMMと最小記述長（MDL）規準学習 36 Markov chain 1 Markov chain 2 最小記述長（MDL）規準に基づくモデル構造とモデルパラメータ値の学習 コスト(𝑋𝑋1, 𝑋𝑋2; Λ) = モデル記述長（Λ） ー対数尤度 (𝑋𝑋1, 𝑋𝑋2; Λ) �Λ＝ 𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎 Λ コスト(𝑋𝑋1, 𝑋𝑋2, Λ) Coupling Coupled Markov chains
- 38. Coupled HMMに基づく協調行為の動作時系列生成 37 �𝑋𝑋2 = argmax 𝑋𝑋 尤度 𝑋𝑋1, 𝑋𝑋 Λ𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶 𝐶𝐶 𝐻𝐻𝐻𝐻𝐻𝐻 Λ𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶 𝐶𝐶 𝐻𝐻𝐻𝐻𝐻𝐻 𝑋𝑋1 時系列生成 �𝑋𝑋2 �𝑋𝑋 = argmax 𝑋𝑋 尤度 𝑋𝑋 Λ 𝐻𝐻𝐻𝐻𝐻𝐻 Λ 𝐻𝐻𝐻𝐻𝐻𝐻 時系列生成 �𝑋𝑋従来法： HMMによる軌道生成 （Tokuda, 1995) 提案法
- 39. 条件：データ 二者間協調行為：両者右手のみを使った簡易『あっち向いてホイ』 観測量：両者右手の垂直・水平方向変位 (x, y)、4サンプル/秒 各約1分間の協調行為2回分の時系列データ 38 学習 学習 テスト テスト 𝐷𝐷 = 𝑋𝑋1, 𝑋𝑋2 , 𝑋𝑋1, 𝑋𝑋2
- 40. 条件：学習データ 39 𝑋𝑋1 𝑋𝑋2 0 10 20 30 40 50 60 70 時間（秒） 水平方向 垂直方向 学習 学習
- 41. 条件：テストデータ 40 𝑋𝑋1 𝑋𝑋2 テスト テスト 0 10 20 30 40 50 60 時間（秒） 水平方向 垂直方向
- 42. 実験で用いた Coupled HMM の構造と探索法 41 ランダム10分割 ランダム10分割 ランダム10分割 ランダム10分割 構造 探索法 第1時系列用 モデル 第2時系列用 モデル
- 43. Coupled HMM の MDL 規準による学習 42 モデル記述長 ―対数尤度 0 1000 2000 3000 4000 5000 6000 1 2 3 4 5 6 7 8 コスト Segment HMM の数 コスト コスト = モデル記述長ー対数尤度 �Λ＝ 𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎 Λ コスト(𝑋𝑋1, 𝑋𝑋2, Λ)
- 44. 学習された5つの Segment HMM による分節化 43 𝑋𝑋1 𝑋𝑋2 時間（秒） 1 2 3 4 5 学習 学習 1 2 3 4 5 正面 上下 右 左 タッチ 正面 上下 右 左 タッチ
- 45. 動作時系列の予測誤差 44 学習データ テストデータ 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2 3 4 5 6 7 8 正規化誤差エネルギー Segment HMM の数
- 46. 生成された動作時系列 45 𝑋𝑋2 �𝑋𝑋2 0 10 20 30 40 50 60 時間（秒） 水平方向 垂直方向 テスト テスト 𝑋𝑋1 テスト
- 47. 考察 汎用性・拡張性が非常に高い基本技術 学習・生成 ＋ 分析・異常検知 協調行為の種類別、適用可能性 46 交互 同時 非同期 対称 △ ・ 家具の組立 ・ シーソー遊び ・ 対話、会議 〇 ・ あっち向いてホイ ・ 家具の移動 △ ・ 観光客群衆行動 非対称 △ ・ 家具の組立 ・ 餅つき ・ 対話、会議 〇 ・ 食事の補助 ・ 物の受け渡し ・ 障害物回避 ・ 自動運転 ・ 手術 △ ・ トレーナーとラー ナーの行動 ・ 複数人での調理
- 48. ②のまとめ 二つのオリジナルポイント 1. Coupled HMMのMDL規準による複数時系列学習 適切なCoupled HMMの構造の推定 2. Coupled HMMに基づく他者の動作時系列に依存した動作時系列生成 未知データの誤差を最小にする動作時系列の生成 今後の拡張 − 身体動作に加えて音声や動画などを含むマルチモダリティ 音声を含む『あっち向いてホイ』など − 隠れセミマルコフモデル 47
- 49. Explaining Reasons for Visual Decisions 画像に基づく判断の根拠を説明する
- 50. 人間への人工知能による判断根拠の説明 人間と人工知能の協調 − ディープラーニングは内部構造が非常に複雑で抽象的 − 内部パラメータを観測しても判断の根拠の理解が極めて困難 − 畳込みニューラルネットワークにおける根拠の可視化： Gradient-weighted Class Activation Map (Grad-CAM) (Selvaraju 2017) 49
- 51. Grad-CAM 50 Heat map 𝛼𝛼𝑘𝑘 𝑐𝑐 = 1 𝑍𝑍 � 𝑖𝑖 � 𝑗𝑗 𝜕𝜕𝑦𝑦𝑐𝑐 𝜕𝜕𝐴𝐴𝑖𝑖𝑖𝑖 𝑘𝑘 𝐿𝐿𝑐𝑐 = 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 � 𝑘𝑘 𝛼𝛼𝑘𝑘 𝑐𝑐 𝐴𝐴𝑘𝑘 𝑘𝑘 番目の Feature map の寄与度 CNN FCLs 𝑦𝑦 Input Heat map Backtrack until feature maps どのような画像処理タスクでも適用可能 • Image classification • Image captioning • Image question-answering
- 52. 動画への適用：3D-CNN Grad-CAM (Goyal 17) 51 W=3 Grad-CAM を Three Dimensional CNN へ拡張 固定時間幅 W による制約 性能限界
- 53. Long-term Recurrent Convolutional Networks (LRCN) CNN と Long-short Term Memory （LSTM）の組合わせ 長時間の依存関係がモデル化可能 52
- 54. Recurrent Grad-CAM 53 CNN FCLs 𝑦𝑦𝑡𝑡−𝑝𝑝 Input Heat map LSTM CNN FCLs 𝑦𝑦𝑡𝑡 Input Backtrack until feature maps LSTM
- 55. Grad-CAM と Recurrent Grad-CAM の比較 54 Grad-CAM Recurrent Grad-CAM
- 56. ｃ 𝒌𝒌 番目の Feature map の寄与度 Heat map Grad-CAM Recurrent Grad-CAM Grad-CAM と Recurrent Grad-CAM の比較 55 𝛼𝛼𝑘𝑘 𝑐𝑐 = 1 𝑍𝑍 � 𝑖𝑖 � 𝑗𝑗 𝜕𝜕𝑦𝑦𝑐𝑐 𝜕𝜕𝐴𝐴𝑖𝑖𝑖𝑖 𝑘𝑘 𝐿𝐿𝑐𝑐 = 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 � 𝑘𝑘 𝛼𝛼𝑘𝑘 𝑐𝑐 𝐴𝐴𝑘𝑘 𝛽𝛽𝑘𝑘, 𝑡𝑡−𝑝𝑝, 𝑡𝑡 𝑐𝑐 = 1 𝑍𝑍 � 𝑖𝑖 � 𝑗𝑗 𝜕𝜕𝑦𝑦𝑡𝑡 𝑐𝑐 𝜕𝜕𝐴𝐴𝑡𝑡−𝑝𝑝, 𝑖𝑖, 𝑗𝑗 𝑘𝑘 𝐿𝐿𝑡𝑡−𝑝𝑝,𝑡𝑡 𝑐𝑐 = 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 � 𝑘𝑘 𝛽𝛽𝑘𝑘, 𝑡𝑡−𝑝𝑝, 𝑡𝑡 𝑐𝑐 𝐴𝐴𝑡𝑡−𝑝𝑝 𝑘𝑘
- 57. 実験条件：データ UCF Youtube Action Data Set (UCF11) − 11クラスの人の動作動画（テニス、乗馬、バスケットボール、ブランコなど） − 動画数 1,600 （学習データ数 1,200、テストデータ数 400) − 平均時間 47.5フレーム（6.3秒）、最短 1フレーム（0.033秒）、最長224フレーム （30秒） − 7.5fps （元のフレームレート 30fps をダウンサンプリング） − 画像サイズ 224 x 224 （元は320 x 240) 56
- 58. 実験条件：モデル構造と学習 CNN − モデル構造 VGG16 畳み込み13層 全結合3層（ノード数：4096, 4096, 11） − 再学習 すべてのパラメータ Adam（学習率 1e-6） LRCN − モデル構造 VGG16+LSTM+FCLs 畳み込み13層 LSTM1層（ノード数：512） 全結合2層（ノード数：256, 11) − 再学習 すべてのパラメータ LSTMと全結合2層の初期値はランダム Adam（学習率 1e-6） 57 精度 • 学習データ 100% • テストデータ 94.3% 精度 • 学習データ 100% • テストデータ 98.3%
- 63. 考察 判断を下した時刻よりも、長時間過去の画像の一部を判断根拠として 提示することに成功 CNNとLRCNが見ているところが違うことが判明 「いつ・どこ」が根拠になるかを可視化を可能とするメカニズム 有効性がより明確になるデータでの評価 定量的評価法 LSTMへの入力は二種類 − Feature map からの出力 − 1時刻前のLSTMの出力 62
- 64. ③のまとめ Gradient-based spatial localization ⇒ Gradient-based temporal-spatial localization 「いつ・どこ」での判断根拠の可視化の汎用的手法 動画像から人の動作クラスを認識するタスクで有効性の定性的検証 今後 − 定量的評価 − 動画像認識以外のさまざまなタスク − 実用的タスク 63
- 66. 65
- 67. 66
- 68. 67