人工知能の技術で有名なニューラルネットワークのフレームワークである #Chainer を用いた対話botを使った俺の屍を越えてゆけ slide share
•Télécharger en tant que PPTX, PDF•
13 j'aime•2,665 vues
2016 年はLINE, FacebookなどがAPIを公開したことでBotの活躍する場がますます増えてきています。決めうちで回答を返したり、各企業が提供しているAPIを 使って対話用のBotを作成することも可能ですが、本スライドではChainerを使用して対話Botを作成してみました。 Twitter - https://twitter.com/SnowGushiGit Qiita - http://qiita.com/GushiSnow/items/79ca7deeb976f50126d7 Youtube - https://youtu.be/2eGs_Qpt_aQ
Recommandé
Contenu connexe
Tendances
Tendances (14)
En vedette
En vedette (20)
Similaire à 人工知能の技術で有名なニューラルネットワークのフレームワークである #Chainer を用いた対話botを使った俺の屍を越えてゆけ slide share
Similaire à 人工知能の技術で有名なニューラルネットワークのフレームワークである #Chainer を用いた対話botを使った俺の屍を越えてゆけ slide share (20)
Plus de Ogushi Masaya
Plus de Ogushi Masaya (7)
Dernier
Dernier (11)
人工知能の技術で有名なニューラルネットワークのフレームワークである #Chainer を用いた対話botを使った俺の屍を越えてゆけ slide share
- 1. 人工知能の技術で有名なニューラルネットワー クのフレームワークであるChainer を用いた対話Botを使った俺の屍を越えてゆけ July Tech Festa 2016 「IoTxAIxインフラ時代の最 新技術、やってみたSP — 俺の屍を越えて行け — 」 1
- 3. Agenda ： Self Introduction Dialogue Value Character of the Bot System Feature Plan 3 対話Bot 話題の選定 内容理解 対話制御 応答文生成 応答文候補 ニューラルネットワーク１ 内容理解 対話制御 応答文生成 ニューラルネットワーク２
- 5. Self Introduction 名前：大串 正矢 @SnowGushiGit ポート株式会社 Web開発事業部 研究開発チーム Tech-Circle 運営スタッフ 機械学習、自然言語処理、クロラー 開発、インフラ自動構築、並列分散 処理、検索機能構築 5
- 7. Agenda 対話Bot 話題の選定 内容理解 対話制御 応答文生成 応答文候補 ニューラルネットワーク１ 内容理解 対話制御 応答文生成 ニューラルネットワーク２ ： Self Introduction Dialogue Value How to Dialogue to the Bot System Feature Plan 7
- 13. Character of the Bot 13
- 14. Agenda 対話Bot 話題の選定 内容理解 対話制御 応答文生成 応答文候補 ニューラルネットワーク１ 内容理解 対話制御 応答文生成 ニューラルネットワーク２ ： Self Introduction Dialogue Value Character of the Bot System Feature Plan 14
- 17. どちらにギャップを感じますか？ 17 Character of the Bot 最近、読んだ本は “Statistical Machine Translation” ですね 最近、読んだ本は “Statistical Machine Translation” ですね
- 18. Character of the Bot 対話Bot 松屋が個人的に オススメ 良いバイト先 ない？ かなり違うかな もっと女性向け のお願い スィーツ店とか ？ そんな感じ キャラクター性が重要(フィクションです) 18 とりあえず 飯屋 スィーツ が良さげ 面白そう 太ってるから 仕方ないか 意外に 分かってる じゃん 学習 許容 驚き
- 19. Character of the Bot 新たなユーザー体験をもっ と高度にするには 回答に対する期待値を下 げつつ話しかけやすさを 上げる アイコン画像の工夫 Botの発話内容の工夫 19 認知科学の効果 回答に対する期待値：高 い 話しかけやすさ：低い 回答に対する期待値：低 い 話しかけやすさ：高い 気軽に 話しかけて 気軽に 話しかけて こっちについて話します。
- 20. Character of the Bot キャラクターごとに文章 を用意するのは高コスト 同じ文章でも微妙に変え る必要がある。 20 お前は食ったパンの数を 覚えているか？ あなたは食べたパン の数を 把握されていますか？ あなたは食べたパン の数を 覚えているの？
- 21. 21 Character of the Bot 多数のシナリオライターが必要
- 22. Character of the Bot 内容を変えたくないがキ ャラクター性だけ付与し たい！！ 22 お前は食ったパンの数を 覚えているか？ あなたは食べたパン の数を 把握されていますか？ あなたは食べたパン の数を 覚えているの？
- 23. Character of the Bot 23 女性っぽい文章 太い人特有の文章 丁寧な執事っぽい文章 あなたは食べた パンの数を 覚えていますか？ キャラクター性 を付与
- 24. Character of the Bot NeuralStoryTeller 通常の文章に特徴をつける。下記はロマンチック要素を付与 24 「彼は心の奥で裸の男であっ た。彼が私にキスしようと肩 に寄りかかってきた時、私は 悪態をついた。私が彼のボク サーを履いたら美しいため、 彼は私を締め付けようとした のだ」
- 25. 25 Character of the Bot 微妙な表現の変更をニューラルネットに任せる。 キャラクターの文さえあれば色々な文章に適用可能
- 26. 26 Character of the Bot 今回は残念ながらここまで実装できませんでした（汗 途中までの実装になります
- 27. Agenda 対話Bot 話題の選定 内容理解 対話制御 応答文生成 応答文候補 ニューラルネットワーク１ 内容理解 対話制御 応答文生成 ニューラルネットワーク２ ： Self Introduction Dialogue Value Character of the Bot System Feature Plan 27
- 28. System 28
- 31. System 話題の選定 相手によって話す内容が異なる 31 私 と仕事の どっちが 大事 ？ その 服 可愛い どこ で 買ったの？ パパ 小遣い 頂戴 彼氏 妹 パパ
- 36. System 概念の距離を測れる空間に移す 36 Facebook Twitter 近い？？ 単純な文字列の比較では 概念毎の近さは分からな い 適切な距離を測れる空 間に写像する必要があ る。
- 39. System 話題の選定 Wiki Pedia Entity Vectorを使用して概念クラスにベクトルを付与 39 ネコ:[0.2, 0.3, 0.4…] 犬:[0.3, 0.4, 0.5…]
- 43. System 話題の選定 概念クラス同士のコサイン類似度を計算してサマライズ 43 ネコ:[0.2, 0.3, 0.4…] 犬:[0.3, 0.4, 0.5…] コサイン類似度計算
- 45. System 話題の選定 概念が持っている単語が少ないのでWordNetの未知語をWikiPedia Entity Vectorから追加 45 クロネコ 白猫 ： 三毛猫 ： ネコWikipedia Entity Vector コサイン類似 度 近い 未知語なら追加 Word Net
- 46. System 話題の選定 WikiPedia Vectorでベクトルが付与できた単語のベクトルを用いて各概念の平均ベクトルを算出 46 クロネコ:[0.2, 0.3, 0.4…] 白猫:[0.1, 0.3, 0.…] ： ネコ 柴犬:[0.1, 0.3, 0.4…] 土佐犬:[0.1, 0.2, 0.…] ： 犬 平均ベクトル 平均ベクトル
- 47. System 話題の選定 各概念の平均ベクトルを用いてコサイン類似度を計算し、各概念をサマライズ 47 コサイン類似度計算し 基準以上ならまとめる クロネコ:[0.2, 0.3, 0.4…] 白猫:[0.1, 0.3, 0.…] ： ネコ 柴犬:[0.1, 0.3, 0.4…] 土佐犬:[0.1, 0.2, 0.…] ： 犬 平均ベクトル 平均ベクトル
- 57. 57 System 自然言語をベクトル空間へ移すとき Bag of Wordsを使用 （辞書を用意して単語が観測された回数カウント） 低次 高次 単語 フレーズ 文表現 I show am me your you … when are 1, 0, 0, 0, 0, 0, … 0, 0I am Shota I show am me your you … when are 0, 0, 1, 0, 0, 0, … 0, 0 I show am me your you … when are 0, 0, 0, 0, 0, 0, … 0, 0 数万語以上あるがほとんどが使用されない データ
- 59. 59 System ニューラルネットを使用すると単語のみでなく周囲の 単語も考慮した空間にWord2vec により移せる 低次 高次 単語 フレーズ 文表現 0.5, 0.0, 1.0, 1.0, 0.3, 0.0 I am Shota 深層学習により単語の空間を圧縮 深層学習 0.5, 0.0, 1.0, 1.0, 0.0, 0.0 0.5, 0.0, 1.0, 0.5, 0.3, 0.0 データ
- 61. 61 System 太郎 さん こんにちは 発話は文章の連続性が重要 ニューラルネットはRecurrent Neural Networkにより、 その考慮も可能
- 63. 63 System + 太郎 さん こんにちは 発話中の重要な単語へのフォーカスが重要 ニューラルネットはAttention Modelにより、 その考慮も可能
- 64. System 発話内容の生成 表現力 連続性 フォーカス 64 私 と仕事の どっちが 大事 ？ その 服 可愛い どこ で 買ったの？ パパ 小遣い 頂戴 彼氏 妹 パパ
- 75. Agenda Self Introduction Dialogue Value Character of the Bot System Feature Plan 75 ： 対話Bot 話題の選定 内容理解 対話制御 応答文生成 応答文候補 ニューラルネットワーク１ 内容理解 対話制御 応答文生成 ニューラルネットワーク２
- 76. Feature Plan 76
- 78. Conclusion Word Netは概念を表したデータセット 上位概念を表せるデータがあればそれで代替可能 Wikipedia Entity Vectorはベクトル付与に使用 ベクトルの付与に使用。独自のデータセットを使用してWord2Vecを作 成してベクトル付与しても良い ニューラルネットで全て対話を対応する必要はない ルールとのハイブリッド githubで探して“Chainer Slack Twitter”で検索 Starをくれるとやる気が増します！！ 78
- 80. Reference • Chainerで学習した対話用のボットをSlackで使用+Twitterから学習データを取得してファインチューニン • http://qiita.com/GushiSnow/items/79ca7deeb976f50126d7 • WordNet • http://nlpwww.nict.go.jp/wn-ja/ • 日本語 Wikipedia エンティティベクトル • http://www.cl.ecei.tohoku.ac.jp/~m-suzuki/jawiki_vector/ • PAKUTASO • https://www.pakutaso.com/ • Luong, Minh-Thang, Hieu Pham, and Christopher D. Manning. "Effective approaches to attention-based neural machine translation." arXiv preprint arXiv:1508.04025 (2015). • Rush, Alexander M., Sumit Chopra, and Jason Weston. "A neural attention model for abstractive sentence summarization." arXiv preprint arXiv:1509.00685 (2015). • Tech Circle #15 Possibility Of BOT • http://www.slideshare.net/takahirokubo7792/tech-circle-15-possibility-of-bot • Generating Stories about Images • https://medium.com/@samim/generating-stories-about-images-d163ba41e4ed#.h80qhbd54 • 二つの文字列の類似度 • http://d.hatena.ne.jp/ktr_skmt/20111214/1323835913 • 構文解析 • http://qiita.com/laco0416/items/b75dc8689cf4f08b21f6 80