Recommandé
Contenu connexe
En vedette
En vedette (20)
Kerasで作ったbotの話
- 2. スキルの話 ● 機械学習のスキル ○ NECのRAPIDを使って評価・検証をしたことが有る ○ お遊びでTensorflowを少し触ったことが有る ○ 機械学習できます！と堂々と言うのは少し抵抗がある、ぐらいのスキルです ● 数学のスキル ○ 高専5年間の数学は赤点じゃないことのほうが珍しかったレベル ○ もはや微分積分すらも忘れている ● 他に使ったスキル ○ 自然言語処理を授業でやったのでなんとなく使ったかもしれない ○ つたない英語力←これが一番役に立った 2
- 3. Botを作ろうと思ったきっかけ ● shasysによく「勤之助が〜」とか「PC新しくしたいんだけど〜」という 問い合わせが来ていた ○ 直感的に考えて勤之助の管理を情シスがやってるとしても不思議はない ○ 同じように、PCは情シスから渡されるのだからその相談がくるのも分かる ● その度に「jinjiで〜」、「somuで〜」と案内する手間 ● techやdev、その他いろんなチャンネルで 「◯◯ってどこで聞くのが良いの？」という話をする人がいる ○ 親切な人が教えてくれたりするけど、チャンネルの目的とは合わない ○ 誰もわからない、もしくは本務で忙しくて応えてもらえず悲しい ● 問い合わせ先を教えてくれるbotがいたら便利そう 3
- 4. Botの回答ロジック 4
- 5. 回答を求めるためのアルゴリズム ● 質問：回答のヒモ付を持つデータを沢山作る ● 検索エンジンのような動作をするbotを作って、検索対象のデータとしてSlackの会 話履歴を使う ● 会話履歴から機械学習でモデルを作ってそれを元に回答する 5 →すごく手間 →Slack検索します！となりそう
- 6. 機械学習をどうやってやろう？ ● ChainerやCaffeなど古くからあるフレームワーク ● Tensorflowのような比較的新しいフレームワーク ● スクラッチ ● Watsonみたいな製品 6 スクラッチは数学弱者な自分にはとても無理そうだし、作りたいものに対してコストが合わなそう 製品も同じく、お高いので全社的・事業部レベルのプロジェクトでもなければ厳しい なにかしらのフレームワークを使って構築するのが現実的
- 7. Tenforflowを検討した ● GoogleがOSSとして公開していて今一番の流行り ● 注目されているが故にQiitaの投稿数も多い ● どうせ使うなら新しいのが良い！ ● なんか簡単にDeep Learningを実装できるらしいぞ！ …ということで試してみた 7
- 11. Tensorflowのサンプル（MNISTで学習・予測) ● 数学の知識が必須 ● エントロピーってなに ● ソフトマックスってなに 11
- 12. Tensorflowを触って得た印象 ● すごく数学的 ● 機械学習をやるライブラリ、みたいな感じではなくて機械学習を 実装するために使われていた数式群のライブラリ、というイメージ ● Webページを作るのにRailsを使う、ぐらいの印象を受けた ○ 数学弱者な僕はRailsじゃなくてホームページビルダーがほしい、と感じてしまう ○ 数学（Railsで言えばRuby）が出来るのであれば色々なことができて良さそう 12
- 13. Keras ● OSSで開発されているTensorflow、Theanoのラッパー ● Tensorflowを生で書くよりカジュアル（？）に 機械学習のプログラムを書ける ○ 数式とかをあまり意識してなさそうな書き方ができる ● モデルの扱いがTensorflowよりも簡単にできる ○ モデルを層として重ねるイメージで書くことができる ● ただし細かいことはできない ● もっと多くの人にDeep Learningをという理念で開発 13
- 15. Kerasのサンプル（MNISTモデル作成） 読み込んだデータをベクトル化して モデルを作成している 1. どんなモデルを作るか定義して 2. ニューラルネットワークの層を addする 数学的なことをあまり意識しないでプログラミングっぽく ニューラルネットワークを構築できる 15
- 16. 得られたKerasの印象 ● 数学弱者の自分でもなんとなく、やってることが読み解ける ● さくさくっと実装できそう ● モデル構築途中でチェックポイントを作ったり補助的な関数が豊富で 便利そう ● バックエンドを比較的簡単に変えられる ● サンプルもTensorflowほどじゃないけどある 16 Kerasを使ってbotの学習モデルを作れば割りと簡単に 機械学習を使ったbotが作れそう！
- 17. データを集める 17
- 18. 教師データに使うデータ Slackの会話履歴をExportしたjsonファイルを加工する ● 1日ごとに1jsonファイルになる ● botの発言、join、leftメッセージは削除 ● Slack利用開始から2016年12月までのデータを使用 上記のような形式のCSVに、チャンネルごとに分ける ID チャンネル名 会話内容 18
- 20. モデル作成 20
- 21. モデルとは 機械学習における出力（予測結果など）を出すためのロジックをひとまとまりにしたもの、 もしくは学習済みのデータを指す。 観測したデータの背景にある規則、などを数式で表したもの。 21
- 23. 学習する 23
- 24. 学習する ● 学習とは：作成したモデルをコンパイルして、Epocの数だけ回すこと ○ Epocとは？：データをどれだけ回したか？という単位 ○ 回すとは？：学習データを訓練・予測にわけてモデルに重みを付けて学習データの誤差を計算し、 その誤差を縮めるために重みを調整する、という一連の動作 ● Epocごとにデータをシャッフルする、などもKerasはオプション指定だけでやってく れる 24
- 26. 予測と評価 26
- 27. 予測と評価 ● 予測にかかる時間は2,3秒 ● モデルの評価 ○ 教師データでの評価 損失率： 0.7068 精度：0.8406 ○ 2017年の応対 損失率：3.2902 精度：0.5676 27
- 29. 今後の課題 29
- 30. 今抱えている自身の課題 ● モノは出来て動作もしているが、機械学習に使われている数式の理解がない ○ モデルの構築には必要になる ● 少ないデータで学習精度を上げる取り組みができていない ○ 全部で数万個程度の量しか期待できないので何かしら取り組みは必要 ● 分類機への理解がたりない 30
- 32. 作ったデータの課題 ● 下記のご確認お願いします！系 ○ GHEのリンクが張ってあって Slackのデータだけでは見えない ● 絵文字オンリーの投稿 ○ そのチャンネルの特徴量として適切とは思えない ● ただの相槌 32
- 33. 今後取り組みたいこと ● 教師データのノイズを取り除きたい ● 強化学習の仕組みを取り入れたい ● モデルの構築をちゃんとしたい ○ 数学的理解が必要 ○ データの数値化はUNICODEに変換する実装だが、それでいいのか？ ● 分類器はこれでいいのか？検討したい ○ character-level cnnを使っていて、単語単位ではなく文字単位で処理している ■ だから「勤之助のパスワードリセット」だと shasysに分類され、「勤之助」だけだと jinjiに分類さ れたりする ○ 楽だけど、特徴量抽出として正しいのかな？というのを考えたい ● 数学のお勉強 33