SlideShare une entreprise Scribd logo
1  sur  41
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
第20回情報論的学習理論ワークショップ 企画セッション発表資料
ヤフー株式会社 上席研究員 鍜治伸裕
音声対話アシスタントに関する
最近の研究動向
とYahoo! JAPAN研究所での取り組み
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
自己紹介
名前
鍜治伸裕 博士(情報理工学)
略歴
2005 東京大学 情報理工学系研究科 博士課程修了
2005~2015 東京大学 生産技術研究所 特任准教授等
2014~2015 情報通信研究機構 主任研究員
2015~現在 ヤフー株式会社 上席研究員
研究の興味
音声対話処理、言語の分散表現、ソーシャルテキスト解析
2
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
音声対話型インタフェースの時代
あらゆるデバイスに人工知能が搭載されるIoT時代の到来
ヒトとモノが音声対話でコミュニケーションできる世界が目前に
3
http://i.gzn.jp/img/2016/05/10/viv/s01.jpg
http://images.techhive.com/images/article/2017/01/echodothome-100704745-large.3x2.jpg
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Yahoo! 音声アシスト
4
累計250万ダウンロード以上
スマホ上で動作する音声対話システム
https://www.amazon.co.jp/gp/product/B00OIWNED6
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
(音声)対話システムは
半世紀以上の歴史を持つAIの古典的問題
5
Eliza (Weizenbaum 66) SHRDLU (Winograd 72)
http://hci.stanford.edu/winograd/shrdlu
https://en.wikipedia.org/wiki/ELIZA
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
もう研究課題は残されていない?
強化学習に基づく理論的枠組みがすでに確立
対話システムに関する教科書が多数出版
6
http://www.coronasha.co.jp/np/isbn/9784339027570
有限状態音声対話モデル (Young et al. 2013) 対話システム(中野ら 2015)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ラボ環境から実環境へ
実際にサービスを運用して初めて顕在化する課題
新ドメインの迅速な追加 (Kim et al. ACL17)
タスクと雑談の切り分け (Akasaki and Kaji ACL17)
本物の大規模ユーザを相手にする困難さ、面白さ
ユーザ満足度の自動化 (Jiang et al. WWW15)
システムエラー自動検出 (Sano et al. SIGDIAL17)
7
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Young-Bum Kim, Karl Stratos, and Dongchan Kim.
“Domain Attention with an Ensemble of Experts”
In Proceedings of ACL17.
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
従来の対話システムはドメインが限定的
9
http://www.speech.cs.cmu.edu/letsgo
http://www.nict.go.jp/publication/NICT-News/1108/03.html
AssisTra (翠+ 11)Let’s Go (Raux+ 05)
フライト情報案内 (Price 90)、バスの時刻表案内 (Raux+ 05)、
観光案内 (翠+ 11)など
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
最近の対話システムは
多数のドメインをサポートする方向に
Yahoo! 音声アシストの場合:
10
他多数…
検索天気・災害 カレンダー アラーム
レシピ 地図情報ニュース
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
迅速な新ドメイン作成を実現するため
ドメイン適応の研究が行われている
11
天気 検索
ニュース レシピ
地図情報
ソースドメインのデータ
(大量)
ターゲットドメインのデータ
(少量)
データ不足を補う
Feature augmentation (Daume+ 07; Kim+16)、Multi-task learning
(Jaech+ 16)、Zero-shot learning (Chen+ 16) など
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
従来手法は再学習が必要なので
大規模な対話サービスの運用には不向き
12
全てのデータ(ソース+ターゲット)からの再学習が必要
ソースドメインの数が多い場合には非効率
ソースドメイン数
学習時間
従来手法 (Kim+ 16)
提案手法
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
予備知識: 提案手法の基となるモデル
13
出力ラベル
(発話意図など)
BiLSTM
入力発話
Feedforward
文字 → 単語 → 発話と階層的に分散表現を獲得
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
提案モデル:Domain Attention Model
14
…
+
BiLSTM BiLSTM BiLSTM
出力ラベル
Feedforward
ソースドメインのモデル
(事前学習済み、固定)
attention
入力発話
BiLSTM
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
再学習不要でなおかつ精度も良い
15
Microsoft Cortana の7ドメインのデータを使用
意図判定とスロット抽出の2つのタスク
提案手法ベースライン
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Attention Weights の分析
16
ターゲットが TAXI の時 FLIGHTS が大きくなるなど直感に適合
ソースドメイン
ターゲットドメイン
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Satoshi Akasaki and Nobuhiro Kaji.
“Chat Detection in an Intelligent Assistant: Combining Task-
oriented and Non-task-oriented Spoken Dialogue Systems”
In Proceedings of ACL17.
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
従来の対話システムは
タスク型と雑談型に分けて研究されてきた
• タスク型: システムに情報収集タスクを代行させる
18
• 雑談型: システムとの会話そのものを楽しむ
はい。本郷三丁目周辺の
イタリアンレストランは…
思いきって勉強始めてみると
良いと思いますよ!
この近くにある
イタリアン料理の店調べて
機械学習って気になるけど
なんか難しそう。
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
最近のサービスでは
タスク型と雑談型という区別が曖昧に
19
A.L.I.C.E. (Wallace 09)
Eliza (Weizenbaum 66)SHRDLU (Winograd 72)
ATIS (Price 90)
Let’s GO (Raux+ 05)
しゃべってコンンシェル (吉村 12)
Siri (Bellegarda 14)
Cortana (Sarikaya 17)
Yahoo! 音声アシスト (磯+ 13)
雑談型タスク型
アシスタント型
(タスクも雑談もこなす)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
雑談を意図したユーザ発話の検出が
新しい課題になる
20
気象情報 API の呼び出し
携帯端末の操作
雑談生成モデルの駆動
(seq2seqなど)
従来の雑談生成に関する研究では抜け落ちていたタスク
非雑談
雑談
今日の大阪の
天気は?
8時にアラーム
鳴らして
明日の仕事
休みたいなぁ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
教師データを構築して分類器を学習
• 15160発話をクラウドソーシングを利用してラベル付与
• 各発話ごと7名の多数決(雑談/非雑談: 4833/10327)
• SVM と CNN の2つの分類器を学習、比較
21
ラベル 発話 得票数
雑談 お話ししよう 5
趣味はなんですか? 7
今月は休みがありません 5
非雑談 富士山の写真みせて 6
近くのおいしいレストラン 7
9時10分に起こして 7
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
一工夫する:ツイートとウェブ検索ログを活用
• リプライのついたツイート≒雑談発話
22
やっと仕事終わったよー!
USER1 @xxx
@USER1 お疲れ様!
USER2 @xxx
おはようございます〜
USER3 @xxx
@USER3 おはよ!
USER4 @xxx
東京の天気
オムライスの作り方
君の名は。
ヤフー知恵袋
• ウェブ検索ログ≒タスク要求発話
それぞれGRU言語モデルを学習し対数尤度を特徴量に
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
実験結果
• ベースライン(ツイートLM、内製)の精度を大きく改善
• 言語モデル(LM)素性の有効性を確認
23
手法 分類精度 適合率 再現率 F値
ツイート LM 72.07 54.54 74.48 62.94
内製の意図判定システム 78.31 62.57 79.51 70.03
SVM 91.35 87.62 84.88 86.21
SVM + ツイート/クエリ LM 92.15 88.61 86.50 87.53
CNN 90.84 87.03 83.80 85.36
CNN + ツイート/クエリ LM 91.48 87.78 85.18 86.56
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
発話長と分類精度の関係
• LM素性は極端に短いまたは長い発話に有効
24
分類精度
発話長(文字数)
SVM SVM+LM素性
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Jiepu Jiang, Ahmed Hassan Awadallah, Rosie jones, Umut
Ozertem, Imed Zitouni, Ranjitha Gurunath Kulkarni, and Omazr
Zia Khan.
“Automatic Online Evaluation of Intelligent Assistants”
In Proceedings of WWW15.
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
本物のユーザを相手にした対話処理には
正解がないので客観評価が難しい
多くの学術研究の進め方
客観評価が容易な部分問題を切り出して議論
訓練されたアノテータが適切な対話を天下り的に定義
素朴な疑問
部分問題が正しく解けてユーザ経験は向上するのか?
天下り的に決めた正解で本当にユーザは喜ぶのか?
26
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
セッションの満足度を推定による自動評価
ユーザの行動パターンから満足度を推定するモデルを学習
27
User Cortana, call James.
Cortana Sure, call James Smith mobile, is that right?
User Yes
Cortana Call James Smith mobile. [call the contact]
User Where is the nearest pharmacy?
Cortana Here are 8 pharmacies near you. [show options on the screen]
User Show me the direction to block sponsee (Clark’s pharmacy)
Cortana Sorry, I couldn’t find (…) Doyou you wanna search the web for it?
SAT(満足)
DSAT(不満)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Action系列を特徴量に利用
28
User Where is the nearest pharmacy? Command
Cortana Here are 8 pharmacies near you. [show options
on the screen]
Option
User Show me the direction to block sponsee (Clark’s
pharmacy)
Select
Cortana Sorry, I couldn’t find (…) Do you you wanna
search the web for it?
Confirm
User No NO
Cortana Here are 8 pharmacies near you.
[show options on the screen]
Option
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
その他の特徴量(サマリ)
29
クリック ユーザ発話
システムの応答 音声情報
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
満足度予測の実験結果
60名の被験者による300セッションの発話
満足度のratingをもとに SAT/DSAT ラベルを付与
30
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
SAT/DSATに特徴的なアクション系列
31
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Shumpei Sano, Nobuhiro Kaji, and Manabu Sassano.
“Predicting Causes of Reformulation in Intelligent Assistants”
In Proceedings of SIGDIAL17.
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
大勢のユーザとの対話を通じて
自立的に学習するというシナリオが現実的に
33
ユーザがシステムを“普通に”利用
(明示的な教師信号や報酬は与えない)
ユーザとの対話の経験を通して
自立的に学習、成長
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ユーザの修正発話に着目
34
間違った応答
修正発話
“アラームの”ウェブ検索結果
はこちらです…
アラーム
アラームを起動して
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
研究のゴール:
修正発話の原因となるエラー源の自動検出
35
音声認識
言語理解
言語生成
知識ベース
ユーザ発話
システム応答
ウェブAPI
対話システム
外部システム/資源
エラーの発生源が特定できれば(半)自動訂正につながる
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ログから類似発話の繰り返しを抽出し
エラー原因をアノテーション
36
今日の東京の
天気は晴れ…
“アラーム”の
ウェブ検索結果は…
申し訳ありません
よく分かりません…
私の年齢は…
エラー無し(387発話) 音声認識エラー(317発話)
言語理解エラー(173発話) 言語生成エラー(51発話)
今日の天気は?
じゃあ明日の天気
今日の転勤
今日の天気は?
アラーム
アラームを起動
あなたの名前は
なんていうの?
あなたの名前は?
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
様々な特徴量を設計
37
“アラームの”ウェブ検索
結果はこちらです…
はい。アラームを起動します。
発話時間間隔
Domain: アラーム
ASR Conf.: 0.7
ASR Conf.: 0.9
修正タイプ(ADD, OMIT等)
…
編集距離
Domain: ウェブ検索
Intent: SEARCH(アラーム)
Intent: START
domain、intent(slot値など)などの一致
ASRの確信度
アラーム
アラームを起動して
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
原因判定実験の結果
• SVM を用いて10分割交差検定
• 発話の表層情報だけでなくエラー原因ごとに作りこまれた素
性を使うことでF1値が向上
38
エラー無し 音声認識
エラー
言語理解
エラー
言語生成
エラー
ベースライン 0.58 0.59 0.36 0.03
+音声認識素性 0.66†† 0.67†† 0.35 0.16
+言語理解素性 0.71†† 0.65 0.43 0.25†
+言語生成素性 0.55 0.57 0.32 0.08
提案法(+全素性) 0.75†† 0.72†† 0.49† 0.33††
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
混同行列の分析
39
エラー無し 音声認識
エラー
言語理解
エラー
言語生成
エラー
エラー無し 284 55 27 21
音声認識
エラー
38 230 37 12
言語理解
エラー
44 29 81 19
言語生成
エラー
8 12 11 20
正解
予測
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
まとめ
およそ半世紀の基礎研究の期間を経て、音声対話技術は、
音声対話アシスタントという形で実社会に巣立ちつつある
e.g., Google Home, Amazon Echo, Line Clova, Y! Voice Assist etc.
しかし、ラボ環境と実環境のギャップは依然として存在しており、
現在はその差を埋めている段階
これからは実環境での音声対話研究が面白くなるはず!
実サービスの運用から顕在化した新しい課題 (Kim et al. 2017; Akaskai
and Kaji 2017)
大勢のリアルユーザの行動分析 (Jiang et al. 2015; Sano et al. 2017)
40
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

Contenu connexe

Tendances

行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋
行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋
行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋Yahoo!デベロッパーネットワーク
 
セキュアにユーザ行動情報を取得するための取り組み #yjdsnight
セキュアにユーザ行動情報を取得するための取り組み #yjdsnightセキュアにユーザ行動情報を取得するための取り組み #yjdsnight
セキュアにユーザ行動情報を取得するための取り組み #yjdsnightYahoo!デベロッパーネットワーク
 
Business Innovation cases driven by AI and BigData technologies
Business Innovation cases driven by AI and BigData technologiesBusiness Innovation cases driven by AI and BigData technologies
Business Innovation cases driven by AI and BigData technologiesDataWorks Summit/Hadoop Summit
 
ヤフーの広告レポートシステムをSpring Cloud Stream化するまで #jjug_ccc #ccc_a4
ヤフーの広告レポートシステムをSpring Cloud Stream化するまで #jjug_ccc #ccc_a4ヤフーの広告レポートシステムをSpring Cloud Stream化するまで #jjug_ccc #ccc_a4
ヤフーの広告レポートシステムをSpring Cloud Stream化するまで #jjug_ccc #ccc_a4Yahoo!デベロッパーネットワーク
 
Deep learningの世界に飛び込む前の命綱
Deep learningの世界に飛び込む前の命綱Deep learningの世界に飛び込む前の命綱
Deep learningの世界に飛び込む前の命綱Junya Kamura
 
<AI開発者向け>Deep Learningへの取り組み、およびKAMONOHASHIのご紹介
<AI開発者向け>Deep Learningへの取り組み、およびKAMONOHASHIのご紹介<AI開発者向け>Deep Learningへの取り組み、およびKAMONOHASHIのご紹介
<AI開発者向け>Deep Learningへの取り組み、およびKAMONOHASHIのご紹介Kamonohashi
 
<インフラ管理者向け>チームでのAI開発を支援するAI開発プラットフォームKAMONOHASHI
<インフラ管理者向け>チームでのAI開発を支援するAI開発プラットフォームKAMONOHASHI<インフラ管理者向け>チームでのAI開発を支援するAI開発プラットフォームKAMONOHASHI
<インフラ管理者向け>チームでのAI開発を支援するAI開発プラットフォームKAMONOHASHIKamonohashi
 
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜Tetsutaro Watanabe
 
スポーツナビアプリ スモールチームでのアプリ強化の進め方 #yjcamp
スポーツナビアプリ スモールチームでのアプリ強化の進め方 #yjcampスポーツナビアプリ スモールチームでのアプリ強化の進め方 #yjcamp
スポーツナビアプリ スモールチームでのアプリ強化の進め方 #yjcampYahoo!デベロッパーネットワーク
 
エヌビディアのディープラーニング戦略
エヌビディアのディープラーニング戦略エヌビディアのディープラーニング戦略
エヌビディアのディープラーニング戦略NVIDIA Japan
 
Dll講演資料 2017616
Dll講演資料 2017616Dll講演資料 2017616
Dll講演資料 2017616NORIKO HOSAKA
 
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用Tetsutaro Watanabe
 
Yahoo! JAPANが考えるテクノロジーとITエンジニアの未来 #devsumi
Yahoo! JAPANが考えるテクノロジーとITエンジニアの未来 #devsumiYahoo! JAPANが考えるテクノロジーとITエンジニアの未来 #devsumi
Yahoo! JAPANが考えるテクノロジーとITエンジニアの未来 #devsumiYahoo!デベロッパーネットワーク
 
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみたタクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみたTetsutaro Watanabe
 
ECCV2018 Everybody dance now論文紹介 (CV勉強会@関東)
ECCV2018 Everybody dance now論文紹介 (CV勉強会@関東)ECCV2018 Everybody dance now論文紹介 (CV勉強会@関東)
ECCV2018 Everybody dance now論文紹介 (CV勉強会@関東)Tenki Lee
 
SPADE :Semantic Image Synthesis with Spatially-Adaptive Normalization
SPADE :Semantic Image Synthesis with Spatially-Adaptive NormalizationSPADE :Semantic Image Synthesis with Spatially-Adaptive Normalization
SPADE :Semantic Image Synthesis with Spatially-Adaptive NormalizationTenki Lee
 

Tendances (20)

市場で勝ち続けるための品質とテストの技術①
市場で勝ち続けるための品質とテストの技術①市場で勝ち続けるための品質とテストの技術①
市場で勝ち続けるための品質とテストの技術①
 
行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋
行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋
行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋
 
セキュアにユーザ行動情報を取得するための取り組み #yjdsnight
セキュアにユーザ行動情報を取得するための取り組み #yjdsnightセキュアにユーザ行動情報を取得するための取り組み #yjdsnight
セキュアにユーザ行動情報を取得するための取り組み #yjdsnight
 
「Data Infrastructure at Scale 」#yjdsw4
「Data Infrastructure at Scale 」#yjdsw4「Data Infrastructure at Scale 」#yjdsw4
「Data Infrastructure at Scale 」#yjdsw4
 
Business Innovation cases driven by AI and BigData technologies
Business Innovation cases driven by AI and BigData technologiesBusiness Innovation cases driven by AI and BigData technologies
Business Innovation cases driven by AI and BigData technologies
 
ヤフーの広告レポートシステムをSpring Cloud Stream化するまで #jjug_ccc #ccc_a4
ヤフーの広告レポートシステムをSpring Cloud Stream化するまで #jjug_ccc #ccc_a4ヤフーの広告レポートシステムをSpring Cloud Stream化するまで #jjug_ccc #ccc_a4
ヤフーの広告レポートシステムをSpring Cloud Stream化するまで #jjug_ccc #ccc_a4
 
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
 
Deep learningの世界に飛び込む前の命綱
Deep learningの世界に飛び込む前の命綱Deep learningの世界に飛び込む前の命綱
Deep learningの世界に飛び込む前の命綱
 
私たち企業がアクセシビリティに取り組む理由 #accfes
私たち企業がアクセシビリティに取り組む理由 #accfes私たち企業がアクセシビリティに取り組む理由 #accfes
私たち企業がアクセシビリティに取り組む理由 #accfes
 
<AI開発者向け>Deep Learningへの取り組み、およびKAMONOHASHIのご紹介
<AI開発者向け>Deep Learningへの取り組み、およびKAMONOHASHIのご紹介<AI開発者向け>Deep Learningへの取り組み、およびKAMONOHASHIのご紹介
<AI開発者向け>Deep Learningへの取り組み、およびKAMONOHASHIのご紹介
 
<インフラ管理者向け>チームでのAI開発を支援するAI開発プラットフォームKAMONOHASHI
<インフラ管理者向け>チームでのAI開発を支援するAI開発プラットフォームKAMONOHASHI<インフラ管理者向け>チームでのAI開発を支援するAI開発プラットフォームKAMONOHASHI
<インフラ管理者向け>チームでのAI開発を支援するAI開発プラットフォームKAMONOHASHI
 
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
 
スポーツナビアプリ スモールチームでのアプリ強化の進め方 #yjcamp
スポーツナビアプリ スモールチームでのアプリ強化の進め方 #yjcampスポーツナビアプリ スモールチームでのアプリ強化の進め方 #yjcamp
スポーツナビアプリ スモールチームでのアプリ強化の進め方 #yjcamp
 
エヌビディアのディープラーニング戦略
エヌビディアのディープラーニング戦略エヌビディアのディープラーニング戦略
エヌビディアのディープラーニング戦略
 
Dll講演資料 2017616
Dll講演資料 2017616Dll講演資料 2017616
Dll講演資料 2017616
 
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用
 
Yahoo! JAPANが考えるテクノロジーとITエンジニアの未来 #devsumi
Yahoo! JAPANが考えるテクノロジーとITエンジニアの未来 #devsumiYahoo! JAPANが考えるテクノロジーとITエンジニアの未来 #devsumi
Yahoo! JAPANが考えるテクノロジーとITエンジニアの未来 #devsumi
 
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみたタクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
 
ECCV2018 Everybody dance now論文紹介 (CV勉強会@関東)
ECCV2018 Everybody dance now論文紹介 (CV勉強会@関東)ECCV2018 Everybody dance now論文紹介 (CV勉強会@関東)
ECCV2018 Everybody dance now論文紹介 (CV勉強会@関東)
 
SPADE :Semantic Image Synthesis with Spatially-Adaptive Normalization
SPADE :Semantic Image Synthesis with Spatially-Adaptive NormalizationSPADE :Semantic Image Synthesis with Spatially-Adaptive Normalization
SPADE :Semantic Image Synthesis with Spatially-Adaptive Normalization
 

En vedette

機械学習モデルの列挙
機械学習モデルの列挙機械学習モデルの列挙
機械学習モデルの列挙Satoshi Hara
 
ニューラル機械翻訳の動向@IBIS2017
ニューラル機械翻訳の動向@IBIS2017ニューラル機械翻訳の動向@IBIS2017
ニューラル機械翻訳の動向@IBIS2017Toshiaki Nakazawa
 
実社会・実環境におけるロボットの機械学習
実社会・実環境におけるロボットの機械学習実社会・実環境におけるロボットの機械学習
実社会・実環境におけるロボットの機械学習Kuniyuki Takahashi
 
統計的係り受け解析入門
統計的係り受け解析入門統計的係り受け解析入門
統計的係り受け解析入門Yuya Unno
 
Anomaly detection char10
Anomaly detection char10Anomaly detection char10
Anomaly detection char10natsup
 
文献紹介:SemEval(SENSEVAL)におけるWSDタスクについて
文献紹介:SemEval(SENSEVAL)におけるWSDタスクについて文献紹介:SemEval(SENSEVAL)におけるWSDタスクについて
文献紹介:SemEval(SENSEVAL)におけるWSDタスクについてShohei Okada
 
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知hagino 3000
 
【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識Hirokatsu Kataoka
 
グロースハック なぜ我々は無意味な施策を打ってしまうのか
グロースハック なぜ我々は無意味な施策を打ってしまうのかグロースハック なぜ我々は無意味な施策を打ってしまうのか
グロースハック なぜ我々は無意味な施策を打ってしまうのかYahoo!デベロッパーネットワーク
 
MS COCO Dataset Introduction
MS COCO Dataset IntroductionMS COCO Dataset Introduction
MS COCO Dataset IntroductionShinagawa Seitaro
 

En vedette (20)

機械学習モデルの列挙
機械学習モデルの列挙機械学習モデルの列挙
機械学習モデルの列挙
 
ニューラル機械翻訳の動向@IBIS2017
ニューラル機械翻訳の動向@IBIS2017ニューラル機械翻訳の動向@IBIS2017
ニューラル機械翻訳の動向@IBIS2017
 
JavaOne2017参加報告 Microservices topic & approach #jjug
JavaOne2017参加報告 Microservices topic & approach #jjugJavaOne2017参加報告 Microservices topic & approach #jjug
JavaOne2017参加報告 Microservices topic & approach #jjug
 
第4回 NIPS+読み会・関西 発表資料 山本
第4回 NIPS+読み会・関西 発表資料 山本第4回 NIPS+読み会・関西 発表資料 山本
第4回 NIPS+読み会・関西 発表資料 山本
 
Design pattern in presto source code
Design pattern in presto source codeDesign pattern in presto source code
Design pattern in presto source code
 
ICML2017 参加報告会 山本康生
ICML2017 参加報告会 山本康生ICML2017 参加報告会 山本康生
ICML2017 参加報告会 山本康生
 
実社会・実環境におけるロボットの機械学習
実社会・実環境におけるロボットの機械学習実社会・実環境におけるロボットの機械学習
実社会・実環境におけるロボットの機械学習
 
統計的係り受け解析入門
統計的係り受け解析入門統計的係り受け解析入門
統計的係り受け解析入門
 
Anomaly detection char10
Anomaly detection char10Anomaly detection char10
Anomaly detection char10
 
文献紹介:SemEval(SENSEVAL)におけるWSDタスクについて
文献紹介:SemEval(SENSEVAL)におけるWSDタスクについて文献紹介:SemEval(SENSEVAL)におけるWSDタスクについて
文献紹介:SemEval(SENSEVAL)におけるWSDタスクについて
 
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
 
【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識
 
グロースハック なぜ我々は無意味な施策を打ってしまうのか
グロースハック なぜ我々は無意味な施策を打ってしまうのかグロースハック なぜ我々は無意味な施策を打ってしまうのか
グロースハック なぜ我々は無意味な施策を打ってしまうのか
 
KDD2014_study
KDD2014_study KDD2014_study
KDD2014_study
 
Beamertemplete
BeamertempleteBeamertemplete
Beamertemplete
 
データ利活用を促進するメタデータ
データ利活用を促進するメタデータデータ利活用を促進するメタデータ
データ利活用を促進するメタデータ
 
Yahoo! JAPANのOSS Cassandra貢献の今までとこれから
Yahoo! JAPANのOSS Cassandra貢献の今までとこれからYahoo! JAPANのOSS Cassandra貢献の今までとこれから
Yahoo! JAPANのOSS Cassandra貢献の今までとこれから
 
Cassandra: Now and the Future @ Yahoo! JAPAN
Cassandra: Now and the Future @ Yahoo! JAPANCassandra: Now and the Future @ Yahoo! JAPAN
Cassandra: Now and the Future @ Yahoo! JAPAN
 
Angularを使ったエンタープライズWebアプリケーション開発の問題と解決策
Angularを使ったエンタープライズWebアプリケーション開発の問題と解決策Angularを使ったエンタープライズWebアプリケーション開発の問題と解決策
Angularを使ったエンタープライズWebアプリケーション開発の問題と解決策
 
MS COCO Dataset Introduction
MS COCO Dataset IntroductionMS COCO Dataset Introduction
MS COCO Dataset Introduction
 

Similaire à #ibis2017 Description: IBIS2017の企画セッションでの発表資料

Ibm watson api サービス
Ibm watson api サービスIbm watson api サービス
Ibm watson api サービスHiroaki Komine
 
MixedRealityでUI/UXが変わる! SIer視点で考えるHoloLensの活用術!
MixedRealityでUI/UXが変わる! SIer視点で考えるHoloLensの活用術!MixedRealityでUI/UXが変わる! SIer視点で考えるHoloLensの活用術!
MixedRealityでUI/UXが変わる! SIer視点で考えるHoloLensの活用術!Shingo Mori
 
Machine learning 15min TensorFlow hub
Machine learning 15min TensorFlow hubMachine learning 15min TensorFlow hub
Machine learning 15min TensorFlow hubJunya Kamura
 
Call Center Watsonのご紹介
Call Center Watsonのご紹介Call Center Watsonのご紹介
Call Center Watsonのご紹介Hiroshi Tomioka
 
日本語における自然言語解析とその応用 〜COTOHA VA & API〜
日本語における自然言語解析とその応用 〜COTOHA VA & API〜日本語における自然言語解析とその応用 〜COTOHA VA & API〜
日本語における自然言語解析とその応用 〜COTOHA VA & API〜ネクストスケープ
 
SAS Viya Deep Dive: 自然言語処理&AI
SAS Viya Deep Dive: 自然言語処理&AISAS Viya Deep Dive: 自然言語処理&AI
SAS Viya Deep Dive: 自然言語処理&AISAS Institute Japan
 
AI for Media 2018 Update セミナー: 株式会社ユニゾンシステム: スピーチ AI を活用した文字起こしプラットホームの活用
AI for Media 2018 Update セミナー: 株式会社ユニゾンシステム: スピーチ AI を活用した文字起こしプラットホームの活用AI for Media 2018 Update セミナー: 株式会社ユニゾンシステム: スピーチ AI を活用した文字起こしプラットホームの活用
AI for Media 2018 Update セミナー: 株式会社ユニゾンシステム: スピーチ AI を活用した文字起こしプラットホームの活用Daiyu Hatakeyama
 
民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)
民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)
民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)Hitoshi Sugimoto
 
アプリエンジニアでもできる閉域網構築のススメ!
アプリエンジニアでもできる閉域網構築のススメ!アプリエンジニアでもできる閉域網構築のススメ!
アプリエンジニアでもできる閉域網構築のススメ!Tosihiyuki Hirai
 
脆弱性スキャナVulsの紹介とMackerelメタデータと連携した脆弱性管理
脆弱性スキャナVulsの紹介とMackerelメタデータと連携した脆弱性管理脆弱性スキャナVulsの紹介とMackerelメタデータと連携した脆弱性管理
脆弱性スキャナVulsの紹介とMackerelメタデータと連携した脆弱性管理Takayuki Ushida
 
ドライブレコーダーの Scene Text Recognitionにおける Multi-task Learning
ドライブレコーダーの Scene Text Recognitionにおける Multi-task Learningドライブレコーダーの Scene Text Recognitionにおける Multi-task Learning
ドライブレコーダーの Scene Text Recognitionにおける Multi-task LearningFumihiko Takahashi
 
Chainerで知るdeep learning進化の歴史
Chainerで知るdeep learning進化の歴史Chainerで知るdeep learning進化の歴史
Chainerで知るdeep learning進化の歴史Hideto Masuoka
 
営業現場で困らないためのディープラーニング
営業現場で困らないためのディープラーニング営業現場で困らないためのディープラーニング
営業現場で困らないためのディープラーニングSatoru Yamamoto
 
微博(ウェイボ)型社内SNSとモバイルで始める社内の可視化
微博(ウェイボ)型社内SNSとモバイルで始める社内の可視化微博(ウェイボ)型社内SNSとモバイルで始める社内の可視化
微博(ウェイボ)型社内SNSとモバイルで始める社内の可視化Takamitsu Nakao
 
学会・研究会の情報保障におけるソーシャルネットワークの役割
学会・研究会の情報保障におけるソーシャルネットワークの役割学会・研究会の情報保障におけるソーシャルネットワークの役割
学会・研究会の情報保障におけるソーシャルネットワークの役割Takuya Nishimoto
 
JUIZ DLK 組込み向けDeep Learningコンパイラ
JUIZ DLK 組込み向けDeep LearningコンパイラJUIZ DLK 組込み向けDeep Learningコンパイラ
JUIZ DLK 組込み向けDeep LearningコンパイラLeapMind Inc
 
Ai の最新動向と今熱い chat bot による業務効率化
Ai の最新動向と今熱い chat bot による業務効率化Ai の最新動向と今熱い chat bot による業務効率化
Ai の最新動向と今熱い chat bot による業務効率化Katsuhiro Aizawa
 
言葉のもつ広がりを、モデルの学習に活かそう -one-hot to distribution in language modeling-
言葉のもつ広がりを、モデルの学習に活かそう -one-hot to distribution in language modeling-言葉のもつ広がりを、モデルの学習に活かそう -one-hot to distribution in language modeling-
言葉のもつ広がりを、モデルの学習に活かそう -one-hot to distribution in language modeling-Takahiro Kubo
 
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望Yahoo!デベロッパーネットワーク
 

Similaire à #ibis2017 Description: IBIS2017の企画セッションでの発表資料 (20)

Ibm watson api サービス
Ibm watson api サービスIbm watson api サービス
Ibm watson api サービス
 
MixedRealityでUI/UXが変わる! SIer視点で考えるHoloLensの活用術!
MixedRealityでUI/UXが変わる! SIer視点で考えるHoloLensの活用術!MixedRealityでUI/UXが変わる! SIer視点で考えるHoloLensの活用術!
MixedRealityでUI/UXが変わる! SIer視点で考えるHoloLensの活用術!
 
Machine learning 15min TensorFlow hub
Machine learning 15min TensorFlow hubMachine learning 15min TensorFlow hub
Machine learning 15min TensorFlow hub
 
Call Center Watsonのご紹介
Call Center Watsonのご紹介Call Center Watsonのご紹介
Call Center Watsonのご紹介
 
日本語における自然言語解析とその応用 〜COTOHA VA & API〜
日本語における自然言語解析とその応用 〜COTOHA VA & API〜日本語における自然言語解析とその応用 〜COTOHA VA & API〜
日本語における自然言語解析とその応用 〜COTOHA VA & API〜
 
SAS Viya Deep Dive: 自然言語処理&AI
SAS Viya Deep Dive: 自然言語処理&AISAS Viya Deep Dive: 自然言語処理&AI
SAS Viya Deep Dive: 自然言語処理&AI
 
AI for Media 2018 Update セミナー: 株式会社ユニゾンシステム: スピーチ AI を活用した文字起こしプラットホームの活用
AI for Media 2018 Update セミナー: 株式会社ユニゾンシステム: スピーチ AI を活用した文字起こしプラットホームの活用AI for Media 2018 Update セミナー: 株式会社ユニゾンシステム: スピーチ AI を活用した文字起こしプラットホームの活用
AI for Media 2018 Update セミナー: 株式会社ユニゾンシステム: スピーチ AI を活用した文字起こしプラットホームの活用
 
民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)
民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)
民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)
 
Erpと自然言語処理
Erpと自然言語処理Erpと自然言語処理
Erpと自然言語処理
 
アプリエンジニアでもできる閉域網構築のススメ!
アプリエンジニアでもできる閉域網構築のススメ!アプリエンジニアでもできる閉域網構築のススメ!
アプリエンジニアでもできる閉域網構築のススメ!
 
脆弱性スキャナVulsの紹介とMackerelメタデータと連携した脆弱性管理
脆弱性スキャナVulsの紹介とMackerelメタデータと連携した脆弱性管理脆弱性スキャナVulsの紹介とMackerelメタデータと連携した脆弱性管理
脆弱性スキャナVulsの紹介とMackerelメタデータと連携した脆弱性管理
 
ドライブレコーダーの Scene Text Recognitionにおける Multi-task Learning
ドライブレコーダーの Scene Text Recognitionにおける Multi-task Learningドライブレコーダーの Scene Text Recognitionにおける Multi-task Learning
ドライブレコーダーの Scene Text Recognitionにおける Multi-task Learning
 
Chainerで知るdeep learning進化の歴史
Chainerで知るdeep learning進化の歴史Chainerで知るdeep learning進化の歴史
Chainerで知るdeep learning進化の歴史
 
営業現場で困らないためのディープラーニング
営業現場で困らないためのディープラーニング営業現場で困らないためのディープラーニング
営業現場で困らないためのディープラーニング
 
微博(ウェイボ)型社内SNSとモバイルで始める社内の可視化
微博(ウェイボ)型社内SNSとモバイルで始める社内の可視化微博(ウェイボ)型社内SNSとモバイルで始める社内の可視化
微博(ウェイボ)型社内SNSとモバイルで始める社内の可視化
 
学会・研究会の情報保障におけるソーシャルネットワークの役割
学会・研究会の情報保障におけるソーシャルネットワークの役割学会・研究会の情報保障におけるソーシャルネットワークの役割
学会・研究会の情報保障におけるソーシャルネットワークの役割
 
JUIZ DLK 組込み向けDeep Learningコンパイラ
JUIZ DLK 組込み向けDeep LearningコンパイラJUIZ DLK 組込み向けDeep Learningコンパイラ
JUIZ DLK 組込み向けDeep Learningコンパイラ
 
Ai の最新動向と今熱い chat bot による業務効率化
Ai の最新動向と今熱い chat bot による業務効率化Ai の最新動向と今熱い chat bot による業務効率化
Ai の最新動向と今熱い chat bot による業務効率化
 
言葉のもつ広がりを、モデルの学習に活かそう -one-hot to distribution in language modeling-
言葉のもつ広がりを、モデルの学習に活かそう -one-hot to distribution in language modeling-言葉のもつ広がりを、モデルの学習に活かそう -one-hot to distribution in language modeling-
言葉のもつ広がりを、モデルの学習に活かそう -one-hot to distribution in language modeling-
 
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
 

Plus de Yahoo!デベロッパーネットワーク

ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかYahoo!デベロッパーネットワーク
 
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2Yahoo!デベロッパーネットワーク
 
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtcヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtcYahoo!デベロッパーネットワーク
 
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo!デベロッパーネットワーク
 
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtcヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtcYahoo!デベロッパーネットワーク
 
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtcYahoo!デベロッパーネットワーク
 
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtcPC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtcYahoo!デベロッパーネットワーク
 
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtcモブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtcYahoo!デベロッパーネットワーク
 
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtcユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtcYahoo!デベロッパーネットワーク
 

Plus de Yahoo!デベロッパーネットワーク (20)

ゼロから始める転移学習
ゼロから始める転移学習ゼロから始める転移学習
ゼロから始める転移学習
 
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
 
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
 
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッションオンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
 
LakeTahoe
LakeTahoeLakeTahoe
LakeTahoe
 
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
 
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability FeaturePersistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
 
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
 
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtceコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
 
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtcヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
 
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
 
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtcビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
 
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtcサイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
 
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtcヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
 
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtcYahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
 
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
 
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtcPC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
 
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtcモブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
 
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
 
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtcユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
 

Dernier

SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」IGDA Japan SIG-Audio
 
これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024Hideki Saito
 
The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))yoshidakids7
 
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~honeshabri
 
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。iPride Co., Ltd.
 
00001_test_automation_portfolio_20240313
00001_test_automation_portfolio_2024031300001_test_automation_portfolio_20240313
00001_test_automation_portfolio_20240313ssuserf8ea02
 
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版Takayuki Nakayama
 
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜Naomi Yamasaki
 
チームで開発するための環境を整える
チームで開発するための環境を整えるチームで開発するための環境を整える
チームで開発するための環境を整えるonozaty
 
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdfIGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdfIGDA Japan SIG-Audio
 
AWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作りAWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作りiPride Co., Ltd.
 
バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析sugiuralab
 

Dernier (12)

SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
 
これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024
 
The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))
 
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
 
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
 
00001_test_automation_portfolio_20240313
00001_test_automation_portfolio_2024031300001_test_automation_portfolio_20240313
00001_test_automation_portfolio_20240313
 
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
 
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
 
チームで開発するための環境を整える
チームで開発するための環境を整えるチームで開発するための環境を整える
チームで開発するための環境を整える
 
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdfIGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
 
AWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作りAWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作り
 
バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析
 

#ibis2017 Description: IBIS2017の企画セッションでの発表資料

  • 1. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 第20回情報論的学習理論ワークショップ 企画セッション発表資料 ヤフー株式会社 上席研究員 鍜治伸裕 音声対話アシスタントに関する 最近の研究動向 とYahoo! JAPAN研究所での取り組み
  • 2. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 自己紹介 名前 鍜治伸裕 博士(情報理工学) 略歴 2005 東京大学 情報理工学系研究科 博士課程修了 2005~2015 東京大学 生産技術研究所 特任准教授等 2014~2015 情報通信研究機構 主任研究員 2015~現在 ヤフー株式会社 上席研究員 研究の興味 音声対話処理、言語の分散表現、ソーシャルテキスト解析 2
  • 3. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 音声対話型インタフェースの時代 あらゆるデバイスに人工知能が搭載されるIoT時代の到来 ヒトとモノが音声対話でコミュニケーションできる世界が目前に 3 http://i.gzn.jp/img/2016/05/10/viv/s01.jpg http://images.techhive.com/images/article/2017/01/echodothome-100704745-large.3x2.jpg
  • 4. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Yahoo! 音声アシスト 4 累計250万ダウンロード以上 スマホ上で動作する音声対話システム https://www.amazon.co.jp/gp/product/B00OIWNED6
  • 5. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. (音声)対話システムは 半世紀以上の歴史を持つAIの古典的問題 5 Eliza (Weizenbaum 66) SHRDLU (Winograd 72) http://hci.stanford.edu/winograd/shrdlu https://en.wikipedia.org/wiki/ELIZA
  • 6. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. もう研究課題は残されていない? 強化学習に基づく理論的枠組みがすでに確立 対話システムに関する教科書が多数出版 6 http://www.coronasha.co.jp/np/isbn/9784339027570 有限状態音声対話モデル (Young et al. 2013) 対話システム(中野ら 2015)
  • 7. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ラボ環境から実環境へ 実際にサービスを運用して初めて顕在化する課題 新ドメインの迅速な追加 (Kim et al. ACL17) タスクと雑談の切り分け (Akasaki and Kaji ACL17) 本物の大規模ユーザを相手にする困難さ、面白さ ユーザ満足度の自動化 (Jiang et al. WWW15) システムエラー自動検出 (Sano et al. SIGDIAL17) 7
  • 8. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Young-Bum Kim, Karl Stratos, and Dongchan Kim. “Domain Attention with an Ensemble of Experts” In Proceedings of ACL17.
  • 9. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 従来の対話システムはドメインが限定的 9 http://www.speech.cs.cmu.edu/letsgo http://www.nict.go.jp/publication/NICT-News/1108/03.html AssisTra (翠+ 11)Let’s Go (Raux+ 05) フライト情報案内 (Price 90)、バスの時刻表案内 (Raux+ 05)、 観光案内 (翠+ 11)など
  • 10. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 最近の対話システムは 多数のドメインをサポートする方向に Yahoo! 音声アシストの場合: 10 他多数… 検索天気・災害 カレンダー アラーム レシピ 地図情報ニュース
  • 11. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 迅速な新ドメイン作成を実現するため ドメイン適応の研究が行われている 11 天気 検索 ニュース レシピ 地図情報 ソースドメインのデータ (大量) ターゲットドメインのデータ (少量) データ不足を補う Feature augmentation (Daume+ 07; Kim+16)、Multi-task learning (Jaech+ 16)、Zero-shot learning (Chen+ 16) など
  • 12. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 従来手法は再学習が必要なので 大規模な対話サービスの運用には不向き 12 全てのデータ(ソース+ターゲット)からの再学習が必要 ソースドメインの数が多い場合には非効率 ソースドメイン数 学習時間 従来手法 (Kim+ 16) 提案手法
  • 13. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 予備知識: 提案手法の基となるモデル 13 出力ラベル (発話意図など) BiLSTM 入力発話 Feedforward 文字 → 単語 → 発話と階層的に分散表現を獲得
  • 14. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 提案モデル:Domain Attention Model 14 … + BiLSTM BiLSTM BiLSTM 出力ラベル Feedforward ソースドメインのモデル (事前学習済み、固定) attention 入力発話 BiLSTM
  • 15. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 再学習不要でなおかつ精度も良い 15 Microsoft Cortana の7ドメインのデータを使用 意図判定とスロット抽出の2つのタスク 提案手法ベースライン
  • 16. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Attention Weights の分析 16 ターゲットが TAXI の時 FLIGHTS が大きくなるなど直感に適合 ソースドメイン ターゲットドメイン
  • 17. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Satoshi Akasaki and Nobuhiro Kaji. “Chat Detection in an Intelligent Assistant: Combining Task- oriented and Non-task-oriented Spoken Dialogue Systems” In Proceedings of ACL17.
  • 18. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 従来の対話システムは タスク型と雑談型に分けて研究されてきた • タスク型: システムに情報収集タスクを代行させる 18 • 雑談型: システムとの会話そのものを楽しむ はい。本郷三丁目周辺の イタリアンレストランは… 思いきって勉強始めてみると 良いと思いますよ! この近くにある イタリアン料理の店調べて 機械学習って気になるけど なんか難しそう。
  • 19. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 最近のサービスでは タスク型と雑談型という区別が曖昧に 19 A.L.I.C.E. (Wallace 09) Eliza (Weizenbaum 66)SHRDLU (Winograd 72) ATIS (Price 90) Let’s GO (Raux+ 05) しゃべってコンンシェル (吉村 12) Siri (Bellegarda 14) Cortana (Sarikaya 17) Yahoo! 音声アシスト (磯+ 13) 雑談型タスク型 アシスタント型 (タスクも雑談もこなす)
  • 20. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 雑談を意図したユーザ発話の検出が 新しい課題になる 20 気象情報 API の呼び出し 携帯端末の操作 雑談生成モデルの駆動 (seq2seqなど) 従来の雑談生成に関する研究では抜け落ちていたタスク 非雑談 雑談 今日の大阪の 天気は? 8時にアラーム 鳴らして 明日の仕事 休みたいなぁ
  • 21. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 教師データを構築して分類器を学習 • 15160発話をクラウドソーシングを利用してラベル付与 • 各発話ごと7名の多数決(雑談/非雑談: 4833/10327) • SVM と CNN の2つの分類器を学習、比較 21 ラベル 発話 得票数 雑談 お話ししよう 5 趣味はなんですか? 7 今月は休みがありません 5 非雑談 富士山の写真みせて 6 近くのおいしいレストラン 7 9時10分に起こして 7
  • 22. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 一工夫する:ツイートとウェブ検索ログを活用 • リプライのついたツイート≒雑談発話 22 やっと仕事終わったよー! USER1 @xxx @USER1 お疲れ様! USER2 @xxx おはようございます〜 USER3 @xxx @USER3 おはよ! USER4 @xxx 東京の天気 オムライスの作り方 君の名は。 ヤフー知恵袋 • ウェブ検索ログ≒タスク要求発話 それぞれGRU言語モデルを学習し対数尤度を特徴量に
  • 23. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 実験結果 • ベースライン(ツイートLM、内製)の精度を大きく改善 • 言語モデル(LM)素性の有効性を確認 23 手法 分類精度 適合率 再現率 F値 ツイート LM 72.07 54.54 74.48 62.94 内製の意図判定システム 78.31 62.57 79.51 70.03 SVM 91.35 87.62 84.88 86.21 SVM + ツイート/クエリ LM 92.15 88.61 86.50 87.53 CNN 90.84 87.03 83.80 85.36 CNN + ツイート/クエリ LM 91.48 87.78 85.18 86.56
  • 24. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 発話長と分類精度の関係 • LM素性は極端に短いまたは長い発話に有効 24 分類精度 発話長(文字数) SVM SVM+LM素性
  • 25. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Jiepu Jiang, Ahmed Hassan Awadallah, Rosie jones, Umut Ozertem, Imed Zitouni, Ranjitha Gurunath Kulkarni, and Omazr Zia Khan. “Automatic Online Evaluation of Intelligent Assistants” In Proceedings of WWW15.
  • 26. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 本物のユーザを相手にした対話処理には 正解がないので客観評価が難しい 多くの学術研究の進め方 客観評価が容易な部分問題を切り出して議論 訓練されたアノテータが適切な対話を天下り的に定義 素朴な疑問 部分問題が正しく解けてユーザ経験は向上するのか? 天下り的に決めた正解で本当にユーザは喜ぶのか? 26
  • 27. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. セッションの満足度を推定による自動評価 ユーザの行動パターンから満足度を推定するモデルを学習 27 User Cortana, call James. Cortana Sure, call James Smith mobile, is that right? User Yes Cortana Call James Smith mobile. [call the contact] User Where is the nearest pharmacy? Cortana Here are 8 pharmacies near you. [show options on the screen] User Show me the direction to block sponsee (Clark’s pharmacy) Cortana Sorry, I couldn’t find (…) Doyou you wanna search the web for it? SAT(満足) DSAT(不満)
  • 28. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Action系列を特徴量に利用 28 User Where is the nearest pharmacy? Command Cortana Here are 8 pharmacies near you. [show options on the screen] Option User Show me the direction to block sponsee (Clark’s pharmacy) Select Cortana Sorry, I couldn’t find (…) Do you you wanna search the web for it? Confirm User No NO Cortana Here are 8 pharmacies near you. [show options on the screen] Option
  • 29. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. その他の特徴量(サマリ) 29 クリック ユーザ発話 システムの応答 音声情報
  • 30. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 満足度予測の実験結果 60名の被験者による300セッションの発話 満足度のratingをもとに SAT/DSAT ラベルを付与 30
  • 31. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. SAT/DSATに特徴的なアクション系列 31
  • 32. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Shumpei Sano, Nobuhiro Kaji, and Manabu Sassano. “Predicting Causes of Reformulation in Intelligent Assistants” In Proceedings of SIGDIAL17.
  • 33. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 大勢のユーザとの対話を通じて 自立的に学習するというシナリオが現実的に 33 ユーザがシステムを“普通に”利用 (明示的な教師信号や報酬は与えない) ユーザとの対話の経験を通して 自立的に学習、成長
  • 34. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ユーザの修正発話に着目 34 間違った応答 修正発話 “アラームの”ウェブ検索結果 はこちらです… アラーム アラームを起動して
  • 35. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 研究のゴール: 修正発話の原因となるエラー源の自動検出 35 音声認識 言語理解 言語生成 知識ベース ユーザ発話 システム応答 ウェブAPI 対話システム 外部システム/資源 エラーの発生源が特定できれば(半)自動訂正につながる
  • 36. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ログから類似発話の繰り返しを抽出し エラー原因をアノテーション 36 今日の東京の 天気は晴れ… “アラーム”の ウェブ検索結果は… 申し訳ありません よく分かりません… 私の年齢は… エラー無し(387発話) 音声認識エラー(317発話) 言語理解エラー(173発話) 言語生成エラー(51発話) 今日の天気は? じゃあ明日の天気 今日の転勤 今日の天気は? アラーム アラームを起動 あなたの名前は なんていうの? あなたの名前は?
  • 37. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 様々な特徴量を設計 37 “アラームの”ウェブ検索 結果はこちらです… はい。アラームを起動します。 発話時間間隔 Domain: アラーム ASR Conf.: 0.7 ASR Conf.: 0.9 修正タイプ(ADD, OMIT等) … 編集距離 Domain: ウェブ検索 Intent: SEARCH(アラーム) Intent: START domain、intent(slot値など)などの一致 ASRの確信度 アラーム アラームを起動して
  • 38. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 原因判定実験の結果 • SVM を用いて10分割交差検定 • 発話の表層情報だけでなくエラー原因ごとに作りこまれた素 性を使うことでF1値が向上 38 エラー無し 音声認識 エラー 言語理解 エラー 言語生成 エラー ベースライン 0.58 0.59 0.36 0.03 +音声認識素性 0.66†† 0.67†† 0.35 0.16 +言語理解素性 0.71†† 0.65 0.43 0.25† +言語生成素性 0.55 0.57 0.32 0.08 提案法(+全素性) 0.75†† 0.72†† 0.49† 0.33††
  • 39. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 混同行列の分析 39 エラー無し 音声認識 エラー 言語理解 エラー 言語生成 エラー エラー無し 284 55 27 21 音声認識 エラー 38 230 37 12 言語理解 エラー 44 29 81 19 言語生成 エラー 8 12 11 20 正解 予測
  • 40. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. まとめ およそ半世紀の基礎研究の期間を経て、音声対話技術は、 音声対話アシスタントという形で実社会に巣立ちつつある e.g., Google Home, Amazon Echo, Line Clova, Y! Voice Assist etc. しかし、ラボ環境と実環境のギャップは依然として存在しており、 現在はその差を埋めている段階 これからは実環境での音声対話研究が面白くなるはず! 実サービスの運用から顕在化した新しい課題 (Kim et al. 2017; Akaskai and Kaji 2017) 大勢のリアルユーザの行動分析 (Jiang et al. 2015; Sano et al. 2017) 40
  • 41. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.