2018年12月15日 AITC女子会会話の記録と分析

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
AITC女子会
2018 機械学習勉強会
「会話の記録と分析」
2018年12月15日
議事録チーム (久保、藤井、入村、赤池、荒井）

目次
2
概要
こんなことがしたい
こんなものを作ろう
まとめ

概要
3

概要
4
「会話の記録と分析」チーム
メンバーの困りごと
「議事録」「面談記録」など、会議や会話の記録を文書
にすることに多くの時間を割いている
そんなみんなの願いは・・・
音声を自動でテキストに変換できたら、
そのまま議事録が作れるんじゃないかしら？
じゃあ、音声入力させよう！

例）病院の困りごと
■背景
・医師の負担軽減および病院・クリニックの経営効率化のため、
医師の診察以外の付随業務を減らしたい
・患者様の不安な気持ちや不信感を汲み取れない医師が多い
⇒Googleの音声入力で解決できるのでは？
5

ほかにも、こんな困りごとも
6
・毎回の議事録を作るのに、会議よりも時間がかかる
・面談のときに記録をつけるのに時間がかかる。
・・・面談は同じ時期に大量にさばく必要がある
・一人作業で何か記録を残したい。
作業しながら、「やりました」が履歴がのこる。
後から、ほかの人が確認できる。

こんなことがしたい
7

①診療中の会話を
テキストに変換
②開始キーワードで記録開始
患者様・医師・看護師各々の発言者が区別される
いったんGoogleドキュメントに書き込まれる
その際、項目キーワードでフォーマットに項目分けさ
れる
診療記録 20XX 年 11月 28日 / 午前10時 / 診察室A
医師：山田
患者様：A123456 鈴木
10:00 看護士：「次回予約は」←診療開始キーワード
0:00 医師：今日はどんな症状がありますか？
0:05 患者様：後頭部がズキズキ痛くて・・・
0:12 医師：「症状は」←症状記録キーワード
頭痛
～～診療中の会話～～
10:10 看護士：お大事になさってください←診療終了
キーワード
診察日時
医師名
患者名
症状
内容
③電子カルテに転記
診療の自動記録１

診療の自動記録２
9
患者様の
音声を記録看護士の音声を記録
自動で予約スケジュール登録診療後の感情分析
信頼できるお医者さんだな
なんだか不安だなぁ
私の症状を理解していないぞ
本当はこうで
きたらいいな
💛
即時カルテ入力
医師の音声を記録

①面接中の会話を
②発言者ごとに発言
が色分けされる
事前に登録しておく
と名前が出てくる
③面接終了後に参加者の発言から感情を分析
(※面接者がネガティブな感情になる率が高い面接担
当者は圧迫面接をしているかも…
面接担当者がネガティブで面接者の発言内容に問題
がない場合、単に性格が合わないだけかも…)
面談の会話を自動記録

音声による安全確認の記録
後方確認（サイドミラー）
止まれ
前方確認（歩行者、自転車）
時間確認出発よし
前方よし
歩行者確認
運転手の音声を記録歩行優先レーン読み上げ
1月1日2019年
運転手：
渋谷ハチ公口歩行者確認 13:15
NHN放送センター後方確認 13:18
代々木公園正門右折左右確認
ハンズフリー
読み上げ
ハンズフリー
書き込み
補足：決められたルートにしか対応できません

①会議中の会話を
②発言ごとに
発表者名を記載
③議論の白熱度や、議事内容に対して
肯定的/非肯定的などのフラグ付け
※会議欠席者や第三者が議事録を確認すれば、
会議出席者と同じ認識を持てるようになる
議事録

会話の記録と言っても・・・
13
一口に会話の記録と言っても
使うシーンも実現したいこともみんなバラバラ。
「。。。。で、どれ作る？」
診療記録
採用面談
安全確認
議事録

もちろん、みんな
14
自分用のが欲しい～～！

こんなモノを作ろう！
15

こんなのを作ろう！
16
１．目的別に記録ファイルの雛形と
「キーワード・アクション」リストを準備
診療
採用
記録ファイルの雛形
「キーワード・アクショ
ン」リスト
２．雛形から「キーワード・ア
クション」
リストをコピー
３．発言を自動でファイルに
書き込む。
4．発言が「キーワード・アク
ション」リストの項目に一致し
たら、紐づけられているアク
ションを実施
5. 感情分析を実施

先生！
患者さんが不
安そうですよっ。
どう作るか？案１
17
しゃべる
マイクで集音
音声から感情分析
オンラインドキュメントを
事前に作成・共有
テキスト＋感情を
ドキュメントに追記
音声をテキストに変換

18
2018.06.29 FRI 08:30
日本発、「音声感情解析」のスタートアップに世界が注目
今年5月にルクセンブルクで開催
されたカンファレンス「ICT
Spring」のピッチコンテストで、日
本のスタートアップが優勝した。
その企業、Empathが扱うのは
「音声感情解析」という聞き慣れ
ない技術である。技術のユニー
クさを大きく評価された彼らは、
いったい何をなそうとしているの
か。
出典: https://wired.jp/2018/06/29/ict-spring-luxembourg-empath/

先生！
患者さんが不
19
しゃべる
マイクで集音
・音声から感情分析はどうやら最先端すぎ
る技術らしい。

先生！
患者さんが不
20
しゃべる
マイクで集音
・音声から感情分析はどうやら最先端すぎ
る技術らしい。
NG！

どう作るか？案２
21
しゃべる
1つのマイクで
集音
話者を識別
「しゃべり」の区切りを判定

22
しゃべる
1つのマイクで
集音
話者を識別
・誰がしゃべったかを区別するのは難しそ
う
・特定話者識別には音声登録が必要
→ 音声登録してから面談や会議を
始めるのは現実的ではない

23
しゃべる
1つのマイクで
集音
話者を識別
事前に作成
・不特定話者識別は難しそう。
・特定話者識別には音声登録が必要
→ 音声登録してから面談や会議を
始めるのは現実的ではない
NG！

どう作るか？案３
24
Google Document には「音声入力」というステキな機
能があるらしい

25
いや、そもそも、スマホに音声入力あるじゃん。

26
しゃべるスマホで集音
Google ドキュメントを
話者ごとにGoogle
ドキュメントに記録される
スマホからGoogle
ドキュメントにアクセス
音声入力

どう作るか？案2
27
しゃべるスマホで集音
・ドキュメントにテキストで入力できる
・誰が話したかも記録される
ひとまず採用！
Google ドキュメントを
話者ごとにGoogle
ドキュメントに記録される
スマホからGoogle
ドキュメントにアクセス
音声入力

どう作るか？
28
音声
音声入力
テキスト
入力処理
キーワードファイル
読み込み
キーワードファイルと比較
・コマンドなし
テキスト挿入
・コマンド
挿入場所移動
ドキュメントを閉じる等
・感情分析
感情分析処理実行
出力処理
ドキュメントへの出力
・カーソル位置を管理
・カーソル移動
・テキスト出力
・終了/閉じる
感情分析処理
感情分析結果を挿入
・会話部分を読み込み
・Google Natural
Language APIで感情分析
実行
・結果をドキュメントへ挿入
テキスト書き込み
内容読み込み
感情分析結果書き込み
Google Cloud Platform
Google App Script ?

まとめ
30
荒井：今回は計画までですが、これが実現したら楽
しそうです！
入村：色々とアイデアをだせたので、ソフトウエアづ
くりにつなげられるのを楽しみにしています。
久保：今の仕事に直結した願望をテーマにしてしま
いました。手が届きそうなアイディアなので、ぜひ実
現させたいです。

2018年12月15日 AITC女子会会話の記録と分析

Recommandé

Recommandé

Contenu connexe

Similaire à 2018年12月15日 AITC女子会会話の記録と分析

Similaire à 2018年12月15日 AITC女子会会話の記録と分析 (20)

Plus de aitc_jp

Plus de aitc_jp (20)