SlideShare une entreprise Scribd logo
1  sur  30
Télécharger pour lire hors ligne
Alexa Gadgets Toolkitから広がるVUIの
可能性
2019-11-09 AAJUG京都 スキル企画・アドバンスド
Masami Yamate
Who are you
山手 政実 Masami Yamate
株式会社 LIFULL 所属 ※最近転職しました
LIFULL Home’s iOSエンジニア
人との対話に近づけるため、 Alexaを技術目線で日々Hack中....
前職:とある公共交通系サービスの会社
Alexa日本サービス開始に合わせて、 1人でスキルを開発し、サービスイン
2年ほど交通情報系Alexaスキルを運営した経験あり
Alexa Gadgets Toolkitとは?
A.ユーザー独自のAlexa Gadgetを開発できるツール
+ =
何ができるの?
A.Echoデバイスと連動してガジェットを操作できる
1. Alexaスキルからガジェットを制御する
2. Alexaネイティブ機能に合わせてガジェットを制御する
オリジナルの Echo Buttonを作ったり…
再生中の音楽のテンポデータを使って
踊る人形を作ったり…
スキル開発者は何ができる?
スキルからガジェットを動かしたり、ガジェットから受け取った
情報を元にAlexaから能動的に返答することが可能になった
ゲーム終了まで
残り3分です
※ゲームスキルが起動している状態として
能動的
��
本日の本当のテーマ
Gadgetを使わずに、Alexa Gadgets Toolkitを使うことで生まれる
スキル体験の可能性
今まで
Alexa 〇〇を開いて 問題!〇〇の答えは?
今まで
んー…
今まで
Alexa、答えは〇〇!
今まで
わかりませんでした
ごめんなさい
今まで
わかりませんでした
ごめんなさい
セッション切れで、スキルを立ち上げ直さないと続けられない
• Audioタグを使うことで4分までセッションを維持することができた
これから
Alexa 〇〇を開いて 問題!〇〇の答えは?
これから
んー… 答えるの遅いー
※Gadget内部で返答時間を管理している前提
これから
(間に合わなかった!) 次の問題にいきます!
これから
わかりませんでした
ごめんなさい
Alexaが能動的に話すことができるので、
より「人に近い対話」を行えるスキル開発が可能になる
セッション持続時間(1)
✔ 通常:8秒
✔ Audio tag:240秒
• ゲーム系スキルでは、Audio tagを活用しセッション時間を
• 伸ばすテクニックがよく見られた。
• Audio playerを活用することで、擬似的なセッション永続化は
• 可能であった。
セッション持続時間(2)
✔ Alexa Gadgets Toolkit:90秒
Alexa Gadgets Toolkitでもセッション持続時間はある
Gadgetからのアクションで発話されることが可能なので…
持続時間内に定期的にGadgetから永続処理をスキルにリクエストし、
リクエストを元に空返答にガジェットのイベントリスナーを付与することで
セッションを永続化することが可能になった
DEMO

仕組み
Alexa、チンベルで
5分間のセッションを開始して
セッションを
開始します
仕組み
Namespace:Custom.ChinBell
Name:Start
Payload: {date: <unixtime>}
Alexa gadgetにEventを送付する
スキルからセッション終了時刻をGadgetに送付する
Gadget側でセッション経過時間の監視を開始する
仕組み
Namespace:Custom.ChinBell
Name:Skillhandler
Payload: {}
スキル側で監視してるEventをgadgetから送付
仕組み
無言
このときに無言の応答に再度イベントハンドラーを付与して
返却する
仕組み
GadgetからのEventを送付、Payloadに含まれるstatusの値を元に
セッション終了のレスポンスを発話させる
Namespace:Custom.ChinBell
Name:Skillhandler
Payload: {status: end}
スキル側で監視してるEventをgadgetから送付
仕組み
セッション終了です
お疲れ様でした
最後は通常の発話で終了
Alexa Gadgets Toolkit 辛いとこ (1)
•エラーの切り分けがより複雑になる
• Skill scriptなのかGadget scriptなのか、それとも送付するDirectiveの問題なのか
• Cloud watchで捕捉できるエラーなら「SkillのScript」
• Gadget側で捕捉できるエラーなら「GadgetのScript」
• 上記2つでなければ、gadgetとskillでやり取りするDirectiveのフォーマット
Alexa Gadgets Toolkit 辛いとこ (2)
•キャメルケースとスネークケース
• Node.jsはキャメルケース
• Pythonではスネークケース
- Node.js Send Directive -
{
type: 'CustomInterfaceController.SendDirective',
header: {
name: Custom.ChinBell,
namespace: Start
},
endpoint: {
endpointId: endPointId
},
payload: {}
}
- Python Handler method -
def on_custom_chinbell_start(self, directive):
# なんか色々やる
Alexa Gadgets Toolkit 辛いとこ (3)
•日本ではストア公開スキルの前例がまだないらしい
• 審査をどうやるか…
• Gadget側のscriptをオープンソースにするとか…
Alexa Gadgets Toolkitで広がるVUI体験
•Alexaをより人に近づけることができ、人 対 Alexaの会話を
リッチにすることができる
 → これによりスキルが持つ世界観にユーザーを引き込むことが
できる
•声で操作できるGadgetを作れるようになっただけではない!

Contenu connexe

Similaire à Alexa Gadgets Toolkitから広がるVUIの可能性

自然言語処理サービスとRaspberry PIで自分だけの音声入力デバイスを作ろう
自然言語処理サービスとRaspberry PIで自分だけの音声入力デバイスを作ろう自然言語処理サービスとRaspberry PIで自分だけの音声入力デバイスを作ろう
自然言語処理サービスとRaspberry PIで自分だけの音声入力デバイスを作ろう賢太郎 前多
 
Alexa Skills Kitでプロダクトの可能性を広げる
Alexa Skills Kitでプロダクトの可能性を広げるAlexa Skills Kitでプロダクトの可能性を広げる
Alexa Skills Kitでプロダクトの可能性を広げるJun Ichikawa
 
20191206_Alexaスキルを作ってみよう
20191206_Alexaスキルを作ってみよう20191206_Alexaスキルを作ってみよう
20191206_Alexaスキルを作ってみようyamamotomsc
 
Alexaスキルのはじめ方
Alexaスキルのはじめ方Alexaスキルのはじめ方
Alexaスキルのはじめ方Jun Ichikawa
 
20190509 alexa salon
20190509 alexa salon20190509 alexa salon
20190509 alexa salon浩治 福村
 
enebular meetup 20190117 & CES
enebular meetup 20190117 & CES enebular meetup 20190117 & CES
enebular meetup 20190117 & CES Sayaka Ito
 
「Alexaから君へ」Master cloud #9 新春クラウドLT大会
「Alexaから君へ」Master cloud #9 新春クラウドLT大会「Alexaから君へ」Master cloud #9 新春クラウドLT大会
「Alexaから君へ」Master cloud #9 新春クラウドLT大会Mitsuhiro Yamashita
 

Similaire à Alexa Gadgets Toolkitから広がるVUIの可能性 (9)

自然言語処理サービスとRaspberry PIで自分だけの音声入力デバイスを作ろう
自然言語処理サービスとRaspberry PIで自分だけの音声入力デバイスを作ろう自然言語処理サービスとRaspberry PIで自分だけの音声入力デバイスを作ろう
自然言語処理サービスとRaspberry PIで自分だけの音声入力デバイスを作ろう
 
Alexa Skills Kitでプロダクトの可能性を広げる
Alexa Skills Kitでプロダクトの可能性を広げるAlexa Skills Kitでプロダクトの可能性を広げる
Alexa Skills Kitでプロダクトの可能性を広げる
 
20191206_Alexaスキルを作ってみよう
20191206_Alexaスキルを作ってみよう20191206_Alexaスキルを作ってみよう
20191206_Alexaスキルを作ってみよう
 
Alexaスキルのはじめ方
Alexaスキルのはじめ方Alexaスキルのはじめ方
Alexaスキルのはじめ方
 
Alexa SDK Alexa Salon
Alexa SDK Alexa SalonAlexa SDK Alexa Salon
Alexa SDK Alexa Salon
 
Trat sprint11
Trat sprint11Trat sprint11
Trat sprint11
 
20190509 alexa salon
20190509 alexa salon20190509 alexa salon
20190509 alexa salon
 
enebular meetup 20190117 & CES
enebular meetup 20190117 & CES enebular meetup 20190117 & CES
enebular meetup 20190117 & CES
 
「Alexaから君へ」Master cloud #9 新春クラウドLT大会
「Alexaから君へ」Master cloud #9 新春クラウドLT大会「Alexaから君へ」Master cloud #9 新春クラウドLT大会
「Alexaから君へ」Master cloud #9 新春クラウドLT大会
 

Dernier

LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイスCRI Japan, Inc.
 
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native IntegrationsUtilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native IntegrationsWSO2
 
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptxsn679259
 
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Gamesatsushi061452
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。iPride Co., Ltd.
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルCRI Japan, Inc.
 
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。iPride Co., Ltd.
 
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。iPride Co., Ltd.
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video UnderstandingToru Tamaki
 
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...Toru Tamaki
 

Dernier (10)

LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
 
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native IntegrationsUtilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
 
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
 
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
 
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
 
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
 
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
 

Alexa Gadgets Toolkitから広がるVUIの可能性