SlideShare une entreprise Scribd logo
1  sur  23
Télécharger pour lire hors ligne
TensorFlow勉強会
注意を深掘りする
浅川伸一 東京女子大学 asakawa@ieee.org
Google Japan
2016年9月28日21:20 -21:40
2 /23
本日の内容
1. 古典的注意
2. Bahdanau(2015)の注意
3. TensorFlowでの注意wrapper
3 /23
謝辞
KUNO 佐藤傑様
C8 lab 新村拓也様
Google 佐藤一憲様
4/23
自己紹介
浅川伸一 東京女子大学 情報処理センター勤務。早稲田大
学在学時はピアジェの発生論的認識論に心酔する。卒業後
エルマンネットの考案者ジェフ・エルマンに師事,薫陶を受け
る。以来人間の高次認知機能をシミュレートすることを目指
している。知的情報処理機械を作ることを通して知的情報処
理とは何かを考えたいと思っている。著書に「 Python で実践する深層学
習」( 2016) コロナ社 . 「ディープラーニング,ビッグデータ,機械学習 --- あるいはその心理学」
(2015) 新曜社。「ニューラルネットワークの数理的基礎」「脳損傷とニューラルネットワークモデ
ル,神経心理学への適用例」いずれも守一雄他編 コネクショニストモデルと心理学(2001) 北
大路書房などがある
5/23
師匠ジェフ・エルマンとUCSDキャンパス内 2002年ころ
6 /23
←2016年
2015年→
7 /23
古典的注意
1. スペリー,ガザニガの脳梁切断患者の実験
2. ブロードベンド,トリーズマンの両耳分離聴実験
1981年ノーベル医学生理学賞,1/2, ヒューベル1/4, ウィーゼル 1/4
2002年ノーベル経済学賞
8 /23
9 /23
分離脳患者の実験状況
左視野(右脳)に
提示された物品
分離脳患者は
呼称できない
左手で探り当てる
ことはできる
10 /23
11 /23
Bahdanau(2015)の注意 arXiv:1409.0473v6
下のカルパシィ図式で言えば,入力言語は
many to one でエンコードし,最後の中間層状
態をコンテキストとして表象する。その表象を用
いて one to many のデコーダを用いて翻訳する
モデル
Cho+2014の翻訳モデル
太田さんのご説明のzがc
12 /23
エンコーダ,デコーダモデルの成績
横軸は文の長さ
長文では翻訳成績が
低下する
13 /23
改良モデル
目標言語を生成し,その生成した単語
から入力言語を制約
入力言語から生成されるコンテキストc
を一時刻前に表出した目標言語の単語
によってバイアスをかける
14 /23
改良モデル2
時刻 t の中間層
エンコーダ側
コンテキスト
fとqにLSTMを使うのがseq2seqモデル
TensorFlow のチュートリアルでおなじみ
15 /23
改良モデル3
出力言語系列デコーダ側
コンテキスト
ソフトマックスで候補を絞る
16 /23
改良モデル4
ソフトマックスで候補を絞る
17 /23
18 /23
Graves(2014) NTMarXiv:1410.5401v1
19 /23
Zaremba(2015)arXiv:1505.00521v2
20 /23
Show, Attend and Tell: Neural Image Caption
Generation with Visual AttentioarXiv:1502.03044v2
21 /23
TensorFlow では
tensorflow.contrib.rnn.python.ops.rnn_cell.AttentionCellWrapper
arXiv:1601.06733v7
22 /23
# rnn with attention
classifier = tf.contrib.learn.TensorFlowRNNClassifier(rnn_size=2,
cell_type="lstm",
n_classes=2,
input_op_fn=rnn_input_fn,
bidirectional=False,
attn_length=2,
steps=100,
attn_size=2,
attn_vec_size=2)
classifier.fit(data, labels)
23 /23
if attn_length is not None:
fw_cell = contrib_rnn.AttentionCellWrapper(
fw_cell, attn_length=attn_length, attn_size=attn_size,
attn_vec_size=attn_vec_size, state_is_tuple=False)
bw_cell = contrib_rnn.AttentionCellWrapper(
bw_cell, attn_length=attn_length, attn_size=attn_size,
attn_vec_size=attn_vec_size, state_is_tuple=False)
rnn_fw_cell = nn.rnn_cell.MultiRNNCell([fw_cell] * num_layers,
state_is_tuple=False)

Contenu connexe

Tendances

From Scratch, let's start Deep Learning with Python (plus Text Processing, pr...
From Scratch, let's start Deep Learning with Python (plus Text Processing, pr...From Scratch, let's start Deep Learning with Python (plus Text Processing, pr...
From Scratch, let's start Deep Learning with Python (plus Text Processing, pr...Kiyoshi Ogawa
 
Tensorflowで言語識別をやってみた
Tensorflowで言語識別をやってみたTensorflowで言語識別をやってみた
Tensorflowで言語識別をやってみたKyota Yasuda
 
最近思った機械学習(PyTorch)のベストプラクティス
最近思った機械学習(PyTorch)のベストプラクティス最近思った機械学習(PyTorch)のベストプラクティス
最近思った機械学習(PyTorch)のベストプラクティスMasato Fujitake
 
初心者が Python で戸惑ったところ
初心者が Python で戸惑ったところ初心者が Python で戸惑ったところ
初心者が Python で戸惑ったところEmma Haruka Iwao
 
Lighting talk chainer hands on
Lighting talk chainer hands onLighting talk chainer hands on
Lighting talk chainer hands onOgushi Masaya
 
Pythonで自動化した話1
Pythonで自動化した話1Pythonで自動化した話1
Pythonで自動化した話1Masato Fujitake
 
PythonでPodcastを聴く
PythonでPodcastを聴くPythonでPodcastを聴く
PythonでPodcastを聴くMasato Fujitake
 
ヤフー音声認識サービスでのディープラーニングとGPU利用事例
ヤフー音声認識サービスでのディープラーニングとGPU利用事例ヤフー音声認識サービスでのディープラーニングとGPU利用事例
ヤフー音声認識サービスでのディープラーニングとGPU利用事例Yahoo!デベロッパーネットワーク
 
Tf勉強会(5)
Tf勉強会(5)Tf勉強会(5)
Tf勉強会(5)tak9029
 
Python パッケージの影響を歴史から理解してみよう!
Python パッケージの影響を歴史から理解してみよう!Python パッケージの影響を歴史から理解してみよう!
Python パッケージの影響を歴史から理解してみよう!Kir Chou
 
連続音声からの語彙学習と 自動巡回ロボットへの応用
連続音声からの語彙学習と自動巡回ロボットへの応用連続音声からの語彙学習と自動巡回ロボットへの応用
連続音声からの語彙学習と 自動巡回ロボットへの応用Ryo Taguchi
 
Python による 「スクレイピング & 自然言語処理」入門
Python による 「スクレイピング & 自然言語処理」入門Python による 「スクレイピング & 自然言語処理」入門
Python による 「スクレイピング & 自然言語処理」入門Tatsuya Tojima
 
Python と型ヒント (Type Hints)
Python と型ヒント (Type Hints)Python と型ヒント (Type Hints)
Python と型ヒント (Type Hints)Tetsuya Morimoto
 
「自動化...か、かっこいいタル」(憧れ)から始める自動化
「自動化...か、かっこいいタル」(憧れ)から始める自動化「自動化...か、かっこいいタル」(憧れ)から始める自動化
「自動化...か、かっこいいタル」(憧れ)から始める自動化Hirokazu Kutsu
 
Py datameetup1
Py datameetup1Py datameetup1
Py datameetup1shiroyagi
 
High performance python computing for data science
High performance python computing for data scienceHigh performance python computing for data science
High performance python computing for data scienceTakami Sato
 
Chainerで学ぶdeep learning
Chainerで学ぶdeep learningChainerで学ぶdeep learning
Chainerで学ぶdeep learningRetrieva inc.
 

Tendances (20)

From Scratch, let's start Deep Learning with Python (plus Text Processing, pr...
From Scratch, let's start Deep Learning with Python (plus Text Processing, pr...From Scratch, let's start Deep Learning with Python (plus Text Processing, pr...
From Scratch, let's start Deep Learning with Python (plus Text Processing, pr...
 
Tensorflowで言語識別をやってみた
Tensorflowで言語識別をやってみたTensorflowで言語識別をやってみた
Tensorflowで言語識別をやってみた
 
Tfug kansai vol1
Tfug kansai vol1Tfug kansai vol1
Tfug kansai vol1
 
最近思った機械学習(PyTorch)のベストプラクティス
最近思った機械学習(PyTorch)のベストプラクティス最近思った機械学習(PyTorch)のベストプラクティス
最近思った機械学習(PyTorch)のベストプラクティス
 
初心者が Python で戸惑ったところ
初心者が Python で戸惑ったところ初心者が Python で戸惑ったところ
初心者が Python で戸惑ったところ
 
Lighting talk chainer hands on
Lighting talk chainer hands onLighting talk chainer hands on
Lighting talk chainer hands on
 
Pythonで自動化した話1
Pythonで自動化した話1Pythonで自動化した話1
Pythonで自動化した話1
 
PythonでPodcastを聴く
PythonでPodcastを聴くPythonでPodcastを聴く
PythonでPodcastを聴く
 
Erlang and I and Sphinx.
Erlang and I and Sphinx.Erlang and I and Sphinx.
Erlang and I and Sphinx.
 
ヤフー音声認識サービスでのディープラーニングとGPU利用事例
ヤフー音声認識サービスでのディープラーニングとGPU利用事例ヤフー音声認識サービスでのディープラーニングとGPU利用事例
ヤフー音声認識サービスでのディープラーニングとGPU利用事例
 
Tf勉強会(5)
Tf勉強会(5)Tf勉強会(5)
Tf勉強会(5)
 
Python パッケージの影響を歴史から理解してみよう!
Python パッケージの影響を歴史から理解してみよう!Python パッケージの影響を歴史から理解してみよう!
Python パッケージの影響を歴史から理解してみよう!
 
連続音声からの語彙学習と 自動巡回ロボットへの応用
連続音声からの語彙学習と自動巡回ロボットへの応用連続音声からの語彙学習と自動巡回ロボットへの応用
連続音声からの語彙学習と 自動巡回ロボットへの応用
 
Python による 「スクレイピング & 自然言語処理」入門
Python による 「スクレイピング & 自然言語処理」入門Python による 「スクレイピング & 自然言語処理」入門
Python による 「スクレイピング & 自然言語処理」入門
 
S13 t0 introduction
S13 t0 introductionS13 t0 introduction
S13 t0 introduction
 
Python と型ヒント (Type Hints)
Python と型ヒント (Type Hints)Python と型ヒント (Type Hints)
Python と型ヒント (Type Hints)
 
「自動化...か、かっこいいタル」(憧れ)から始める自動化
「自動化...か、かっこいいタル」(憧れ)から始める自動化「自動化...か、かっこいいタル」(憧れ)から始める自動化
「自動化...か、かっこいいタル」(憧れ)から始める自動化
 
Py datameetup1
Py datameetup1Py datameetup1
Py datameetup1
 
High performance python computing for data science
High performance python computing for data scienceHigh performance python computing for data science
High performance python computing for data science
 
Chainerで学ぶdeep learning
Chainerで学ぶdeep learningChainerで学ぶdeep learning
Chainerで学ぶdeep learning
 

Similaire à 2016tf study5

2016tensorflow ja001
2016tensorflow ja0012016tensorflow ja001
2016tensorflow ja001Shin Asakawa
 
データ分析スクリプトのツール化入門 - PyConJP 2016
データ分析スクリプトのツール化入門 - PyConJP 2016データ分析スクリプトのツール化入門 - PyConJP 2016
データ分析スクリプトのツール化入門 - PyConJP 2016Akinori Kohno
 
20180824 DLLab推論ナイト_深層学習モデル推論ライブラリ「Menoh」の紹介/Python以外でDeepLearning
20180824 DLLab推論ナイト_深層学習モデル推論ライブラリ「Menoh」の紹介/Python以外でDeepLearning20180824 DLLab推論ナイト_深層学習モデル推論ライブラリ「Menoh」の紹介/Python以外でDeepLearning
20180824 DLLab推論ナイト_深層学習モデル推論ライブラリ「Menoh」の紹介/Python以外でDeepLearningPreferred Networks
 
2010 10 02_mahara_openforum_report
2010 10 02_mahara_openforum_report2010 10 02_mahara_openforum_report
2010 10 02_mahara_openforum_reportTom Hayakawa
 
nlpaper.challenge2 nlp1
nlpaper.challenge2 nlp1nlpaper.challenge2 nlp1
nlpaper.challenge2 nlp1Kense Todo
 
Python勉強会in 長野 オープニング
Python勉強会in 長野 オープニングPython勉強会in 長野 オープニング
Python勉強会in 長野 オープニングYuuki Nakajima
 
NNで広告配信のユーザー最適化をやってみた。@ TFUG #3
NNで広告配信のユーザー最適化をやってみた。@ TFUG #3NNで広告配信のユーザー最適化をやってみた。@ TFUG #3
NNで広告配信のユーザー最適化をやってみた。@ TFUG #3Junichiro Katsuta
 
TensorFlowでニューラルネットを作って、広告配信の最適化をやってみた
TensorFlowでニューラルネットを作って、広告配信の最適化をやってみたTensorFlowでニューラルネットを作って、広告配信の最適化をやってみた
TensorFlowでニューラルネットを作って、広告配信の最適化をやってみたJunichiro Katsuta
 
Pythonでディープラーニングをはじめるための一歩目
Pythonでディープラーニングをはじめるための一歩目Pythonでディープラーニングをはじめるための一歩目
Pythonでディープラーニングをはじめるための一歩目Core Concept Technologies
 
コミュニティカレッジさくら20150531
コミュニティカレッジさくら20150531コミュニティカレッジさくら20150531
コミュニティカレッジさくら20150531義広 河野
 
みんなのPython勉強会 in 長野 #3, Intro
みんなのPython勉強会 in 長野 #3, IntroみんなのPython勉強会 in 長野 #3, Intro
みんなのPython勉強会 in 長野 #3, IntroTakeshi Akutsu
 
子供の言語獲得と機械の言語獲得
子供の言語獲得と機械の言語獲得子供の言語獲得と機械の言語獲得
子供の言語獲得と機械の言語獲得Yuya Unno
 
専門演習_河野ゼミ紹介20191023
専門演習_河野ゼミ紹介20191023専門演習_河野ゼミ紹介20191023
専門演習_河野ゼミ紹介20191023義広 河野
 
S10 t1 spc_by_nowfromnow
S10 t1 spc_by_nowfromnowS10 t1 spc_by_nowfromnow
S10 t1 spc_by_nowfromnowTakeshi Akutsu
 
超AIが倫理的であれば 共存できるのか? ー進化倫理学を参考に ー
超AIが倫理的であれば共存できるのか?ー進化倫理学を参考に ー超AIが倫理的であれば共存できるのか?ー進化倫理学を参考に ー
超AIが倫理的であれば 共存できるのか? ー進化倫理学を参考に ーThe Whole Brain Architecture Initiative
 
平成29年度 日本大学文理学部オープンキャンパス 「人工知能ってどんな仕組み?」
平成29年度 日本大学文理学部オープンキャンパス 「人工知能ってどんな仕組み?」平成29年度 日本大学文理学部オープンキャンパス 「人工知能ってどんな仕組み?」
平成29年度 日本大学文理学部オープンキャンパス 「人工知能ってどんな仕組み?」kthrlab
 
Detecting attended visual targets in video の勉強会用資料
Detecting attended visual targets in video の勉強会用資料Detecting attended visual targets in video の勉強会用資料
Detecting attended visual targets in video の勉強会用資料Yasunori Ozaki
 

Similaire à 2016tf study5 (20)

2016tensorflow ja001
2016tensorflow ja0012016tensorflow ja001
2016tensorflow ja001
 
データ分析スクリプトのツール化入門 - PyConJP 2016
データ分析スクリプトのツール化入門 - PyConJP 2016データ分析スクリプトのツール化入門 - PyConJP 2016
データ分析スクリプトのツール化入門 - PyConJP 2016
 
20180824 DLLab推論ナイト_深層学習モデル推論ライブラリ「Menoh」の紹介/Python以外でDeepLearning
20180824 DLLab推論ナイト_深層学習モデル推論ライブラリ「Menoh」の紹介/Python以外でDeepLearning20180824 DLLab推論ナイト_深層学習モデル推論ライブラリ「Menoh」の紹介/Python以外でDeepLearning
20180824 DLLab推論ナイト_深層学習モデル推論ライブラリ「Menoh」の紹介/Python以外でDeepLearning
 
2010 10 02_mahara_openforum_report
2010 10 02_mahara_openforum_report2010 10 02_mahara_openforum_report
2010 10 02_mahara_openforum_report
 
nlpaper.challenge2 nlp1
nlpaper.challenge2 nlp1nlpaper.challenge2 nlp1
nlpaper.challenge2 nlp1
 
Python勉強会in 長野 オープニング
Python勉強会in 長野 オープニングPython勉強会in 長野 オープニング
Python勉強会in 長野 オープニング
 
NNで広告配信のユーザー最適化をやってみた。@ TFUG #3
NNで広告配信のユーザー最適化をやってみた。@ TFUG #3NNで広告配信のユーザー最適化をやってみた。@ TFUG #3
NNで広告配信のユーザー最適化をやってみた。@ TFUG #3
 
TensorFlowでニューラルネットを作って、広告配信の最適化をやってみた
TensorFlowでニューラルネットを作って、広告配信の最適化をやってみたTensorFlowでニューラルネットを作って、広告配信の最適化をやってみた
TensorFlowでニューラルネットを作って、広告配信の最適化をやってみた
 
Py conkyushu2018
Py conkyushu2018Py conkyushu2018
Py conkyushu2018
 
Nagaya 20110723
Nagaya 20110723Nagaya 20110723
Nagaya 20110723
 
Pythonでディープラーニングをはじめるための一歩目
Pythonでディープラーニングをはじめるための一歩目Pythonでディープラーニングをはじめるための一歩目
Pythonでディープラーニングをはじめるための一歩目
 
コミュニティカレッジさくら20150531
コミュニティカレッジさくら20150531コミュニティカレッジさくら20150531
コミュニティカレッジさくら20150531
 
みんなのPython勉強会 in 長野 #3, Intro
みんなのPython勉強会 in 長野 #3, IntroみんなのPython勉強会 in 長野 #3, Intro
みんなのPython勉強会 in 長野 #3, Intro
 
子供の言語獲得と機械の言語獲得
子供の言語獲得と機械の言語獲得子供の言語獲得と機械の言語獲得
子供の言語獲得と機械の言語獲得
 
専門演習_河野ゼミ紹介20191023
専門演習_河野ゼミ紹介20191023専門演習_河野ゼミ紹介20191023
専門演習_河野ゼミ紹介20191023
 
S10 t1 spc_by_nowfromnow
S10 t1 spc_by_nowfromnowS10 t1 spc_by_nowfromnow
S10 t1 spc_by_nowfromnow
 
超AIが倫理的であれば 共存できるのか? ー進化倫理学を参考に ー
超AIが倫理的であれば共存できるのか?ー進化倫理学を参考に ー超AIが倫理的であれば共存できるのか?ー進化倫理学を参考に ー
超AIが倫理的であれば 共存できるのか? ー進化倫理学を参考に ー
 
平成29年度 日本大学文理学部オープンキャンパス 「人工知能ってどんな仕組み?」
平成29年度 日本大学文理学部オープンキャンパス 「人工知能ってどんな仕組み?」平成29年度 日本大学文理学部オープンキャンパス 「人工知能ってどんな仕組み?」
平成29年度 日本大学文理学部オープンキャンパス 「人工知能ってどんな仕組み?」
 
Detecting attended visual targets in video の勉強会用資料
Detecting attended visual targets in video の勉強会用資料Detecting attended visual targets in video の勉強会用資料
Detecting attended visual targets in video の勉強会用資料
 
20171130 DC研究会 招待講演
20171130 DC研究会 招待講演20171130 DC研究会 招待講演
20171130 DC研究会 招待講演
 

Plus de Shin Asakawa

TensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vecTensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vecShin Asakawa
 
深層学習(ディープラーニング)入門勉強会資料(浅川)
深層学習(ディープラーニング)入門勉強会資料(浅川)深層学習(ディープラーニング)入門勉強会資料(浅川)
深層学習(ディープラーニング)入門勉強会資料(浅川)Shin Asakawa
 
第4回MachineLearningのための数学塾資料(浅川)
第4回MachineLearningのための数学塾資料(浅川)第4回MachineLearningのための数学塾資料(浅川)
第4回MachineLearningのための数学塾資料(浅川)Shin Asakawa
 
2016word embbed supp
2016word embbed supp2016word embbed supp
2016word embbed suppShin Asakawa
 
primers neural networks
primers neural networksprimers neural networks
primers neural networksShin Asakawa
 
2016人工知能と経済の未来合評会資料
2016人工知能と経済の未来合評会資料2016人工知能と経済の未来合評会資料
2016人工知能と経済の未来合評会資料Shin Asakawa
 
dl-with-python01_handout
dl-with-python01_handoutdl-with-python01_handout
dl-with-python01_handoutShin Asakawa
 

Plus de Shin Asakawa (14)

TensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vecTensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vec
 
深層学習(ディープラーニング)入門勉強会資料(浅川)
深層学習(ディープラーニング)入門勉強会資料(浅川)深層学習(ディープラーニング)入門勉強会資料(浅川)
深層学習(ディープラーニング)入門勉強会資料(浅川)
 
第4回MachineLearningのための数学塾資料(浅川)
第4回MachineLearningのための数学塾資料(浅川)第4回MachineLearningのための数学塾資料(浅川)
第4回MachineLearningのための数学塾資料(浅川)
 
2016word embbed supp
2016word embbed supp2016word embbed supp
2016word embbed supp
 
2016word embbed
2016word embbed2016word embbed
2016word embbed
 
primers neural networks
primers neural networksprimers neural networks
primers neural networks
 
回帰
回帰回帰
回帰
 
Linera lgebra
Linera lgebraLinera lgebra
Linera lgebra
 
2016 dg2
2016 dg22016 dg2
2016 dg2
 
2016人工知能と経済の未来合評会資料
2016人工知能と経済の未来合評会資料2016人工知能と経済の未来合評会資料
2016人工知能と経済の未来合評会資料
 
dl-with-python01_handout
dl-with-python01_handoutdl-with-python01_handout
dl-with-python01_handout
 
Rnncamp2handout
Rnncamp2handoutRnncamp2handout
Rnncamp2handout
 
Rnncamp01
Rnncamp01Rnncamp01
Rnncamp01
 
Rnncamp01
Rnncamp01Rnncamp01
Rnncamp01
 

2016tf study5