Attention is all you need!!! を入門する前に

•Télécharger en tant que PPTX, PDF•

7 j'aime•3,173 vues

2020/07/02 Deepl Learning Lab 自然言語処理ナイト Slideshareでは音声つきがアップロードできなかったため、音声付きは https://1drv.ms/p/s!ApEwOwPQFthR4cQmVPpvvfKBtl4kOg こちらからダウンロードできます。

Technologie

Paris
?
France
Japan
θ 類似度
距離：ともに出現する頻度を表す
[34,12,48]
[314,527,48]

…
…
…
…
…
…
…
ReL
U
ReL
U
Convolutio
n
Convolution
Global Average
Pooling
Dense

Convolution
BatchNormalization
ReLU
Convolution
BatchNormalization
ReLU
Convolution
Sigmoid
Multiply

Convolution
BatchNormalization
ReLU
GlobalAveragePooling
Convolution(1,1)
ReLU
Convolution(1,1)
Sigmoid
Multiply
注目する特徴を推定するネットワーク

特定の領域に注目特定の特徴に注目
Convolution
BatchNormalization
ReLU
Convolution
BatchNormalization
ReLU
Convolution
Sigmoid
Multiply
Convolution
BatchNormalization
ReLU
GlobalAveragePooling
Convolution
ReLU
Convolution
Sigmoid
Multiply
注目する特徴を推定するネットワーク

Positive
Or
Negative
CNN,
RNN(LSTM)
この
ピアノ
の
色
は
最高
0.0
1.0
0.0
0.0
0.0
0.0
各単語の特徴
Attention
Attentionに基づき
重み付けして平均or合計

この
ピアノ
の
色
は
最高
LST
M
LST
M
LST
M
LST
M
LST
M
LST
M
LST
M
LST
M
LST
M
LST
M
LST
M
LST
M
The
color
of
this
piano
is
LST
M great
C H
HC
Encoder decoder

この
ピアノ
の
色
は
最高
LST
M
LST
M
LST
M
LST
M
LST
M
LST
M
LST
M
LST
M
LST
M
LST
M
LST
M
LST
M
The
color
of
this
piano
is
LST
M great
Encoder decoder

この
ピアノ
の
色
は
最高
The
各単語の特徴
デコーダの初期ベクトル
内積
0.0
0.0
0.0
0.0
1.0
0.0
Softmax
Weighted sum

この
ピアノ
の
色
は
最高
Key
内積
0.0
0.0
0.0
0.0
1.0
0.0
Softmax
Weighted sum
Value
The
color
of
this
piano
is
great
Query

あなた
を
きらい
で
は
ない
input Query Key Value 内積
0.0
0.0
0.0
0.0
1.0
0.0
Softmax
特徴付け
Weighted
sum
Output

Recommandé

Lazy Pairing HeapKei Hibino

日曜数学会 Ofdm和人桐ケ谷

【DL輪読会】Perceiver io a general architecture for structured inputs & outputs Deep Learning JP

CG2013 11shiozawa_h

20161203 cv 3_d_recon_tracking_eventcameraKyohei Unno

Azure Databricksで始めるSpark 構築から活用までの第一歩Ryuichi Tokugami

de:code 2019 AI04 あなたがコルタナさんに「ラーメン」と尋ねたとき、それはコルタナさんに何を求めていますか？Ryuichi Tokugami

改めまして、Cognitive ToolKit です。Ryuichi Tokugami

Recommandé

Lazy Pairing HeapKei Hibino

日曜数学会 Ofdm和人桐ケ谷

【DL輪読会】Perceiver io a general architecture for structured inputs & outputs Deep Learning JP

CG2013 11shiozawa_h

20161203 cv 3_d_recon_tracking_eventcameraKyohei Unno

Azure Databricksで始めるSpark 構築から活用までの第一歩Ryuichi Tokugami

de:code 2019 AI04 あなたがコルタナさんに「ラーメン」と尋ねたとき、それはコルタナさんに何を求めていますか？Ryuichi Tokugami

改めまして、Cognitive ToolKit です。Ryuichi Tokugami

平成最後の1月ですし、DatabricksでもやってみましょうかRyuichi Tokugami

SilkRyuichi Tokugami

Azure MLで機械学習をやってみようRyuichi Tokugami

UserDataでEC2をより便利に (2013-07-25 Jawsug中央線第0回)Ryuichi Tokugami

初めてのSimpleDB (2013-06-22 JAWS-UG 大阪第8回 )Ryuichi Tokugami

Elastic beanstalk AWS 初心者から次の一歩へ (2013-04-27 JAWS-UG つくば第1回勉強会)Ryuichi Tokugami

AutoscalingとかRyuichi Tokugami

JAWS-UG アップデート (2012-09-14 JAWS-UG 第13回勉強会 )Ryuichi Tokugami

"restaurant démonstration" (2012-09-01 クラウドごった煮第6回 AWS枠)Ryuichi Tokugami

AWSアップデート (2012-08-27 JAWS-UG 札幌第7回勉強会)Ryuichi Tokugami

AWS上にサービスを作る (2012-06-22 JAWS-UG 福岡)Ryuichi Tokugami

Talking about love for DynamoDB & SimpleDB (2012-06-05 CloudDB Night)Ryuichi Tokugami

CloudSearch初披露 (2012-05-18 JAWS-UG 札幌第6回勉強会)Ryuichi Tokugami

Aws禅 (2012-05-13 JAWS-UG 子ども会)Ryuichi Tokugami

Counter Table Pattern & Temporary Table Pattern (2012-04-13 CDP Night)Ryuichi Tokugami

サンタクラウド番外編 (2011-12-22 第11回 AWS User Group - Japan 東京勉強会)Ryuichi Tokugami

S3解説 - 第1回ビギナー編 AWS User Group - Japan 東京勉強会Ryuichi Tokugami

AWSを使いこなしてコスト削減Ryuichi Tokugami

宮崎勉強会Ryuichi Tokugami

CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？akihisamiyanaga1

モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察～Text-to-MusicとText-To-ImageかつImage-to-Music...博三太田

自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineerYuki Kikuchi

Contenu connexe

Plus de Ryuichi Tokugami

平成最後の1月ですし、DatabricksでもやってみましょうかRyuichi Tokugami

SilkRyuichi Tokugami

Azure MLで機械学習をやってみようRyuichi Tokugami

UserDataでEC2をより便利に (2013-07-25 Jawsug中央線第0回)Ryuichi Tokugami

初めてのSimpleDB (2013-06-22 JAWS-UG 大阪第8回 )Ryuichi Tokugami

Elastic beanstalk AWS 初心者から次の一歩へ (2013-04-27 JAWS-UG つくば第1回勉強会)Ryuichi Tokugami

AutoscalingとかRyuichi Tokugami

JAWS-UG アップデート (2012-09-14 JAWS-UG 第13回勉強会 )Ryuichi Tokugami

"restaurant démonstration" (2012-09-01 クラウドごった煮第6回 AWS枠)Ryuichi Tokugami

AWSアップデート (2012-08-27 JAWS-UG 札幌第7回勉強会)Ryuichi Tokugami

AWS上にサービスを作る (2012-06-22 JAWS-UG 福岡)Ryuichi Tokugami

Talking about love for DynamoDB & SimpleDB (2012-06-05 CloudDB Night)Ryuichi Tokugami

CloudSearch初披露 (2012-05-18 JAWS-UG 札幌第6回勉強会)Ryuichi Tokugami

Aws禅 (2012-05-13 JAWS-UG 子ども会)Ryuichi Tokugami

Counter Table Pattern & Temporary Table Pattern (2012-04-13 CDP Night)Ryuichi Tokugami

サンタクラウド番外編 (2011-12-22 第11回 AWS User Group - Japan 東京勉強会)Ryuichi Tokugami

S3解説 - 第1回ビギナー編 AWS User Group - Japan 東京勉強会Ryuichi Tokugami

AWSを使いこなしてコスト削減Ryuichi Tokugami

宮崎勉強会Ryuichi Tokugami

Plus de Ryuichi Tokugami (19)

平成最後の1月ですし、Databricksでもやってみましょうか

Silk

Azure MLで機械学習をやってみよう

UserDataでEC2をより便利に (2013-07-25 Jawsug中央線第0回)

初めてのSimpleDB (2013-06-22 JAWS-UG 大阪第8回 )

Elastic beanstalk AWS 初心者から次の一歩へ (2013-04-27 JAWS-UG つくば第1回勉強会)

Autoscalingとか

JAWS-UG アップデート (2012-09-14 JAWS-UG 第13回勉強会 )

"restaurant démonstration" (2012-09-01 クラウドごった煮第6回 AWS枠)

AWSアップデート (2012-08-27 JAWS-UG 札幌第7回勉強会)

AWS上にサービスを作る (2012-06-22 JAWS-UG 福岡)

Talking about love for DynamoDB & SimpleDB (2012-06-05 CloudDB Night)

CloudSearch初披露 (2012-05-18 JAWS-UG 札幌第6回勉強会)

Aws禅 (2012-05-13 JAWS-UG 子ども会)

Counter Table Pattern & Temporary Table Pattern (2012-04-13 CDP Night)

サンタクラウド番外編 (2011-12-22 第11回 AWS User Group - Japan 東京勉強会)

S3解説 - 第1回ビギナー編 AWS User Group - Japan 東京勉強会

AWSを使いこなしてコスト削減

宮崎勉強会

Dernier

CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？akihisamiyanaga1

モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察～Text-to-MusicとText-To-ImageかつImage-to-Music...博三太田

自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineerYuki Kikuchi

AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfFumieNakayama

業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）Hiroshi Tomioka

デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）UEHARA, Tetsutaro

クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfFumieNakayama

TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案sugiuralab

NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）NTT DATA Technology & Innovation

Dernier (9)

CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？

モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察～Text-to-MusicとText-To-ImageかつImage-to-Music...

自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer

AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf

業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）

デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）

クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf

TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案

NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）

Attention is all you need!!! を入門する前に

3. Paris ? France Japan θ 類似度距離：ともに出現する頻度を表す [34,12,48] [314,527,48]

5. input output Dense 全結合は表現力高すぎ、過学習しやすい

6. input output Attention

7. 画像処理編画像処理編

8. 画像分類器人間 input output

9. 人間 input output 画像分類器

10. … … … … … … … ReL U ReL U Convolutio n Convolution Global Average Pooling Dense

11. background foreground Attention

12. Convolution BatchNormalization ReLU Convolution BatchNormalization ReLU Convolution Sigmoid Multiply

13. … … … …

14. … … Attention? Attention? Attention?

15. Convolution BatchNormalization ReLU GlobalAveragePooling Convolution(1,1) ReLU Convolution(1,1) Sigmoid Multiply 注目する特徴を推定するネットワーク

16. 特定の領域に注目特定の特徴に注目 Convolution BatchNormalization ReLU Convolution BatchNormalization ReLU Convolution Sigmoid Multiply Convolution BatchNormalization ReLU GlobalAveragePooling Convolution ReLU Convolution Sigmoid Multiply 注目する特徴を推定するネットワーク

17. 言語処理編言語処理編

18. Positive Or Negative CNN, RNN(LSTM) このピアノの色は最高 0.0 1.0 0.0 0.0 0.0 0.0 各単語の特徴 Attention Attentionに基づき重み付けして平均or合計

19. このピアノの色は最高 LST M LST M LST M LST M LST M LST M LST M LST M LST M LST M LST M LST M The color of this piano is LST M great C H HC Encoder decoder

20. このピアノの色は最高 LST M LST M LST M LST M LST M LST M LST M LST M LST M LST M LST M LST M The color of this piano is LST M great C H HC Encoder decoder

21. このピアノの色は最高 LST M LST M LST M LST M LST M LST M LST M LST M LST M LST M LST M LST M The color of this piano is LST M great Encoder decoder

22. このピアノの色は最高 LST M LST M LST M LST M LST M LST M LST M LST M LST M LST M LST M LST M The color of this piano is LST M great Encoder decoder

23. このピアノの色は最高 LST M LST M LST M LST M LST M LST M LST M LST M LST M LST M LST M LST M The color of this piano is LST M great Encoder decoder

24. このピアノの色は最高どこに注目するか？

25. このピアノの色は最高 The 各単語の特徴デコーダの初期ベクトル内積 0.0 0.0 0.0 0.0 1.0 0.0 Softmax Weighted sum

26. このピアノの色は最高 Key 内積 0.0 0.0 0.0 0.0 1.0 0.0 Softmax Weighted sum Value The color of this piano is great Query

27. Key Value Query Output memory

28. あなたをきらいではない input Query Key Value 内積 0.0 0.0 0.0 0.0 1.0 0.0 Softmax 特徴付け Weighted sum Output