Contenu connexe Similaire à Graph R-CNN for Scene Graph Generation (20) Graph R-CNN for Scene Graph Generation3. 紹介する論文
• 論文名
• Graph R-CNN for Scene Graph Generation
• 概要
• Graph Convolutionを使ってScene Graphを生成
• 発表年月
• 2018年8月(arXiv)
• 採択
• ECCV 2018
12. ③attentional Graph Convolutional Network(aGCN)
l層における
ノードiの特徴ベクトル
(l+1)層における
ノードiの特徴ベクトル
隣接ノード
線形変換
(学習重み)
attention
重みベクトル
(学習重み)
線形変換
(学習重み)
concat ノードj ノードi
13. ③aGCNのScene Graph Generationへの適用
• ノード特徴とエッジ特徴を別々に定義
• 接続の種類が異なると、影響の仕方も異なる
zo zo
zr
zo
zr
影響が伝搬
CNNCNN ノード特徴 zo エッジ特徴 zr
WroZoαro
WrsZoαrs
WorZrαor
WsrZrαsr
o : object
s : subject
r : relation
• ノード特徴とエッジ特徴はお互いに影響を与え合う
17. 評価指標
• SGGen:triplet (subject-predicate-object)による評価
1. 推定tripletのprobability(各probabilityの積)を計算
2. 推定tripletのうちTop K(K=50, 100)を抽出
3. Recall(再現率:正解tripletのうち抽出できた割合)を計算
※正しそうな推定がfalse positiveになってしまうので、Recallを使う
• SGGenの問題点
• subject-predicate-objectのうち、一つでも間違えると評価
値が0になってしまう
正解 全間違い 一部間違い