Accueil
Explorer
Soumettre la recherche
Mettre en ligne
S’identifier
S’inscrire
Publicité
Check these out next
Visualization of the Relationship Between Lectures and Laboratories Using SSNMF
Matsushita Laboratory
iiWAS2022_Miyagawa
Matsushita Laboratory
reIDR2022_takahashi.pdf
Matsushita Laboratory
RyotaHiguchi_Manpu2022.pdf
Matsushita Laboratory
ChinaTakahashi_ec2022
Matsushita Laboratory
HayateFukumoto_jsai2022
Matsushita Laboratory
ChinaTakahashi_hcg2021
Matsushita Laboratory
FSS2013ComicComputing.pdf
Matsushita Laboratory
1
sur
35
Top clipped slide
TaketoFujikawa_comic2023
17 Mar 2023
•
0 j'aime
0 j'aime
×
Soyez le premier à aimer ceci
afficher plus
•
37 vues
vues
×
Nombre de vues
0
Sur Slideshare
0
À partir des intégrations
0
Nombre d'intégrations
0
Télécharger maintenant
Télécharger pour lire hors ligne
Signaler
Technologie
第9回コミック工学研究会での発表
Matsushita Laboratory
Suivre
Matsushita Laboratory
Publicité
Publicité
Publicité
Recommandé
JSAI2023_企画セッション(仕掛学)資料
Matsushita Laboratory
39 vues
•
19 diapositives
触感に関わる共感覚的表現と基本6感情の対応関係の検証
Matsushita Laboratory
22 vues
•
24 diapositives
レシピの手順に着目した 複数の器特徴の推定
Matsushita Laboratory
77 vues
•
24 diapositives
複数の質感を複合的に提示可能な触覚提示デバイス
Matsushita Laboratory
138 vues
•
26 diapositives
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
Matsushita Laboratory
49 vues
•
52 diapositives
RyotaHiguchi_MasterThesis2023
Matsushita Laboratory
31 vues
•
24 diapositives
Contenu connexe
Plus de Matsushita Laboratory
(20)
Visualization of the Relationship Between Lectures and Laboratories Using SSNMF
Matsushita Laboratory
•
133 vues
iiWAS2022_Miyagawa
Matsushita Laboratory
•
85 vues
reIDR2022_takahashi.pdf
Matsushita Laboratory
•
63 vues
RyotaHiguchi_Manpu2022.pdf
Matsushita Laboratory
•
38 vues
ChinaTakahashi_ec2022
Matsushita Laboratory
•
96 vues
HayateFukumoto_jsai2022
Matsushita Laboratory
•
57 vues
ChinaTakahashi_hcg2021
Matsushita Laboratory
•
41 vues
FSS2013ComicComputing.pdf
Matsushita Laboratory
•
15 vues
HCIから見た漫画
Matsushita Laboratory
•
202 vues
理学療法初学者の支援を目的とした動作分析テキストの構造の可視化
Matsushita Laboratory
•
230 vues
半教師ありNMFを用いた裁判事例に関連する憲法条項の推定
Matsushita Laboratory
•
159 vues
学術論文の特徴を用いた データセット特性の表現に関する研究
Matsushita Laboratory
•
151 vues
位置情報に基づく画像分類モデルの 選定による看板画像の分類精度向上
Matsushita Laboratory
•
103 vues
ウェアラブルセンサによる歩行データからの転倒動作検出の試み
Matsushita Laboratory
•
239 vues
RyotaHiguchi_DEIM2022
Matsushita Laboratory
•
149 vues
私に似合う化粧を学ぶために―化粧品レビューと化粧動画内の発話の語彙分析―
Matsushita Laboratory
•
291 vues
異なる作品間のキャラクタの関係を比較するための相関図可視化システム
Matsushita Laboratory
•
166 vues
Morino_MT
Matsushita Laboratory
•
122 vues
Jsai2020 slide
Matsushita Laboratory
•
22 vues
共感覚的表現を用いた触感と基本6感情の対応づけに関する一検討
Matsushita Laboratory
•
247 vues
Dernier
(20)
Windows ChatGPT Bing AI.pptx
Atomu Hidaka
•
7 vues
ChatGPT触ってみた
infinite_loop
•
64 vues
20230601_Visual_IoTLT_vol14_kitazaki_v1.pdf
Ayachika Kitazaki
•
73 vues
【DL輪読会】TrOCR: Transformer-based Optical Character Recognition with Pre-traine...
Deep Learning JP
•
7 vues
【DL輪読会】大量API・ツールの扱いに特化したLLM
Deep Learning JP
•
162 vues
Wandb LLM Webinar May 30 2023 (配布用).pdf
Yuya Yamamoto
•
140 vues
mi-7. 学習と検証, 学習不足, 過学習, 学習曲線
kunihikokaneko1
•
0 vue
OIDC(OpenID Connect)について解説③
iPride Co., Ltd.
•
25 vues
GraalVMでのFlight Recorderを使ったパフォーマンス解析(JJUG CCC 2023 Spring)
NTT DATA Technology & Innovation
•
9 vues
DrupalをDockerで起動してみる
iPride Co., Ltd.
•
22 vues
【DL輪読会】マルチモーダル 基盤モデル
Deep Learning JP
•
5 vues
AIEXPO_CDLE名古屋紹介
KotaMiyano
•
4 vues
Voyager: An Open-Ended Embodied Agent with Large Language Models
harmonylab
•
23 vues
JSONEncoderで詰まった話
とん とんぼ
•
144 vues
CDLEハッカソン2022参加報告.pdf
SHOIWA1
•
10 vues
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
Deep Learning JP
•
86 vues
GitHub最新情報キャッチアップ 2023年6月
Kazumi IWANAGA
•
7 vues
【DL輪読会】Poisoning Language Models During Instruction Tuning Instruction Tuning...
Deep Learning JP
•
156 vues
【DL輪読会】Egocentric Video Task Translation (CVPR 2023 Highlight)
Deep Learning JP
•
95 vues
mi-5. ディープラーニング
kunihikokaneko1
•
0 vue
Publicité
TaketoFujikawa_comic2023
イベント特徴語に基づく コミックのイベント推定 関西大学 ○藤川雄翔 松下光範
著者 藤近小梅 出版 スクウェア・エニックス 小村くん
三重さん
著者 藤近小梅 出版 スクウェア・エニックス 小村くん
三重さん
物語コンテンツのジャンル 1/27 • 物語コンテンツ • 物語コンテンツには典型的なジャンルが存在 Ex)
アクション,ファンタジー,ギャグ,etc... 同一のジャンルに分類される作品同士でも ストーリー構成は必ずしも共通ではない ©東野圭吾,文春文庫,2008 ©鳥山明,集英社,1985 ©任天堂,1996
ストーリー構成 2/27 • 例えば,アクション・バトルジャンルでは ストーリーの構成を機械的に把握し分類することは ストーリーに基づいた検索や推薦などの活用に期待 主人公 最初から 最強 © ONE,村田雄介,集英社,2012 主人公 弱い→強い ©
堀越耕平,集英社,2014
ストーリー構成の把握 ストーリー構成を把握するためには ストーリー中で何がいつ起こったのか という情報が必要 3/27 ストーリーはキャラクタの行動とその結果の連続によって構成 出 来 事 出 来 事 2
ストーリー構成の把握 • キャラクタの能力の変化 • キャラクタの心情,考えなどの変化 •
キャラクタ同士の関係性の変化 ストーリー中で何が起こるのか? 4/27 ストーリー中で変化が起こりやすいのはいつ? ストーリー中で発生するイベントに着目
イベント 5/27 それぞれのストーリーにおいて ジャンル特有の共通した出来事 が発生する Ex) • 学園ジャンル: 年中行事,学校行事 •
アクションジャンル: 戦闘,修行
本研究の目的 6/27 『古見さんはコミュ症です。』 1巻~4巻(©オダトモヒト,小学館,2016) 入 学 式 身 体 測 定 夏休み 水 着 回 プール 夏 祭 り 体 育 祭 古見さんと 只野くん 友達になる 古見さん 只野くんに 対する 親密度up 古見さん 根津野先輩に 認められる
本研究の目的 6/27 • 登場人物の心情や関係性の変化はストーリー情報となりうる • 変化を抽出するためには変化前と変化後の状態が必要 本研究ではストーリーの構成把握の容易化を目的として イベントの推定を試みる 『古見さんはコミュ症です。』
1巻~4巻(©オダトモヒト,小学館,2016) 入 学 式 身 体 測 定 夏休み 水 着 回 プール 夏 祭 り 体 育 祭
イベントを推定するには • 発生したイベントには イベントを象徴する単語が出現するはず • 例えば… •
体育祭: リレー,借り物競走,騎馬戦 • 夏祭り: 花火,浴衣,下駄 7/27 本研究では イベントを象徴する単語 = イベント特徴語
コミックコンテンツの特性 • コミックはイラストとテキストの双方を用いて ストーリーを伝えるコンテンツ • イラストで情報を補完するため, テキスト情報が少ない 8/27
コミックコンテンツの特性 • コミックはイラストとテキストの双方を用いて ストーリーを伝えるコンテンツ • イラストで情報を補完するため, テキスト情報が少ない 8/27
コミックコンテンツの特性 • コミックはイラストとテキストの双方を用いて ストーリーを伝えるコンテンツ • イラストで情報を補完するため, テキスト情報が少ない 8/27 イベント特徴語を網羅的に収集するためには 多くの作品が必要
コミックとライトノベル 9/27 ©伏瀬,みっつばー, マイクロマガジン社,2014 ©川上泰樹,伏瀬, みっつばー,講談社,2015 • ライトノベルのジャンル • バトル,ファンタジー,ミステリー,etc. •
人気のあるライトノベルはコミカライズされる コミックが分類される ジャンルと類似 ライトノベルはコミックに 類似したコンテンツの一つ
解くべき課題 • コミックはイラストとテキストの双方を用いて ストーリーを伝えるコンテンツ • イラストで情報を補完するため, テキスト情報が少ない •
小説文は セリフ文だけでなく,地の文もある • 文章で情報を補完するため,コミックよりも テキスト情報が多くなる 10/27
解くべき課題 • コミックはイラストとテキストの双方を用いて ストーリーを伝えるコンテンツ • イラストで情報を補完するため, テキスト情報が少ない •
小説文は セリフ文だけでなく,地の文もある • 文章で情報を補完するため,コミックよりも テキスト情報が多くなる 10/27 今回はコミックの類似コンテンツである ライトノベルから得たイベント特徴語を用いて コミックの発話テキストからイベント推定ができるのか
本研究のアプローチ 11/27
対象とするストーリージャンル 12/27 • 対象:学園ジャンル • 他ジャンルよりもイベントの判別が容易 •
豊富な種類のイベントが複数の作品で頻出 • 学園が舞台となっているアクションやスポーツなどの ジャンルは扱わない • 非日常的な語彙やシーンが出現するのを防ぐため © オダトモヒト,小学館,2016 © 田辺イエロウ,小学館,2004
小説家になろう 13/27 「 」から11作品を選定 • 日本最大級のWeb小説投稿サイト※1 •
250タイトル以上の作品が書籍化※1 • コミカライズ,アニメ化などメディアミックスされた作品も多数掲載※1 ※1 小説家になろうについて|サイト案内|小説家になろう (https://syosetu.com/site/about/) 選定基準: • 時代設定が現代 • 舞台が学校・学園 • ストーリー上の時間軸が1年以上経過 or 完結済み • サブタイトルが割り振られている
イベント特徴語辞書の作成 14/27 1. 11作品で3回以上発生したイベント20種類に該当するテキストに イベント名をラベル付け 2. ラベル付けしたテキストに対して,MeCabを用いて形態素解析をし, 名詞を抽出 辞書:ipadic-NEologd 3.
イベント特徴語はイベント内で頻出し, かつ他のイベントにはあまり出現しない単語 TF-IDF
2種類のイベント特徴語辞書 15/27 単語 TF-IDF値 車椅子 0.413 少年
0.344 花火 0.332 浴衣 0.219 夏祭り 0.205 単語 TF-IDF値 レッド 0.196 ひょっとこ 0.189 祭り 0.174 屋台 0.165 お祭り 0.123 例)夏祭り • TF-IDF値の高い上位50位の単語を抽出 →非洗練辞書 • 人手でイベント特徴語とは考えにくい単語を除去 →洗練辞書 洗練辞書:1イベントあたり平均18.3語(最大31語,最小9語)
推定するイベント 16/27 ライトノベルとコミックの計40作品において 発生したイベントの種類と発生頻度を事前調査 推定対象:イベント特徴語辞書作成に使用したライトノベル11作品に 頻出した上位10種のイベント 文化祭,バレンタイン,夏祭り,クリスマス,勉強会, 誕生日,体育祭,修学旅行,ショッピング,初詣
推定単位 17/27 • コミックとライトノベルには話の単位で区切りが存在 • 1話で発生するイベントは単一のイベントであると仮定 →話単位でイベントを推定 1話
2話 3話 4話 5話 … n話 イベント推定
イベント推定手法 18/27 (1) 各話のテキストをMeCabを用いて形態素解析を行い,名詞を抽出 (2) イベント特徴語辞書を参照し,それらの名詞が属するイベントを特定し計数 (3)
計数した結果から10次元のベクトルを話ごとに作成 [0, 1, 0, 8, 0, 4, 0, 0, 0, 0] [文, バ, 夏, ク, 勉, 誕, 体, 修, ショ, 初] イベント特徴語辞書 チョコレート,ケーキ,プレゼント,ツリー, パーティー,ケーキ,プレゼント,サンタ, プレゼント 1話から抽出した名詞 参照 計数 (1) (2) (3)
イベント推定手法 19/27 • 単語からイベントを推定するという手法上,本来のイベントに関係のない イベント特徴語が偶発的に出現する可能性があるため, カットオフ基準を設定 [0, 1,
0, 8, 0, 4, 0, 0, 0, 0] [文, バ, 夏, ク, 勉, 誕, 体, 修, ショ, 初] カットオフ基準が3の場合 [0, 0, 0, 8, 0, 4, 0, 0, 0, 0] [文, バ, 夏, ク, 勉, 誕, 体, 修, ショ, 初] チョコレート,ケーキ,プレゼント,ツリー, パーティー,ケーキ,プレゼント,サンタ, プレゼント ケーキ,プレゼント,ツリー, パーティー,ケーキ,プレゼント,サンタ, プレゼント
イベント推定手法 20/27 (4)ベクトルの要素の和が1.0になるように正規化 (5)最も値が大きい要素が閾値を超えた場合, イベント推定結果として採用 [0, 0, 0,
8, 0, 4, 0, 0, 0, 0] [文, バ, 夏, ク, 勉, 誕, 体, 修, ショ, 初] 閾値が0.50の場合 [0, 0, 0, 0.67, 0, 0.33, 0, 0, 0, 0] [文, バ, 夏, ク, 勉, 誕, 体, 修, ショ, 初] この話のイベントは クリスマスです!
予備実験(パラメータ選定) 21/27 目的:カットオフ基準(N)とイベント推定閾値(p)を選定 • 再現率,適合率,F値を算出 • F値が最も高くなる組み合わせをグリッドサーチにより選定 (1≦N≦6,0.30≦p≦0.60) コミックは発話テキストがイベント推定に用いるテキストであるため, ライトノベルのセリフ文のみを使用
予備実験(結果と考察) 22/27 非洗練辞書:N=4,p=0.30のとき,0.325 洗練辞書:N=3,p=0.30のとき,0.415 洗練辞書を用いることにより,イベント推定の精度が向上 イベント推定には洗練辞書を使用 • 非洗練辞書には,日常的に使用される単語が含有 • 日常的に使用される単語はテキストに頻出 •
日常的に使用される単語→イベント推定のノイズ
コミックにおけるイベント推定 23/27 コミック2作品※1を対象として,予備実験にて決定したN=3,p=0.30の 条件下,イベント特徴語辞書を用いたイベント推定の評価実験 提案手法によりコミックにおいて 一定程度のイベント推定が可能 チャンスレベル:0.09 (イベント10種 +
該当なし) ※1「好きな子がめがねを忘れた」,「男子高校生の日常」
ライトノベルとコミックの比較 24/27 ライトノベル10作品のセリフ文のみと コミックのイベント推定結果の比較 状況を説明する「説明セリフ」 イベント特徴語を多く含む 要因になったと推察 再現率:+0.242 適合率:+0.143 F値:+0.213 Manga109より「1・2・3でキメてあげる」©大宮直依,角川書店
イベント推定の成功例 25/27 文化祭 バレンタイン 体育祭 再現率
0.400 1.000 1.000 適合率 0.800 0.667 0.500 F値 0.533 0.800 0.667 “バレンタイン”,“チョコ”,“告白”,“チョコ”, “チョコ”,“チョコ”,“チョコ”,“チョコ”, “バレンタイン”,“バレンタイン”,“チョコ”, “チョコ”,“友チョコ” バレンタイン 『好きな子がめがねを忘れた』,2巻,21話 © 藤近小梅,スクウェア・エニックス,2019 “文化祭”,“演劇部”,“文化祭”, “勝負”,“文化祭”,“お願い” 文化祭 『男子高校生の日常』,2巻,22話 © 山内泰延,スクウェア・エニックス,2010
失敗した要因の考察 26/27 • 日常的にも使いやすい単語 ➢ 教科書(勉強会):「教科書見る?」,「教科書忘れた」,etc... ➢
部屋(修学旅行):「俺の部屋!?」,「お部屋見ていい?」,etc... • イベントで発話されやすい単語 • お願い(初詣) 初詣で用いられる例) 「何お願いしたの? 」「秘密だよ。言うと叶わないらしいから」※1 「私たちの番がやってきたので、…(略)…心の中でお願いをして、一礼」 ※2 同じイベントに属する他のイベント特徴語との共起関係を利用 ※1 『オタクな彼女は好きですか? 』(https://ncode.syosetu.com/n2466hh/),金野次郎,凪と人気者、初詣に行く4。 ※2 『サボり魔先輩に恋に落ちるまで』(https://ncode.syosetu.com/n1842hn/),春夜もこ,後2カ月~いつもと違う初詣~
今後の展望 ライトノベルから得られたイベント特徴語を用いた 提案手法によるコミックのイベント推定が可能であることを確認 本研究によって 27/27 ストーリーにおけるイベントの発生箇所を推定 + イベントによるキャラクタに関する変化を抽出 ストーリーの構成を機械的に把握可能 ストーリーを考慮した検索や推薦に活用することが期待
まとめ 背景: 目的: 手法: 知見: ストーリー中に発生するイベントに着目したストーリーの構成把握 イベント特徴語辞書を構築し, 1話に含まれるイベント特徴語の割合からイベントの推定を試みた 提案手法によりコミックに対して 一定程度のイベント推定が可能であることが示唆 同一のジャンルに分類される作品同士でも ストーリー構成は必ずしも共通ではない
Publicité