Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

シナリオを情報源とする映画の要約

1 194 vues

Publié le

Wikipediaに掲載されている映画のシナリオ情報を手掛かりとして、
映画の要約を支援するシステムを開発しました。

本システムを用いた映画要約の手順は以下の通りです。
1. 映画のシナリオから重要文を手動で抽出します。
2. 映画の動画全体をショット列に自動分割します。
ここで、1つのショットは登場人物や背景が連続的に動作する一塊の場面によって構成されます。
3. シナリオ中の各重要文に対応するショットを手動で抽出します。
4. 抽出したショット列を結合し、映画要約結果とします。

出典:筑波大学・システム情報系・知能機能工学域
自然言語処理研究室(宇津呂研究室)
http://nlp.iit.tsukuba.ac.jp/

Publié dans : Technologie
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

シナリオを情報源とする映画の要約

  1. 1. シナリオを情報源とする 映画の要約 筑波⼤学・システム情報系・知能機能⼯学域 ⾃然⾔語処理研究室 (宇津呂研究室) 1
  2. 2. 背景 • ユーザは膨⼤な数の映画の中から作品を視聴できる – 地上波放送、BS放送(WOWOW:年間1,400本) – 映画⾒放題サービス(Hulu:10,000本) – DVDレンタル店(TSUTAYA:60,000本) × しかし映画は1作品が⻑いため視聴するのに時間がかかる → 効率良く映画を視聴する⽅法が必要 2 2時間24分 4時間29分 2時間15分 1時間42分
  3. 3. 背景 × しかし映画は1作品が⻑いため視聴するのに時間がかかる → 効率良く映画を視聴する⽅法が必要 短時間で映画の内容を理解できる要約映像があれば、 ユーザにとって有⽤ 1.視聴済みの作品の内容を思い出したい 2.視聴する作品を選択する際の参考にしたい 3.映像を使って映画を推薦 / 宣伝したい 3
  4. 4. 要約映像の利⽤例 1 • 視聴済みの作品の内容を思い出したい – 内容を忘れた古い映画や⻑編シリーズなど 『スターウォーズ』シリーズの 各作品はどんな内容だったっけ? (登場⼈物は? 結末は?) 要約映像があればすぐ思い出せる 4
  5. 5. • 視聴する作品を選択する際の参考にしたい – 視聴候補作品を実際に視聴するかどうかの判断材料として 要約映像の利⽤例 2 5 要約映像を視聴すれば、 実際の映像を参考にして視聴する作品を選べる どれを 観よう? 複数の作品に 興味あり
  6. 6. • 映像を使って映画を推薦 / 宣伝したい 要約映像の利⽤例 3 映画 視聴者 DVD販売企業 ユーザ 共有SNS 広告 要約映像を 作成・公開 推薦 宣伝 映画に興味を持つ DVDを購⼊・視聴 6
  7. 7. 背景 × 映画は1作品が⻑いため視聴するのに時間がかかる 短時間で映画の内容を理解できる要約映像があれば、 ユーザにとって有⽤ 7 映画のストーリー全体のあらすじを ダイジェスト映像にまとめる”映画要約”を ⽀援する 本研究の⽬的
  8. 8. 映画要約の⽀援⽅式の流れ 8 選んだ ショット列 映画ダイジェスト 重要度 決定 モデル シナリオ中 の重要部分 抽出 映画の シナリオ シナリオ中 の重要部分 動画をショットに 分割するツール 映画 シナリオ中の 重要部分に 対応するショット の抽出 ショット列 ⼿動 処理② ⼿動 処理①
  9. 9. 映画要約の⽀援⽅式の流れ 9 選んだ ショット列 映画ダイジェスト 重要度 決定 モデル シナリオ中 の重要部分 抽出 映画の シナリオ シナリオ中 の重要部分 動画をショットに 分割するツール 映画 シナリオ中の 重要部分に 対応するショット の抽出 ショット列 ⼿動 処理② ⼿動 処理①
  10. 10. 動画のショット分割(「ローマの休⽇」) • 1分5秒のシーンをショットに⾃動分割 → 8ショットに分割
  11. 11. 動画のショット分割(「ローマの休⽇」) • 1つのショットに含まれる映像
  12. 12. 映画要約の⽀援⽅式の流れ 12 選んだ ショット列 映画ダイジェスト 重要度 決定 モデル シナリオ中 の重要部分 抽出 映画の シナリオ シナリオ中 の重要部分 動画をショットに 分割するツール 映画 シナリオ中の 重要部分に 対応するショット の抽出 ショット列 ⼿動 処理② ⼿動 処理①
  13. 13. 「ローマの休⽇」の全シナリオ(全39⽂)
  14. 14. 全シナリオから重要⽂を抽出 重要⽂ 全11⽂ 1 2 3 4 5 6 7 9 10 11 8
  15. 15. 映画要約の⽀援⽅式の流れ 15 選んだ ショット列 映画ダイジェスト 重要度 決定 モデル シナリオ中 の重要部分 抽出 映画の シナリオ シナリオ中 の重要部分 動画をショットに 分割するツール 映画 シナリオ中の 重要部分に 対応するショット の抽出 ショット列 ⼿動 処理② ⼿動 処理①
  16. 16. 16 Joe sees a picture of her and realizes who is in his apartment. (ジョーは王⼥アンの写真を⾒て、⾃分の アパートにいる⼥性が何者か気付く。) 5番⽬の重要⽂ ショット列 重要⽂に対応するショットを選ぶ この辺りが対応していそう (次ページで拡⼤して確認)
  17. 17. 重要⽂に対応するショットを選ぶ Joe sees a picture of her and realizes who is in his apartment. (ジョーは王⼥アンの写真を⾒て、⾃分のアパートにいる⼥性が何者か気付く。 ) 重要⽂: ジョーが新聞を ⾒ている 対応付ける
  18. 18. 重要⽂に対応するショットを選ぶ Joe sees a picture of her and realizes who is in his apartment. (ジョーは王⼥アンの写真を⾒て、⾃分のアパートにいる⼥性が何者か気付く。 ) 重要⽂: 新聞には⼥王の姿をした アンの写真が載っている 対応付ける ジョーが新聞を ⾒ている 対応付ける
  19. 19. 映画要約の⽀援⽅式の流れ 19 選んだ ショット列 映画ダイジェスト 重要度 決定 モデル シナリオ中 の重要部分 抽出 映画の シナリオ シナリオ中 の重要部分 動画をショットに 分割するツール 映画 シナリオ中の 重要部分に 対応するショット の抽出 ショット列 ⼿動 処理② ⼿動 処理①
  20. 20. 20 要約前 1時間58分 要約後 2分17秒 シナリオ中の重要⽂ 要約前の映画 要約後の映画ダイジェスト
  21. 21. 要約結果閲覧デモ 21 • 提案⼿法の要約結果を閲覧できるデモページを作成しました。 • デモページおよび実際の要約結果については以下のページをご覧ください。 http://nlp.iit.tsukuba.ac.jp ⇒ 研究紹介 ⇒ -1. ⼈⼯知能・機械学習・⾃然⾔語処理を⽤いたエンターテインメント技術 ⇒シナリオを情報源とする映画の要約
  22. 22. 22シナリオ中の重要⽂ 重要⽂に対応するショット列
  23. 23. 映画の著作権に関する問題 • 映画の著作権は保護されている – 1953年以前のものを除く ※ ローマの休⽇(1953)、ふしぎの国のアリス(1951) • 著作権が保護されている映画は、 – コピーしてはいけない – 編集して保存してはいけない 23
  24. 24. 24 「著作権が保護された映画」⽤の要約プレイヤー

×